Machine Learning: Deterministic and Stochastic (II)?

by allenlu2007

 

前文解釋 deterministic (optimization) and stochastic (ML, MAP, etc, maximize probability).

簡單 summary:

Deterministic:  直觀、找出 E (error/cost) function, 可以用數學工具找 optimal solution (至少觀念上)。

Stochastic: 更 general, 可以處理或包含更複雜的 cases (prior, correlation, etc.).  也有相關的工具 (SGD, MCMC, tree,

HMM)  但比較不直觀。

 

同時我們提到在解 stochastic 問題,例如假設 Gaussian PDF and IID 情況下,MLE estimation 數學上可以化簡為 minimum mean square error optimization 問題。不過這僅僅是數學上的相似。

從另一個角度,既然認為 probabilistic model 更 general, 是否對於一些 deterministic optimization 問題,可以轉換成 probabilistic model?

(反之可能不成立,除了一些簡單 case 如 Gaussian PDF and IID.  因為 probabilistic model 更 general).

例如 neural network 一般視為 determinstic optimiation, 是否可換成 probabilistic model?

Yes –>  這種 neural network 稱為 belief net(work).  可以參考 Hinton 的 talk and paper.

 

另一個引入 probabilistic model for deterministic case 除了一統理論外。如果有 mixed deterministic and probabilistic model, 也可以有一致的觀念。

Hindon 提出如下 concept

Weight -> Energy function –> Probability!!!

 

Error function 可以是 energy function E(v, h).  不過 Energy function >= 0.   所以想法就是 energy 愈低愈佳。

Probability = exp(-E)   –> normalize if not sum to 1.   所以 energy 愈低,probability 愈大, 符合 maximum likelihood 的觀念。

 

因此 optimization 相當於 minimize Energy function 相當於 maximize probability

Minimize energy function 是 deterministic optimization

Maximize probability 則是 probabilistic modeling (inference 或 learning 的 goal 就是 maximize joint or conditional probability)

 

Advertisements