Machine Learning Lecture

by allenlu2007

這幾天把 Stanford CS229 Andrew Ng 的 machine learning lecture 看了一半,有幾點感想。

1. Ng 的理論背景扎實,lecture handout 都很清楚。每個証明的策略和細節他都一一走過,非常不容易。至少我做不到。

2. 不過有些部份以乎還不夠深入。例如牛頓法在最小值為什麼收歛比 gradient descent 快。object function with regulation 的 trade-off. Boyd 的 convex optimisation lecture 說的更深入。兩者有互補作用。

2a. supervise learning 的 ML 的 parameter estimation 是 maximize joint likelihood function 而非 conditional likelihood functions.  這點很重要!!  結論是 ML parameter estimation 就是要 maximise 所有 observed data 的 probability.  In supervise training 的 training phase,  both input and output are observed, 所以當然是 maximise joint likelihood.  但在一般的 parameter estimation, internal state or unsupervised learning case, 只有 output 是 observed, 所以 maximise conditional likelihood.

3. Ng 解釋很好的部份有: logistic regression, support vector machine,  machine learning debugging (high bias or high variance, algorithm convergence problem or objective function problem, etc.)  特別他解釋 expectation maximisation 部份讓我之前對於整個 logic 更清楚的了解。之後再整理這部份。

4. 交互比較 Ng and Boyd 的 lecture and note 應該可以收獲更多。 

Advertisements