常見估計 Estimation 的簡結

by allenlu2007

Least square estimation (LSE), maximum likelihood estimation (MLE), minimum mean square error estimation (MMSE), maximum a posterior esimation (MAP), minimum mean absolute value of error estimation (MAVE), 相當多的 estimation 方式。差異何在,以及如何歸類?

最常見也基本的是 least square estimation (LSE), 常用在 data fitting 或是 linear regression, 主要是 minimize sum of squares error.  對於 observed data or experimental data 沒有假設分佈或是假設高斯分佈.

Maximum likelihood estimation (MLE) 常用在 parameter estimation and inference, 基本上需要 oberved data 的 pdf 分佈.  但是對 estimate 的參數 ( 如 mean, variance, frequency, phase, etc.) 沒有任何假設或 prior information, 屬於 classical estimation.  對於沒有任何 prior information 的情況,MLE 一般是最好的 estimation.

在高斯分佈的特例中,MLE 和 LSE 會得到一樣的結果。

MMSE, MAP, and MAVE 則是屬於 Bayesian estimation, 基本上需要 oberved data 的 pdf 分佈.  同時對 estimate 的參數 ( 如 mean, variance, frequency, phase, etc.) 也有 prior information (Bayesian estimation).  MMSE, MAVE, and MAP 主要的差別是在 cost function: MMSE (mean square error), MAVE (mean absolute value of error), MAP (hit or miss).

Advertisements