Bregman Divergence

by allenlu2007

參考本文: https://www.stat.washington.edu/courses/stat538/winter12/Handouts/l7-exponential.pdf

Bregman divergence 可由下圖來說明。

Euclidean distance 和 entropy Kullback-Leibler distance 都是 Bregman divergence.

 

NewImage

Bregman divergence 的一些的特性:

NewImage

NewImage

 

注意即使有以上的特點。Bregman divergence 並非是真的 metric (距離)。

因為不滿足對稱性 (除了 Euclidean distance), 也不滿足 triangle inequality.

 

NewImage

 

NewImage

 

 

NewImage

 

 

Bregman Projection

NewImage

NewImage

 

一些常用的 Bregman divergence 列表如下。

看來 Bregman Divergence 對應的是 loss function; 也有對應的 exponential family.

但並非任意的 loss function 都有對應的 Bregman divergence.

NewImage

 

Exponential Family

NewImage

另外用 Bijection theorem

NewImage

 

Exponential family 可以重組為 Bregman divergence function.

NewImage

可以從証明看出來:

NewImage

 

用一些例子來驗証。

Example 1: Poisson distribution

NewImage

NewImage 

 

Example 2: Normal distribution

 

 

Example 3: Bernoulli distribution

NewImage

NewImage

 

 

Advertisements