Optical Flow – Horn & Schunck Method and Total Variation L1

by allenlu2007

前文提到 Pyramid Lucas & Kanade method.  

(1) Pyramid implementation 主要解決 local accuracy & robustness trade-off 的問題。

另外還有:  (2) Aperture 問題;  以及 (3) 3-D to 2-D mapping 問題。

Aperture 問題可以參考本文: http://mmdays.com/2008/04/17/aperture_problem/

Aperture 問題其實是一個 local information/approach 的問題。

如果有 global information/approach 就可以化解 aperture 問題。

Wiki Horn-Schunck method:

The Horn–Schunck method of estimating optical flow is a global method

which introduces a global constraint of smoothness to solve the aperture problem.

 

重新 review 一次: (參考 Chapter 2: Optical Flow Estimation from Springer)

另外一個好的reference: http://www.icg.tugraz.at/courses/lv710.080/info/motion_estimation.pdf

Constant Brightness 得出 OFC (Optical Flow Constraint) equation

NewImage

OFC 包含 u and v 兩個 variables, 所以是 under-determined equation.

 

Lucas-Kanade method 假設 (x, y) 附近的 nxn pixels 都有相同的 (u, v). 

所以把 under-determined 問題 (1 equation) 變成 over-determined equations (nxn equations).

可以用 least-square 來解以下 equation.

NewImage

where N is a neighborhood of nun pixels with smaller n, e.g. 3×3 (一般小於 15×15).

In summary, LK 完全是 local constraint (solution).  完全不含 global information.

其中一個問題是 aperture problem.  

LK 是 local solution, 可以用來做 feature-base method.  或是 sparse optical flow method.

 

 

另一種方式是 (global) variational method.  如 Horn and Schunck proposed global minimization

NewImage

Ω is the image domain.

HS 是 global variational method.  因此是 dense optical flow (field).  

同時 regularization 引入了 flow vector (u, v) 需要 smooth condition.  可以 partly 解決 aperture 問題。

HS 乍看只是原來 LK method 加上 L2 regularization.  實際上是從 local 變為 global.  另外開了一扇窗。

 

可以有 L1 regularization, 甚至 data 也可以用 L1 norm 取代 L2 norm.

以下是更好的變形 Total Variational (TV) method.

NewImage

(2.5) 稱為 Total Variation – L1 regularization or TV-L1 method.

最大的好處是可以容忍 discontinuity.   HS method 因為有 L2 regularization, 對於 flow field (u, v) 的 discontinuity 的 penalty 非常高。對於影像應用很多時候會有 (u, v) discontinuity (e.g. foreground and background).  

NewImage

 

HS Method Math Details

WiKi 的 math formulation 是 global energy minimization.

很自然應該用 Euler-Lagrange equations 求解 variational function.

NewImage

NewImage

最後得到一個 iterative solution.

在 Eric 的文中有一個 HS 的結果如下圖。結果怪怪的,不像 global variational method 的結果。

http://eric-yuan.me/coarse-to-fine-optical-flow/

NewImage

 

Thomas Pock 的結果就比較合理。

http://www.icg.tugraz.at/courses/lv710.080/info/motion_estimation.pdf

NewImage

NewImage

NewImage 

NewImage

1. LK 雖然是 local method.  但結果還不錯。

2. TV-L1 和 HS 都是 global method.  TV-L1 在 edge (discontinuous flow motion) 的部份表現比較好。

Advertisements