Optical Flow – Farneback Method

by allenlu2007

本文參考 Gunnar Farneback, “Two-Frame Motion Estimation Based on Polynomial Expansion”

http://www.diva-portal.org/smash/get/diva2:273847/FULLTEXT01.pdf

 

Farneback 的 optical flow 方式是 local method, based on quadratic polynomial fitting.  

存在有效率的 matrix operation.  但缺點是比較 noisy, 特別是在 un-texture 的區域。這點和 LK method.

同樣 Farneback 也可以用 coarse-to-fine method to improve the accuracy.

 

Farneback 利用 quadratic polynomials 來近似 pixel neighborhood.  

NewImage

假設 image 1 的 quadratic polynomial A1(x), b1(x), and c1(x)

image 2 的 quadratic polynomial A2(x), b2(x), and c2(x)

NewImage

為了要降低 noise, 會再引入 weight function w, 可視為 spatial LPF.

NewImage

比較 equation (13) with LK 的公式如下:  可以看到 (13) 和 u 的公式樣式完全相同 (t=1 => u = d)

 

LK 和 Farneback 主要的差異是在 A 和 Δb.

Lucas-Kanade:  A = [fx1 fy1 …]    也就是 pixel patch gradient array;   ft 就是 temporal difference.

Farneback:        A and Δb 則是由 pixel patch 的 polynomial expansion.

NewImage

NewImage

其他部份 LK 和 Farneback 則沒什麼不同。都是 local method. 也可以 combine coarse-to-fine pyramid.

Advertisements