Gradient, Directional Derivative, Covariant Derivative

by allenlu2007

本文主要參考 wiki gradient.

有三個相似的概念需要釐清: gradient, directional derivative, and covariant derivative.

Gradient 其實就是微分求導數。只是一般微分的自變數是時間。Gradient 的自變數是空間。

∇f(x, y, z) 一般是作用在純量 f 上。結果是一個 vector field. 

NewImage

Gradient vector field 的物理意義就是方向是 f(x, y, z) 最大變化量。或是垂直於等高線方向。

大小則是變化量大小。如果在 local max or min, 大小為 0.

在 machine learning 有非常重要的應用。Gradient descent method. 

 

NewImage

 

Directional Derivative

Directional derivative of f along vector v 變成一個純量。

f:\mathbb {R} ^{n}\to \mathbb {R}

NewImage

另一個說法是 differential 1-form.

NewImage

 

Directional derivative of f 乍看之下並無意義。因為 ∇f 本身就是最大變化量的方向。為什麼還要 dot product 另一個 vector?  重點就是在 (Riemannian) manifold 上。因為從 exterior coordinate 來看,並不是所有的方向都是可行的。從 intrinsic coordinate 來看,空間並非 uniform Euclidean, 則需要加上 curvature and Christoffel symbol 的修正。

 

Riemannian Manifolds

f is a scaler

先考慮一個純量 smooth function f on a Riemannian manifold (M, g) (M: manifold, g: metric tensor) with intrinsic coordinate.  The gradient of f is the vector field ∇f such that for any vector field X,

NewImage  

1. ∂xf 並非半套的 infinitesimal value。而像上面的 differential 1-form 是全套的純量。

2. g(,) 是 inner product with metric:  <a, b>_g = a • g • b

以下這部份我就無法理解:

NewImage

 

f is a vector

因為 ∇f 是 linear mapping from vector to vector.  因此是一個 tensor quantity. 

先考慮 rectangular coordinates, 如 Frenet frame.  (注意 rectangular 代表 ei, ej, ek 正交。但不代表 flat).

NewImage  

下一步是移除座標相關

NewImage

 

Advertisements