Differential Geometry 學習心得

by allenlu2007

 

大學上微分幾何完全沒有印象。再來是因為 Riemann 的博士論文是微分幾何而非著名的 Riemann hypothesis of zeros of zeta function 而對微分幾何好奇。接著是 Poincare conjecture 以及 Perelman 的故事。

最後感到興趣是因為 information geometry.  看是否可從 Riemannian geometry 能了解 statistical inference 甚至 deep learning 的 tool.   在聽了 coursera 的 image and differential geometry 關連對 differential geometry 更有興趣。很多 image, video, machine learning, kernel 應用也都間接和微分幾何相關。

 

起初一直沒有重點。一直到 YouTube “tensor calculus” 才找到重點!!!

Tensor calculus 的重點:

先假設 Euclidean space (no curvature)  –>  其實等價 differential geometry 的 manifold tangent space!!

* 不要 pick 特定座標系!!!  work on any coordinates!!!

* Invariant scaler or vector 是 0th order tensor. 

* Tensor 是 variant and based on coordinate system,  1st order tensor 在座標變換是差一個 Jacobian.

  2nd order tensor 差二個 Jacobian, … 

* Einstein notation of (Tensor on covariant bases * Tensor on Contravarient bases) = invariant.

* 用 covariant derivative 取代 partial derivative.

 

全部的重點就是不要 pick 特定 coordinate!!  Everything needs to work on any coordinate!!  (cartissan, polar, sphere, manifold local bases).    

Cartisan coordinate 是非常特別的特例。因為每點的 local bases 都一樣!   如果改採 tensor calculus 的 any bases, 自然就可打通所有的 manifold!!  (sphere 只是 manifold 的 special case).

metric tensor gij = Zij in tensor calculus.

建議先看 tensor calculus 再讀 differential geometry!!

 

可以定義 invariant gradient, divergence, and Laplacian!!!  

相同之處

Tensor calculus 主要是 focus on Euclidean space 的不同 coordinates.  Local point bases 都不同。

Differential geometry 的自變數 (u, v) 可視為是 tangent space (Euclidean space) 的自變數。同樣 local point bases 也是都不同。類似 tensor calculus.   所有 tensor calculus 數學都適用在 differential geometry.

Chritoffel symbol,  invariant gradient, divegence, and Laplacian 都相同!

差異之處:

* Tensor calculus 似乎假設 global Euclidean space.  只是不同 coordinate 有不同的 local bases.  Differential geometry 則是只有 local Euclidean space.  當然也會有不同的 local bases.  

* Geodesic: 在 tensor calculus 似乎完全不 care geodesic.  因為 global Euclidean space 的 geodesic 是直線。但在 differential geometry 這是 critical problem.

* Curvature:  如果是 tensor calculus global Euclidean space, 似乎沒有 curvature ?  但在 differential geometry 是最重要的特性。  yes.  在 tensor calculus in Euclidean space 的 Christoffel symbol 和 curve surface 的 Christoffel symbol 定義不同。差異就在 curvature.

* Connection: 在 differential geometry, 不同的 local Euclidean space 如何 connect together 似乎也和 tensor calculus 不同?

 

 

微分幾何的 key concepts

微分幾何的 key concepts 有二:

1. 座標系 independent.  不要 pick 特定座標系。要 work on 所有座標系。

2. Curvature.

Step 1:

我的經驗最好的順序是先用 Euclidean space 學習 1.  就是 YouTube MathIsBeautiful 的 tensor calculus!

熟悉:  covariant bases, contra-variant bases, 0th/1th/2nd order tensors (metric tensor 是 2nd order tensor), variant, invariant, Christoffel symbol, covariant derivative, Einstein notation, index raising and juggling, etc.

這些觀念都可以在 Euclidean space with differential coordinate system 得到以及驗証!!!  是一個 general framework.  可以直接 apply 到 curved space (with some modification of curvature!)

 

Step 2:

Manifold embedded in Euclidean space.   引入 curvature (mean and Gauss curvature).  重新改寫 step 1.

 

Step 3:

Intrinsic Manifold differential geometry.  移除所有 extrinsic coordinates.  (mean curvature 也會消失)

 

 

 

 

 

 

 

 

 

 

 

Tensor Calculus on Euclidean Space and Curved Space

by allenlu2007

聽了 YouTube 的 tensor calculus, 讓我腦洞大開。

幾個非常重要的結論:

 

先假設 Euclidean space (no curvature)  –>  其實等價 differential geometry 的 manifold tangent space!!

* 不要 pick 座標系.

* Invariant scaler or vector 是 0th order tensor. 

* Tensor 是 variant and based on coordinate system,  1st order tensor 在座標變換是差一個 Jacobian.

  2nd order tensor 差二個 Jacobian, …

 

* Einstein notation of (Tensor on covariant bases * Tensor on Contravarient bases) = invariant.

* Partial derivative (element) of tensor 不是 tensor.  必須加上 Christoffel symbol 變成 covariant derivative 才是。

* Gradient based on covariant bases 不是 invariant.  必須重新定義成 contra variant bases!!!

* Laplacian 如何重新定義 ???

 

* Position vector 是 invariant, 也是 0th order tensor (no index)

* Velocity vector 是 1st order tensor (差一個 Jacobian).

* Acceleration vector 不是 tensor!!  必須修正 Christoffel symbol!!

 

 

 

在 Curved space 以上結論如何變化

 

 

Geometry – Pick Coordinate Too Early is a Sin

by allenlu2007

from MathTheBeautiful

 

很有啟發。

Geometry + Algebra (or calculus) 是最好的 weapon.

但是引入特定座標系同時也是 sin.

如何能有好處?

vector calculus, tensor calculus, or differential geometry 就是引入座標系但是不指明座標系。

 

是否可解釋 Lagrangian mechanic and Hamiltonian mechanics that can use generalized coordinates?

????

 

 

 

 

Mean curvature = 0 is the key to minimum surface area!

不要太早選 coordinate system.

In differential geometry 就是要注意或是避免這個問題。使用 local coordinate

tensor calculus is the saver

or differential geometry – don’t pick the coordinate system, but use it.

 

Laplacian of mean curvature = 0?

 

Vector calculus or tensor calculus =>  powerful computation but keep geometric insight!

Covariant Derivative and Geodesic

by allenlu2007

 

前文 (Maxwell equation) 提到 covariant Derivative 其實就是把 Euclidean (flat) space 中的 partial derivative 延伸到 curved space 的 covariant derivative!!

本文參考 Wiki : covariant derivative

先假設有 manifold embedded higher dimension Euclidean space:

注意 dimension.

對於 near-by 的 tangent vector field, 可以定義 vector V:

下面是重點，如何定義 covariant derivative, 先從 local basis, ei, 開始:  (wiki normal 的 scaling coefficient 似乎有錯).

 

Christoffel Symbol Using Covariant Derivative

Using Einstein summation notation

所以什麼是 Christoffel symbol?  就是座標變換的 coefficient, 類似 Jacobian.  

可以說是 “twisting” the coordinate

 

General covariant derivative

 

Geodesic (Covariant Derivative along Curve)

注意 Geodesic curve 就是 covariant derivative 都是 0 的 curve.  

想像在 flat space 中最短的線就是直線。∇r’ r’ = 0 => gradient of r’ = 0  r’ = a constant vector => r(t) 是一條直線!!

物理意義如下文。就是加速度不能在 surface (or manifold 的方向)，只能在 normal direction 上。當然由於 surface 限制的關係，反作用力會讓 particle 貼在 surface 上。可以想像在太空中的 surface 上滑一個 particle.  初始方向和初始速度 (二次微分方程式) 決定後 particle 會從 A 點到 B 點 with constant velocity!!

廣義相對論的觀點: particle 不是因為重力讓 particle 走拋物線。而是重力 bend space-time 結構。 particle 走的仍是 bend space-time 的 geodesic, 也就是拋物線!!!  結論雖然一樣，意義完全不同。廣義相對論認為 space-time 是會受重力 bending, 這是內稟的特性。同樣對電磁波 (Maxwell equation) 或光也會受到重力的影響。正確的說法是 space-time 改變，光仍走的是 Geodesic.

 

Affine Geodesics

 

Covariant Derivative on Field

可以 act on tangent field, curve (part of tangent field), normal field, or vector bundle, fiber bundle.

 

 

Einstein Notation, Levi-Civita Symbol, and Maxwell Equation

by allenlu2007

 

Albert Einstein 有很多重要的物理發現: 相對論, 光電效應, 布朗運動。

除此之外，很多數學物理公式也是以他命名。一個用於 tensor 的是 Einstein notation.

or Einstein summation convention.   主要是簡化 summation over a set of indexed terms in a formula.

 

Einstein Summation Convention (wiki)

一些 vector 的例子解釋 superscript (column) and subscript (row).

Inner product

Cross product (3-dimension)

Matrix multiplication

Trace

Tensor

 

Levi-Civita Symbol (wiki)

首先 Levi-Civita symbol 是 anti-symmetric symbol, or alternating symbol.  

 

Two dimensional Levi-Civita symbol:

Three dimensional Levi-Civita symbol:

Four dimensional Levi-Civita symbol:

N dimensional Levi-Civita symbol:

 

Vector Field 

Curl

 

Curl of Cross Product

 

Gradient, Div, Curl

 

Maxwell Equation in Tensor Form

Maxwell equation 本身是二次 differential equation in potential form (𝛗 and 3D-A) and 一次 coupled differential equation in field form (E and B).

如果從 electromagnetic four-potential combined 𝛗 and 3D A into a 4D A, a differential 1-form 出發:

F = dA  (total differentiation)   F is a differential 2-form.

 

 

先定義 F tensor in contravariant matrix form (upper index), and covariant matrix form (lower index)

η 是 flat space metric tensor (狹義相對論)

所以原來 4 個 Maxwell differential equations 可以改寫為 2 個 tensor differentiation equations. 

當然重點不是在於從 4 個變成 2 個。而是很容易引入 curved space-time (廣義相對論) into Maxwell equations!

 

Maxwell Equation in Curved Spacetime (wiki)

Maxwell equation can be generalized to curved space-time 只要把 partial derivative 改為 covariant derivatives.  另外 η (flat space metric tensor) 改為 g (curved spacetime metric tensor due to gravity in 廣義相對論).

 

Lagrangian Formulation

另外角度是從 Lagrangian formulation –> Euler-Lagrange equation –> 得到 Maxwell Equation

Laplacian operator 的物理意義

by allenlu2007

Laplacian operator 分為 scaler and vector field.

基本上 Laplacian operator 在很多的物理方程式中。

例如 heat equation, wave equation, diffusion equation, Poission equation.

 

Laplacian operator 有物理意義嗎?  Yes.

div (gradient f(x, y, z)) 

先看 1D case.   d/dx (d/dx f(x) ) = d^2/dx^2 f(x)

如果 = 0,  f = ax + b

所以 Laplacian 代表的不是梯度 (first order differential equation), 而是曲率 (2nd order differential equation), pressure, stress.  

曲率或 stress release 的方式和時間的關係就造成不同的公式如 heat equation, wave equation, etc.

 

 

Gradient, Directional Derivative, Covariant Derivative

by allenlu2007

本文主要參考 wiki gradient.

有三個相似的概念需要釐清: gradient, directional derivative, and covariant derivative.

Gradient 其實就是微分求導數。只是一般微分的自變數是時間。Gradient 的自變數是空間。

∇f(x, y, z) 一般是作用在純量 f 上。結果是一個 vector field. 

Gradient vector field 的物理意義就是方向是 f(x, y, z) 最大變化量。或是垂直於等高線方向。

大小則是變化量大小。如果在 local max or min, 大小為 0.

在 machine learning 有非常重要的應用。Gradient descent method. 

 

 

Directional Derivative

Directional derivative of f along vector v 變成一個純量。

另一個說法是 differential 1-form.

 

Directional derivative of f 乍看之下並無意義。因為 ∇f 本身就是最大變化量的方向。為什麼還要 dot product 另一個 vector?  重點就是在 (Riemannian) manifold 上。因為從 exterior coordinate 來看，並不是所有的方向都是可行的。從 intrinsic coordinate 來看，空間並非 uniform Euclidean, 則需要加上 curvature and Christoffel symbol 的修正。

 

Riemannian Manifolds

f is a scaler

先考慮一個純量 smooth function f on a Riemannian manifold (M, g) (M: manifold, g: metric tensor) with intrinsic coordinate.  The gradient of f is the vector field ∇f such that for any vector field X,

  

1. ∂xf 並非半套的 infinitesimal value。而像上面的 differential 1-form 是全套的純量。

2. g(,) 是 inner product with metric:  <a, b>_g = a • g • b

以下這部份我就無法理解:

 

f is a vector

因為 ∇f 是 linear mapping from vector to vector.  因此是一個 tensor quantity. 

先考慮 rectangular coordinates, 如 Frenet frame.  (注意 rectangular 代表 ei, ej, ek 正交。但不代表 flat).

  

下一步是移除座標相關

 

Tangent Space, Vector Field, and Covariant Derivative

by allenlu2007

Ref: http://www.maths.manchester.ac.uk/~tv/Teaching/Differential%20Geometry/2008-2009/lecture1.pdf

前文討論 manifold 上的 tangent space 就是一個 vector field.  Manifold 鄰近點的 tangent spaces 造成不同的 vector fields.  一個自然的問題就是找出之間的關係。

先考慮一條 parameterised curve with parameter t (時間).

ei 是 歐氏空間的 basis.  (1) and (2) 是基本觀念。使用 Einstein summation notation.

 

請參考 tensor calculus on Euclidean space 一文

 

例如: Cylindrical Coordinates (r-θ-z) 參考 MIT 

可以看到 velocity 只有 ei 分量的1st order 導數 (r 只是 scaling constant).  這也是為什麼要定義 tangent (vector) space!!

但 acceleration 除了 ei 分量的 2nd order 導數之外，還有 ei 分量 1st order 導數。更重要的是其他分量 (ej, ek) 的 1st order 導數!!!   這個其他分量的導數就是 Christoffel symbol!!  這也是為什麼沒有 curvature space!! 因為和其他 basis 有關。

即使是在正交座標系 (cylindrical) 也會有 Christoffel symbol!  主要是因為不是 flat,  而是有 curvature!!

 

例如: Spherical Coordinates (r-θ-𝛗)

 

結論和 cylindrical coordinate 相同。

 

 

上述 x(t) 是 curve 的 trajectory.  u(t) 可視為 tangent space (是 vector space).  不同時間的 tangent space or vector field 是不同的。目前先假設 vector space 是用 orthonormal basis, ei (如上例的 cylindrical or spherical coordinates).  當然 ei 是可以用一個 Cartesian coordinate 來表示。也可視 ei 就是 manifold 上的 local coordinate. (e.g. manifold 就是一個 sphere or cylinder).

所謂的 differential 1-form 就是 du on the tangent space coordinate!

如上式。就是把導數 project 到改為下一時間的 vector field (tangent space) v, 而非 ei.  以上是利用 exterior Cartesian coordinate.  

如果完全不用 exterior coordinate, 而用 manifold 自己的 local coordinate, 是否仍可定義 du/dt?

需要用 connection or covariant derivative 來 link 不同的 vector field.

如果把 ei 改為 local coordinate.

 

在做 covarient derivative 時，很自然就會引入 2nd order derivative (xixj), 也就是 connection or Christoffel symbol. 

 

 

什麼是 Covariant derivative?

參考本文 

http://www.physicsinsights.org/pbp_covar_deriv_1.html

其實就是 directional derivative!

常見的 directional derivative 就是 gradient.  gradient 是找 f(x, y, y) scaler 在 x, y, z 方向的 derivative.

有兩個重點:  (1) f(x,y,z) 是純量; (2) directional derivative 是在 coordinate 方向。

純量並非重點。也可以是向量，想成是三個純量。directioanl derivative 在 manifold 上就要變成是 vector 方向。

 

 

 

 

Tangent and Normal Space on Manifold – Vector Field

by allenlu2007

 

之前看過幾何學家 矢野健太郎 說自己的姓是 “Vector Field”.  其實還蠻貼切的。

熟悉電磁理論的人，對於 vector field 一定不陌生。所有的 E (電場) or B (磁場) 都是 vector field.

不過都是歐氏空間的 vector field.  

 

Review 幾個 vector field 基本定律。

f(x, y, z) 是個 scaler field.  ∇f 是一個 vector field.  而且是保守場 (conservative field). 

就是任兩點的線積分和路徑無關。

∮∇f∙dl = 0     純量場 gradient (向量場) 的 loop 線積分為 0, 保守場

∮B∙dl = ∯∇xB∙dS    向量場的線積分等於旋度(向量場)的面積分   (2D Green’s theorem, 3D Stokes’s theorem)

∯E∙dS =  ∫∇∙E dv      向量場的面積分等於散度(純量場)的體積分   (Gauss’s theorem)

 

下圖是一個 2D vector field 示意圖。一個缺點是不容易看出 field 分佈。

相較之下把 vector field connect 起來成為電力線或磁力線更清楚。

這也是 connection 的濫觴。但並非真的數學上的 connection.

以上是把 E field and B field 視為歐氏空間的 vector field.  事實上只是靜電和靜磁場的 special case.

同樣的古典 Maxwell equation 也是假設歐氏空間，也就是空間本身是均勻等向。

但在相對論之後，時空本身就是 curved space-time.  因此 EM field 就被修正為 curved space-time 中的 vector field.   可視為 (Pseudo) Riemannian manifold 上的 vector field!!  事實上用 tensor 定義 EM field 更簡潔且可直接 link to EM field Lagrangian.

 

Vector Field on Manifold

同樣在 (Riemannian) manifold 上，也可以定義 vector field 和對應的 Levi-Civita connection.

此時的 vector field 就是定義在每個 local P 上的 tangent space.  

Levi-Civita connection 就是鄰近點的 (linear and torsion free) connection on a curve space.

為什麼需要定義 connection? 或是為什麼在歐氏空間很少提到 connection? 因為在歐氏空間每點特性都一樣 (space invariant) 所以沒有所謂的 “tangent space” , 也不用定義 connection (affine, Levi-Civita connection).

因為在 manifold 不同點的 local coordinate and tangent space 完全不同，需要靠 connection 來拯救。。如何拯救?  顯然不是靠時間的 (total) derivative, 因為不同時間的位置不同，tangent space 也不同。無法定義一個全微分導數。是靠空間上的偏微分把兩個 tangent space 連結起來。

這就是 covariant derivative and connection 的關係。另外為了要定義 connection 連接不同的 tangent field, 需要加上 normal direction.  也帶出了 Christoffel symbol.  

 

同樣 on manifold 也有 Stoke and Green theorem.

 

什麼是 Tangent Space (or Tangent Vector / Tangent Plane)

先看圖非常容易了解。Reference

3D Euclidean space 的 1D curve (manifold) => 1D tangent space (就是 tangent vector)

3D Euclidean space 的 2D surface (manifold) => 2D tangent space (就是 tangent plane)

 

有三個相關  objects:

1.  Rⁿ : Exterior n-dimensional Euclidean space (就是 manifold 所在的空間。當然最終希望拿掉 exterior space, 全部在 intrinsic manifold)

2. Manifold:  k-dimensional manifold:  0 < k < n.  (k=0 or n 是 trivial case, ignore)

3. Tangent space:  也是 k-dimensional Euclidean space, 可以用 vector space 表示。 為什麼 tangent space 也是 k-dimensional?  因為 tangent space 是 1st order 的 manifold approximation at p 點。所以 tangent space 的 dimension 必須要和 manifold 一致。不然無法 approximation.

數學上的定義如下: (偷偷借用 exterior n-dimensional Euclidean space.  是否可以完全不用 exterior space? yes!)

r 是 free parameter, 是 k-dimension (1xk) 才能和 manifold 的 degree of freedom 一致。

p 是 n-dim (1xn); 但實際的 degree of freedom 只有 k, due to f(r) constraints on r.  (p 就是位在 k-dim manifold) 

f(r) 則是 n-k dimension (1x(n-k)).

f’(r) 則是 (n-k)xk matrix 

 

Notation 就是 TpM.   Tangent space 有多大呢?  就是 g(r) 上所有的 vectors.  既然是一個 vector space, 可以用 matrix 來表示如下。一個重點是 zero vector 永遠在 tangent space.  也就是所有的 vectors 都要通過原點。

上述的橫線只是分隔線，matrix 的上半部是 Ik (kxk), 下半部是 f’(ro) ((n-k)xk) 不是除法。勿誤會。 

因為 matrix 項是微分。所以任何的 coordinate translation 都不會改變 tangent space!!

How about (invertible) linear mapping?  會改變 tangent space 嗎? 如果是 unitary mapping ok.

 

舉例而言 

p 是 3D.  f(x) (or f(r)) 是 2D.   x (or r) 是 1D (parameter).

n=3,  k=1, n-k=2.  Ik (1×1),  f’(r) (2×1) 如下。h=0 通過原點。

 

第二個例子

p 是 3D.  f(x) (or f(r)) 是 1D.   x (or r) 是 2D (parameter).

n=3,  k=2, n-k=1.  Ik (2×2),  f’(r) (1×2) 如下。h1=h2=0 通過原點。

 

How about Local Loci (manifold)?

上述是針對 parameterisation manifold.  就是存在 r 的 free parameters as 自變數。

如果是隱藏在 algebra equation or local loci.  結果如何?

如果 F(r, s) = s – f(r) = 0   ==>   s = f(r) 回到原來的 case. 

Fs’ = Ik    Fr’ = -f’(r)  驗証 consistent. 

 

是否能找出另一種 tangent space 的表示方法?  把上式乘開:

也就是可以用 F’(p) 的 null space 來定義 tangent space.   Again, if F(r, s) = s – f(r) = 0

Tangent space m 也就是 (Ff’, Fs’) = (-f’(r), Ik)  的 null space.

(Ik, f’(r)) * (-f’(r), Ik) = 0!!

 

 

How about Normal Space?

相對於 Tangent space 是 F’(p) 的 null space.  還有一個 normal space 是垂直於 tangent space.

 

以本例而言，normal space 有兩個自變數 (k1 and k2).  可以定義出很多的 basis.  前文討論過可以用 Frenet frame 進一步限制 degree of freedom.

 

 

 

Christoffel Symbol Computation

by allenlu2007

 

什麼是 Christoffel symbol?

就是先用 tangent space 定義出 u derivative, v derivative, and normal direction coordinates.

在建立和 near-by tangent space 之間的 connection 所需要的座標變換。和 Jacobian 類似。 

 

另外一個角度是從 tensor calculus (see YouTube video on Tensor calculus).

就是 derivative of tensor (even in Euclidean space) 必須加上 Christoffel symbol 才能得到另一個 tensor (on the covariant basis or contra covariant basis). 

 

如何計算 Christoffel symbol? 

1. Direct differentiation using covariant derivative

2. Levi-Civita connection

3. Lagrangian

 

1. Direct differentiation using covariant derivative

Using Einstein summation notation

所以什麼是 Christoffel symbol?  就是座標變換的 coefficient, 類似 Jacobian.  

可以說是 “twisting” the coordinate

 

2. Levi-Civita connection

or 

 

3. Lagrangian Method to Compute Geodesic and Christoffel Symbol

參考本文

The Christoffel symbols calculations can be quite complicated, for example for dimension 2 which is the number of symbols that has a surface, there are 2 x 2 x 2 = 8 symbols and using the symmetry would be 6. 

For dimension 4 the number of symbols is 64, and using symmetry this number is only reduced to 40. Certainly there are many calculations and this is just to find the equations of geodesics (after, we must solve or analyze it). 

We will see in this section, the Lagrangian method allows us to obtain the geodesic equations and hence obtain the Chistoffel symbols. in a simpler way. 

Ideas are the basis of the calculus of variations called principle of least action of Euler-Lagrange

先從 Euler-Lagrange Equation

 

Some Examples

Example 1: Euclidean space

All Christoffel symbol = 0  (因為沒有任何 curvature)

 

Example 2: Cylindrical coordinates (direct computation, 3x3x3)

Example 3: Spherical coordinates (using Levi-Civita connection, 3x3x3)

 

 Example 4: Sphere r=1 (using Lagrangian, 2x2x2)