SO(3) 회전군에서 Fisher 분포의 특성 및 효율적 추정 방법

본 논문은 3차원 특수 직교군 SO(3) 위에 정의되는 Fisher(또는 von Mises‑Fisher, matrix Langevin) 분포의 이론적 특성과 실용적 추정 방법을 종합적으로 다룬다. 서론에서는 지수족(Exponential family)의 일반 이론을 소개하고, 특히 정규화 상수 c(Θ) 가 명시적으로 계산되지 않는 경우가 많아 다양한 수치·분석 기법이 필요함을 언급한다. 저자는 최근 제안된 호몰로닉 그래디언트 디센트(HGD)와 무한급수 전개법을 결합해, SO(3)와 Stiefel 다양체 V₂(ℝ³) 에 대한 Fisher 분포의 정규화 상수와 그 도함수를 효율적으로 구하는 새로운 프레임워크를 제시한다. 1. **기본 정의와 기하학적 배경** - Stiefel 다양체 V_r(ℝ^p) 와 직교군 O(p), 특수 직교군 SO(p) 의 정의와 균등 측도 μ를 소개한다. - 행렬 Θ∈ℝ^{p×r} 에 대한 부호 보존 SVD(Θ=Q diag(ρ) R)와, SO(p) 내에서의 특수 형태(Θ=˜Q diag(φ) ˜R) 를 정의한다. 2. **Fisher 분포와 정규화 상수** - 확률밀도 f(X;Θ)=c(Θ)⁻¹ exp(tr(ΘᵀX)), X∈V_r(ℝ^p) 또는 SO(p) 를 제시하고, 정규화 상수 c(Θ)=∫ exp(tr(ΘᵀX)) dμ(X) 의 존재와 중요성을 강조한다. - V_r(ℝ^p) 에 대해서는 기존 연구에 따라 c(Θ)=₀F₁(p/2; ΘᵀΘ/4) 라는 하이퍼지오메트릭 함수임을 상기한다. - 반면, SO(p) 특히 SO(3) 에 대해서는 정규화 상수의 명시적 형태가 부족했으며, Préntice (1986)와 Wood (1993)의 결과를 바탕으로 Bingham 분포와 동형임을 이용해 1차원 적분식으로 변환한다. 3. **호몰로닉 그래디언트 디센트(HGD)** - D‑module 이론을 활용해 정규화 상수 C(θ) 가 만족하는 Pfaffian 시스템 ∂_{θ_i} G = P_i(θ) G (여기서 G는 C와 그 편미분들의 벡터) 를 유도한다. - 1차원 사례인 S¹의 Bessel 함수와 동일한 형태의 미분식 ∂²C + (1/κ)∂C − C = 0 을 제시하고, 초기값 C(κ₀), ∂C(κ₀) 을 수치 적분이나 급수 전개로 얻은 뒤, ODE 해법으로 임의의 κ 에 대한 값을 연속적으로 계산한다. - 다변량 파라미터에 대해서는 경로 적분 방식으로 각 성분을 순차적으로 이동시키며 위 시스템을 풀어, 정규화 상수와 그 도함수를 전역적으로 얻는다. 4. **무한급수 전개** - SO(3) 에 대해, 정규화 상수 c(Θ) 를 행렬 Y=ΘᵀΘ/4 에 대한 ₀F₁(3/2; Y) 의 급수 전개 형태로 표현한다. - 급수 항은 행렬의 고유값에 대한 다항식으로 구성되며, 수렴 속도가 빠른 편이므로 실제 계산에서 높은 정확도를 제공한다. 5. **MLE와 파라미터 추정** - 표본 평균 행렬 \bar X 에 대한 부호 보존 SVD( \bar X = Q diag(g) R )를 수행하고, 파라미터 Θ 를 Θ=Q diag(φ) R 형태로 제한한다. - 로그우도 ℓ(Φ)=tr(ΦᵀG)−log c(Φ) 는 Φ의 비대각 성분에 대해 완전 대칭성을 가지므로, 최적화는 대각 성분 φ_i 만을 대상으로 한다. - 최적 조건은 ∂_{φ_i} log c(Φ)=g_i (표본 특이값) 로 주어지며, 이는 정규화 상수의 도함수를 필요로 한다. HGD를 통해 이 도함수를 효율적으로 얻음으로써, 기존의 반복적 수치 적분보다 훨씬 빠른 MLE 계산이 가능해진다. 6. **SO(p)와 Stiefel 다양체 간의 관계** - Lemma 1을 통해 p≥3일 때, V_{p−1}(ℝ^p) 위의 Fisher 분포는 SO(p) 위의 분포의 엄격한 부분모델임을 증명한다. 이는 Θ의 마지막 열을 0으로 고정함으로써 얻어지며, p=2에서는 두 모델이 동등하지만 p≥3에서는 추가 자유도가 존재한다는 의미다. - Lemma 2에서는 표본 평균 행렬의 부호 보존 SVD를 이용해 SO(p) 의 MLE를 구하는 구체적 절차를 제시한다. 여기서는 정규화 상수 c(Θ) 가 Q와 R에 대해 불변임을 이용해 파라미터 공간을 대각화한다. 7. **실험 및 적용: 근지구천체 데이터** - 실제 근지구천체(Near‑Earth Objects)의 궤도 회전 행렬 데이터를 수집하고, 위 방법을 적용해 파라미터 추정을 수행한다. - Stiefel 기반 모델과 비교했을 때, SO(3)  기반 Fisher 분포는 회전군 고유의 비대칭성을 더 잘 포착하며, 로그우도 값이 유의하게 향상됨을 보고한다. - 또한, 표본 평균 행렬 \bar X 의 행렬식이 음수가 되는 경우가 빈번히 발생함을 확인하고, 부호 보존 SVD를 통한 파라미터 추정이 이러한 현상을 자연스럽게 처리함을 강조한다. 8. **결론 및 향후 연구** - HGD와 급수 전개를 결합한 접근법은 SO(3) 뿐 아니라 고차원 SO(p) 및 기타 리만 다양체에 대한 지수족 분포의 정규화 상수 계산에 일반화 가능함을 제시한다. - 향후 연구로는 고차원에서의 수치 안정성 향상, 베이지안 추정에의 적용, 그리고 물리학·컴퓨터 비전·로보틱스 등 회전군이 핵심 역할을 하는 분야에의 실용적 확장을 제안한다.