벡터 확산 지도와 연결 라플라시안: 고차원 데이터의 새로운 차원 축소 기법

본 논문은 고차원 데이터 집합을 저차원으로 효율적으로 임베딩하기 위한 새로운 수학적·알고리즘적 프레임워크인 ‘벡터 확산 지도(Vector Diffusion Maps, VDM)’를 제시한다. 기존의 Diffusion Maps, LLE, ISOMAP, Laplacian Eigenmaps 등은 모두 데이터 포인트 간의 친밀도를 스칼라 가중치로 표현하고, 이 가중치를 기반으로 그래프 라플라시안을 구성해 열 커널(heat kernel)으로부터 전역 구조를 복원한다. 그러나 이러한 방법들은 데이터가 가지고 있는 방향성·회전 정보와 같은 벡터적 특성을 무시한다는 한계가 있다. VDM은 이러한 한계를 극복하기 위해 각 엣지에 단순한 스칼라 가중치 w_{ij}뿐 아니라, 정규 직교 변환 O_{ij}를 부착한다. O_{ij}는 두 데이터 포인트 i와 j의 로컬 접평면을 정렬(alignment)함으로써 얻어지며, 이는 곧 두 점 사이의 평행 이동(parallel transport) 연산자를 근사한다. 1. **데이터와 로컬 PCA** 데이터는 ℝ^p에 임베딩된 n개의 점 {x_i}로 주어지며, 이들이 저차원 매니폴드 M^d에 근접해 있다고 가정한다. 각 점 x_i에 대해 반경 √ε_{PCA} 내의 이웃 N_i를 찾고, 이웃들의 차이 벡터를 행렬 X_i에 모은 뒤, 커널 K에 기반한 가중 스케일링 D_i를 적용해 B_i = X_i D_i 를 만든다. B_i에 대한 SVD를 수행하면 상위 d개의 좌측 특이벡터가 O_i를 형성한다. O_i는 T_{x_i}M의 근사 기저이며, 특이값의 크기로 로컬 차원 d를 추정한다(예: 누적 분산 비율 γ를 이용). 2. **정렬 및 직교 변환 O_{ij}** 인접한 두 점 x_i, x_j에 대해 O_i와 O_j가 거의 같은 서브스페이스를 공유한다. 이때 O_i^T O_j는 일반적인 직교 행렬이 아니므로, SVD를 이용해 가장 가까운 직교 행렬 O_{ij}=UV^T (UΣV^T = SVD(O_i^T O_j)) 를 구한다. O_{ij}는 두 접평면 사이의 평행 이동 연산자를 근사하며, 이는 차후 연결 라플라시안의 정의에 핵심이 된다. 3. **블록 행렬 S와 정규화** 정의된 가중치 w_{ij}=K(‖x_i−x_j‖/√ε)와 변환 O_{ij}를 사용해 블록 행렬 S∈ℝ^{nd×nd}를 만든다. S(i,j)=w_{ij} O_{ij} (i,j∈E)이며, 나머지는 0이다. 대각 행렬 D은 각 정점의 차수 deg(i)=∑_j w_{ij} 로 정의하고, D(i,i)=deg(i)·I_d 로 구성한다. 정규화 방식으로는 (i) D^{-1}S, (ii) D^{-1/2}SD^{-1/2}, (iii) (D+I)^{-1}S 등 여러 변형이 가능하며, 각각 그래프 라플라시안의 다양한 정규화와 대응한다. 4. **스펙트럼 분해와 임베딩** 정규화된 행렬을 스펙트럼 분해하면 고유값 λ_ℓ와 고유벡터 ψ_ℓ (ℓ=0,1,…)를 얻는다. t 단계의 확산을 고려하면 임베딩 Φ_t(i) = (λ_1^t ψ_1(i), …, λ_m^t ψ_m(i)) 로 정의할 수 있다. 여기서 ψ_ℓ(i)∈ℝ^d는 i번째 블록에 해당하는 d차원 벡터이며, 전체 임베딩은 nd 차원의 Hilbert 공간에 존재한다. 두 점 사이의 거리 ‖Φ_t(i)−Φ_t(j)‖_2 를 ‘벡터 확산 거리’라 부른다. 5. **연결 라플라시안과 수렴 정리** 핵심 이론적 결과는 정규화된 S가 n→∞, ε→0, ε_{PCA}→0 조건 하에 연결 라플라시안 Δ^{∇} (벡터 필드에 대한 라플라시안)와 강수렴한다는 정리(Thm 5.1)이다. 증명은 (a) 로컬 PCA가 T_{x_i}M을 O(ε_{PCA}) 오차로 근사, (b) 정렬 단계가 평행 이동 연산자를 O(ε) 오차로 근사, (c) 가중 그래프가 스칼라 라플라시안과 동일한 스케일링을 갖는다는 점을 이용한다. 결과적으로 VDM이 실제 매니폴드 위의 벡터 필드 확산을 정확히 모사함을 보인다. 6. **단거리 해석 및 열 커널** 연결 라플라시안의 열 커널 K_t^{∇}(x,y)에 대한 단거리 전개를 이용해, t가 작을 때 벡터 확산 거리와 실제 지오데식 거리 사이의 관계를 명시한다. 구체적으로, ‖Φ_t(i)−Φ_t(j)‖_2^2 = C·t·d_g(x_i,x_j)^2 + O(t^2) 와 같은 형태가 도출된다. 이는 VDM이 지오데식 구조를 보존하면서도 회전·스케일 정보를 포함한다는 것을 의미한다. 7. **Nyström 확장 및 외삽** 새로운 샘플 x_{new}에 대해 O_{new,i}와 w_{new,i}를 기존 그래프와 연결하고, 기존 고유벡터와 고유값을 이용해 Nyström 방법으로 ψ_ℓ(new) 를 추정한다. 이를 통해 학습된 벡터 필드나 임베딩을 외삽할 수 있다. 8. **실험 및 응용** 논문은 구면 S^d (다양한 차원)와 복잡한 곡면에 대해 수치 실험을 수행하여 VDM 거리와 전통적인 Diffusion 거리, 지오데식 거리 간의 차이를 시각화한다. 또한, 크라이오 전자 현미경(Cryo‑EM) 이미지 정렬 문제에 VDM을 적용해 다중 회전 정렬을 효율적으로 수행함을 보였다. 이 경우 각 이미지가 회전군 SO(2) 혹은 SO(3) 의 원소와 연결되며, VDM은 이러한 군 구조를 자연스럽게 포착한다. 9. **결론 및 향후 연구** VDM은 데이터의 방향성·회전 정보를 보존하면서 전역 구조를 학습할 수 있는 강력한 프레임워크이다. 향후 연구로는 (i) 비정규 매니폴드(경계·특이점 포함)에서의 수렴 분석, (ii) 고차원 텐서·다중 스칼라 필드에 대한 일반화, (iii) 딥러닝과의 결합을 통한 대규모 데이터 처리 등이 제시된다.