신경표현의 내재 기하를 측정하는 새로운 리만 거리법: Metric Similarity Analysis

본 논문은 신경망이 입력 데이터를 저차원 매니폴드 M에 매핑하고, 이를 통해 내부 계산을 수행한다는 매니폴드 가설에 기반하여, 기존의 외재적 유사도 측정이 놓치는 내재 기하 차이를 정량화하는 새로운 프레임워크인 Metric Similarity Analysis(MSA)를 제안한다. 먼저 저자들은 신경망을 입력 매니폴드 M → 표현 매니폴드 ℝⁿ⁽ᶻ⁾ 로 매핑하는 함수 φ∘ψ 로 모델링한다. 이 매핑의 야코비안 J(p) 를 이용해 Pullback metric gₚ(v,w)=⟨J(p)v, J(p)w⟩ 를 정의하고, 이는 각 입력 점 p에서 SPD 행렬 G(p)=J(p)ᵀJ(p) 로 표현된다. 두 네트워크 φ₁, φ₂가 동일한 입력 매니폴드에 대해 서로 다른 변형을 가하면, 각 점에서 G₁(p), G₂(p) 가 달라지며, 이를 비교하는 것이 내재 기하 차이를 측정하는 핵심이 된다. SPD 행렬 사이의 차이를 정량화하기 위해 저자들은 일반화 고유값 문제 Gv=λG′v 를 풀어 얻은 최대·최소 고유값 λ₁, λ_m 으로 정의되는 스펙트럴 비율(d_SR=1−λ_m/λ₁)을 도입한다. d_SR는 0에서 1까지의 값으로, 0은 두 행렬이 동일함을, 1은 완전한 차이를 의미한다. 이 함수는 의사거리(pseudo‑distance) 성질을 만족하며, 대칭성·삼각 부등식·분리성을 갖는다. MSA는 이 스펙트럴 비율을 입력 매니폴드 전체에 걸쳐 적분하여 평균 거리 d_MSA= (1/Vol(M))∫_M d_SR(G₁(p),G₂(p)) dvol(p) 로 정의한다. 따라서 d_MSA는 두 네트워크가 전역적으로 구현하는 리만 메트릭의 차이를 하나의 스칼라 값으로 요약한다. 저자들은 이 정의가 좌표 변환, 네트워크 출력 공간 회전, 그리고 스케일 변환에 대해 불변임을 수학적으로 증명한다. 실험 부분에서는 세 가지 주요 응용을 제시한다. 첫 번째는 “풍부(rich) vs. 게으른(lazy)” 학습 모드이다. 동일한 정확도를 보이는 두 1‑hidden‑layer MLP가 CKA, RSA 등 기존 방법으로는 거의 구분되지 않지만, MSA는 두 모델이 입력 매니폴드를 서로 다른 곡률 구조(예: 평면 vs. 스위스 롤)로 변형함을 명확히 드러낸다. 두 번째는 동적 시스템 비교이다. 상태공간 모델(SSM)과 순환신경망(RNN)을 동일한 작업 기억 과제에 학습시켰을 때, MSA는 두 모델이 내부 상태 전이 함수를 다르게 구현함을 정량화한다. 이는 기존의 동역학 비교 방법(예: Koopman 모드 정렬, Wasserstein 거리)보다 모델 클래스 간 비교가 가능함을 보여준다. 세 번째는 대규모 텍스트‑투‑이미지 확산 모델이다. 가이드 스케일을 변화시켜 확산 과정에 외부 조건을 부여했을 때, MSA는 라티스 공간의 피셔 정보 행렬(통계적 매니폴드)의 변화를 감지한다. 이를 통해 가이드가 확산 경로를 어떻게 재구성하는지, 그리고 정보 흐름이 어떻게 달라지는지를 정밀히 분석한다. 논문의 결론은 MSA가 기존 외재적 거리 측정이 포착하지 못하는 “내재 기하적 차이”를 정량화함으로써, 신경망 설계·해석·디버깅에 새로운 도구를 제공한다는 것이다. 특히, 고차원 데이터가 저차원 매니폴드에 깃들어 있다는 전제 하에, Pullback metric과 스펙트럴 비율을 결합한 MSA는 이론적 엄밀성과 실용적 적용성을 동시에 만족한다. 향후 연구에서는 비선형 매니폴드 학습, 메타러닝, 그리고 뇌 활동 데이터와 같은 신경과학적 매니폴드 분석 등 다양한 분야로 확장이 기대된다.