디퓨전 맵은 차원 축소가 아니다

본 논문은 디퓨전 맵(DMAP)이 차원 축소 도구로 흔히 오해받는 현상을 비판하고, 그 본질을 “내재 기하의 스펙트럼 표현”으로 재정의한다. 저자들은 라플라스–베르트라미 연산자의 고유함수를 근사하는 그래프 라플라시안 기반 방법으로서 DMAP을 소개하고, 기존 차원 축소 기법인 Isomap과 UMAP와의 근본적인 차이를 이론적으로 설명한다. 먼저, 라플라스 연산자의 고유함수 {ϕₙ}는 L²(M) 공간의 완전한 정규직교 기저이며, 임의의 스칼라 함수는 이 기저에 대한 푸리에 전개가 가능하다. 이 관점에서 DMAP은 데이터에 대한 확산 연산자를 마코프 정규화한 커널 행렬을 대각화해 고유값 λₙ과 고유벡터 ϕₙ을 얻는다. 여기서 λₙ은 확산 속도(또는 라플라시안 고유값 µₙ=1−λₙ)와 직접 연결된다. β 파라미터는 커널 스케일을 조절해 유효 스펙트럴 차원 r_eff(β)를 결정하며, 이는 β^{d/2}에 비례한다는 Weyl 법칙을 인용한다. 따라서 β가 작을수록 저주파 모드만 남고, β가 크면 고주파까지 포함해 전체 차원을 포괄한다. 이론적 논의를 바탕으로, 저자들은 실험을 설계한다. 스위스 롤 데이터는 2차원 직사각형 시트를 아키메데스식으로 굴려 3차원에 임베딩한 것으로, 원본 2차원 좌표(Q)가 정확히 알려져 있다. 이는 차트 선택을 정량화할 수 있는 이상적인 벤치마크이다. 동일한 데이터에 대해 Isomap, UMAP, DMAP을 다양한 잠재 차원(d∈{1,2,3,4,5,6,7,8,16,32,64,128,256,512,1024})으로 적용한다. Isomap과 UMAP은 각 d마다 별도로 임베딩을 재계산하고, DMAP은 한 번에 1024개의 고유모드를 계산한 뒤 필요에 따라 앞쪽 d개를 선택한다. 각 임베딩 U(d)∈ℝ^{N×d}에 대해 “오라클 선형 리드아웃”을 수행한다. 즉, 최소제곱 방식으로 Q≈U(d)L+b를 풀어 L∈ℝ^{d×2}, b∈ℝ^{2}를 얻고, 재구성 차트 \hat{Q}(d)=U(d)L+b와 원본 Q 사이의 Frobenius 오차를 측정한다. 이 절차는 차트가 임베딩의 선형 스팬에 포함되는지를 평가하는 것이며, 차트 자체가 직접 출력되는지를 판단하는 것이 아니다. 실험 결과는 다음과 같다. Isomap은 d=2에서 이미 매우 낮은 재구성 오차를 달성한다. 이는 Isomap이 그래프 거리(다익스트라)를 기반으로 저차원에서 내재 거리 보존을 직접 목표로 하기 때문이다. UMAP은 d가 증가함에 따라 점진적으로 오차가 감소하며, 중간 차원에서 유의미한 차트 정보를 제공한다. DMAP은 초기 몇 개의 고유모드(특히 가장 큰 λₙ에 해당하는 저주파 모드)가 차트 복원에 거의 기여하지 못한다. 그러나 차원을 늘려 많은 모드를 포함하면 오차가 꾸준히 감소하고, 최종적으로는 Isomap·UMAP보다 낮은 오류를 기록한다. 이는 차트가 여러 확산 모드에 분산되어 존재한다는 증거이며, 적절한 선형 조합을 찾아야만 차트를 얻을 수 있음을 보여준다. DMAP 리드아웃 행렬 L의 계수 분석에서는 낮은 1−λₙ(느린 모드)부터 높은 1−λₙ(고주파 모드)까지 계수 크기가 고르게 분포하고, 일부 고주파 모드에서 큰 스파이크가 나타난다. 이는 고주파 모드가 차트에 거의 영향을 주지 않음에도 최소제곱 해의 자유도에 의해 큰 가중치가 부여될 수 있음을 의미한다. 저자들은 차트 선택 heuristics로 “임베딩의 로컬 차원 증가”를 제안하지만, 이는 보조적인 기준일 뿐이며 최종적으로는 재구성 오류나 Jacobian 검증을 통해 검증해야 한다고 강조한다. 결론적으로, DMAP은 데이터의 내재 기하를 풍부히 표현하는 스펙트럼 도구이지만, 차트 선택 원칙이 내재되어 있지는 않다. 차원 축소를 위해서는 DMAP 스펙트럼을 기반으로 추가적인 후처리—선형/비선형 리드아웃, 차원 선택 기준, 혹은 도메인 지식 기반의 모드 조합—가 필요하다. 이 연구는 차원 축소와 기하학적 분석을 혼동하기 쉬운 현 상황에 중요한 경고를 제공하며, 향후 연구에서는 스펙트럼 기반 표현과 차트 선택을 통합하는 새로운 프레임워크가 요구됨을 시사한다.