스케일‑프리 RBF로 구현하는 비선형 차원 축소 역매핑

본 연구는 비선형 차원 축소(Nonlinear Dimensionality Reduction, NLDR) 기법이 생성하는 저차원 임베딩 Φₙ에 대해, 원본 고차원 데이터 공간 ℝᴰ로 되돌아가는 역함수 Φₙ⁻¹을 어떻게 정의하고 계산할 것인가라는 근본적인 문제를 다룬다. 기존의 NLDR 방법(Laplacian Eigenmaps, Isomap, Diffusion Maps 등)은 주어진 샘플 {x^{(i)}}에 대해서만 매핑을 제공하고, 새로운 좌표 y∈ℝᵈ에 대한 전방 매핑은 Nyström 확장 등으로 확장 가능하지만, 역매핑은 전혀 다루지 않는다. 이는 데이터 생성·시뮬레이션, 데이터 증강, 혹은 물리적 파라미터 해석 등에서 큰 제약이 된다. 논문은 이 문제를 “프리이미지 문제”라 명명하고, 다음과 같은 가정을 둔다. (1) 데이터는 매끄러운 저차원 매니폴드 M⊂ℝᴰ에 존재한다. (2) 비선형 매핑 Φₙ은 샘플에 대해 정확히 제한된 연속함수 Φ와 일치한다(즉, Φₙ(x^{(i)})=Φ(x^{(i)}) 그리고 n→∞일 때 Φₙ→Φ). 목표는 Φ⁻¹:Φ(M)→ℝᴰ를 전역적으로 근사하는 연산자 Φ†ₙ을 구성하는 것이다. ### 1. RBF 기반 보간 설계 각 좌표 함수 φ⁻¹_i(y) (i=1,…,D)를 독립적으로 보간한다. 라디얼 베이시스 함수(k) 기반 보간식은 φ†_i(y)=∑_{j=1}^n α^{(j)}_i k(y, y^{(j)}) 이며, α는 Kα = X 시스템을 풀어 얻는다. 여기서 K_{pq}=k(y^{(p)}, y^{(q)})이고, X_{pj}=x^{(p)}_j는 원본 고차원 좌표이다. 전체 역매핑은 Φ†(y)=k(y,·)^T K^{-1} X 로 표현된다. ### 2. 커널 선택과 수치적 특성 두 종류의 커널을 비교한다. - **가우시안 커널** k(z,w)=exp(−ε²‖z−w‖²) : ε가 작을수록 보간 정확도가 높아지지만, K의 고유값이 급격히 스케일링되어 조건수가 폭발한다. 실험(Fig.1,2)에서 fill distance h와 ε에 대한 조건수 변화를 보여주며, 적절한 ε 선택이 어려운 점을 강조한다. - **큐빅 커널** k(z,w)=‖z−w‖³ : 스케일‑프리이며, 다항식 보강(상수·선형항 추가) 형태로 고유성을 보장한다. 조건수는 가우시안에 비해 현저히 낮고, ε 파라미터가 없으므로 구현이 단순하고 안정적이다. 조건수 분석에서는 “fill distance” h_Z,Ω와 “local fill distance” h_local을 도입해 노드 간 평균 거리와 행렬 안정성의 관계를 정량화한다. 특히 고차원(ℝ^{100})에서도 큐빅 커널은 조건수가 크게 증가하지 않으며, 가우시안은 ε와 n에 따라 급격히 악화된다. ### 3. 함수 공간(Native Space) 및 수렴 이론 RBF 보간이 정확히 재현할 수 있는 함수 집합은 해당 커널의 native space이다. - 가우시안의 native space는 푸리에 변환이 가우시안보다 빠르게 감소하는 매우 제한된 함수들이다. 실제 수치적 한계 때문에 이론적 지수 수렴도 실현이 어렵다. - 큐빅 커널의 native space는 차원이 홀수일 때 Beppo‑Levi 공간 BL_{(d+3)/2}(ℝᵈ)이며, 이는 충분히 부드러운 함수(특히 Φ⁻¹와 같은 매끄러운 역함수)를 포함한다. 짝수 차원에 대한 정확한 정의는 아직 알려지지 않았지만, 실험적으로 thin‑plate spline(ρ=2)보다도 좋은 성능을 보인다. 수렴 속도는 가우시안이 h_Z,Ω에 대해 지수적, 큐빅이 최소 O(h^{3/2})의 대수적 수렴을 보인다. 실제 실험에서는 차원·샘플 수에 따라 O(h) 수준의 빠른 수렴을 관측한다. ### 4. Nyström 확장과의 연관성 논문은 K^{-1}X 형태의 보간식을 그래프 라플라시안의 정규화 고유벡터에 대한 Nyström 확장과 동일시한다. Nyström은 원래 고유벡터를 새로운 점에 직접 평가하는 방식이며, 이를 RBF 보간으로 재해석하면 보간 행렬에 대한 정규화와 다항식 보강이 자연스럽게 포함된다. 이 관점에서 기존 Nyström의 스케일 선택 문제와 경계 외 extrapolation 문제를 개선할 수 있는 구체적 방안을 제시한다(예: 커널을 큐빅으로 교체하고, 상수·선형항을 추가함). ### 5. 실험 및 응용 다양한 차원(D=5,20,100)과 샘플 수(n=10~1000)에서 조건수, 수렴, 재구성 오류를 비교한다. 결과는: - 큐빅 RBF는 가우시안 대비 조건수가 2~3 orders of magnitude 낮다. - 재구성 오류는 동일하거나 더 낮으며, 특히 고차원에서 가우시안이 수치 포화에 빠지는 반면 큐빅은 안정적으로 감소한다. - Nyström 기반 전방 매핑과 비교했을 때, 제안된 역매핑은 동일한 데이터에 대해 더 정확한 프리이미지를 제공한다. ### 6. 결론 저자는 비선형 차원 축소의 역매핑 문제를 스케일‑프리 큐빅 RBF 보간으로 해결함으로써, 수치적 안정성, 구현 단순성, 그리고 이론적 보장을 동시에 얻었다. 또한 Nyström 확장을 새로운 시각으로 해석함으로써 기존 방법의 한계를 명확히 하고, 개선 방향을 제시한다. 향후 연구에서는 고차원에서의 효율적인 K^{-1} 계산(예: 빠른 RBF 전처리, 저랭크 근사)과, 복합 데이터(노이즈, 비균일 샘플링)에서의 견고성 분석이 기대된다.