스펙트럼 근사법의 실용적 비교: Nyström vs. 가우시안 프로젝션

본 논문은 대규모 데이터셋에서 그래프 라플라시안의 고유벡터를 효율적으로 근사하기 위한 두 가지 알고리즘, Nyström 확장과 Gaussian projection을 비교·분석한다. 스펙트럴 임베딩, 특히 diffusion map은 데이터의 저차원 구조를 파악하고, 이를 기반으로 클러스터링·분류·회귀 등 다양한 머신러닝 작업에 활용된다. 그러나 라플라시안 행렬 L은 n×n 크기로, 직접 고유값·고유벡터를 구하면 O(n³) 연산 비용이 발생해 실용성이 떨어진다. 따라서 근사 방법이 필요하며, 기존 연구는 주로 행렬 재구성 오차에 초점을 맞추었다. 논문은 이러한 기존 접근법을 비판하고, 근사 고유벡터를 실제 학습 알고리즘에 투입했을 때의 성능을 평가한다. 두 방법의 핵심 아이디어는 다음과 같다. 1. Nyström 확장: 전체 행렬 W에서 m개의 열(또는 행)을 무작위 혹은 가중치에 따라 샘플링해 서브행렬 W(m)를 만든다. W(m)의 고유분해를 수행하고, 이를 원래 행렬의 고유벡터로 확장한다. 이때 샘플링 전략은 ‘uniform Nyström’과 ‘weighted Nyström’ 두 가지가 소개된다. 2. Gaussian projection: 정규분포 무작위 행렬 Ω∈ℝ^{n×m}를 생성하고, Y=WΩ를 계산한다. Y의 열공간을 정규직교화해 Q를 얻고, Q를 이용해 작은 행렬 B를 구성한다. B의 고유분해를 통해 원래 행렬의 고유벡터를 근사한다. 이 방법은 열을 직접 선택하지 않고, 전체 행렬에 대한 랜덤 투영을 수행함으로써 중요한 열공간을 놓치지 않을 가능성을 제공한다. 이론적으로는 두 방법 모두 rank‑m 근사에 대한 상한을 제시한다. Nyström은 재구성 오차가 최적 rank‑m 근사와 추가적인 대각 성분에 의해 제한된다는 식을 제시하고, Gaussian projection은 투영 행렬 Ω와 최소 특이값 σ_min에 의존하는 상한을 제시한다. 그러나 이러한 상한은 서로 다른 형태라 직접 비교가 어려우며, 실제 학습 성능과는 큰 차이가 없을 수 있다. 실험은 세 가지 과업을 통해 두 방법을 평가한다. ① 매니폴드 복원: ‘fishbowl’과 ‘halo‑ball’이라는 두 합성 매니폴드를 생성하고, 동일한 계산 비용을 맞추기 위해 Nyström의 m=141, Gaussian projection의 m=10을 사용했다. 두 방법 모두 원본 구조를 잘 복원했으며, 커널 폭 ε에 대한 민감도도 낮았다. ② 클러스터링: fishbowl의 하단을 제거하고 중앙에 구를 삽입해 3‑클러스터 상황을 만든 뒤, diffusion map을 적용했다. Nyström은 원본 고유벡터와 거의 동일한 임베딩을 제공해 클러스터 경계가 명확히 유지되었지만, Gaussian projection은 차원 축소 과정에서 군집 간 간격이 크게 감소해 선형 분류기가 실패했다. 여기서는 ε와 m의 선택이 결과에 큰 영향을 미쳤으며, Nyström이 작은 m에서도 안정적인 성능을 보였다. ③ 분류: MNIST 손글씨 데이터에 diffusion map을 적용하고, 근사 고유벡터를 SVM의 입력 특징으로 사용했다. Gaussian projection이 Nyström보다 약간 높은 정확도를 기록했으며, 이는 orthogonal basis 제공과 고차원 잡음 억제가 기여한 것으로 해석된다. 계산 복잡도 측면에서 Nyström은 O(n m²), Gaussian projection은 O(n² m)이며, 동일한 실행 시간을 맞추기 위해 m을 조정했다. 실험 결과는 Nyström이 작은 m에서도 충분히 좋은 결과를 내는 반면, Gaussian projection은 더 큰 m이 필요함을 보여준다. 파라미터 튜닝 난이도 역시 차이가 있다. Nyström은 샘플링 전략(균등 vs. 가중치) 선택이 성능에 직접적인 영향을 주고, Gaussian projection은 Ω의 난수성에 크게 의존한다. 결론적으로, 논문은 “하나의 근사법이 모든 상황에 최적이다”는 주장을 부정하고, 작업 목적(매니폴드 재구성, 클러스터링, 분류), 데이터 구조, 사용 가능한 계산 자원에 따라 적절한 방법을 선택해야 함을 강조한다. 향후 연구 과제로는 두 방법의 하한 이론 개발, 자동 파라미터 선택 기법, 비선형 커널을 포함한 확장된 스펙트럴 기법에 대한 비교가 제시된다.