저차원 이웃 표현을 이용한 LLE 개선

본 논문은 비선형 차원 축소 기법인 Local Linear Embedding(LLE)의 근본적인 한계를 지적하고, 이를 보완하는 새로운 알고리즘을 제안한다. LLE는 (1) 각 데이터 포인트에 대해 K개의 최근접 이웃을 선택하고, (2) 이 이웃을 선형 결합해 원점을 복원하는 가중치 w_ij를 최소화하며, (3) 최종적으로 저차원 좌표 Y를 찾아 전체 재구성 오차 Φ(Y)=∑_i‖y_i−∑_j w_ij y_j‖² 를 최소화한다. 기존 LLE는 두 번째 단계에서 고차원 이웃 행렬 X_i (K×D)의 공분산 X_iX_iᵀ 의 역행렬을 이용해 가중치를 구한다. 이때 가중치는 고차원 이웃 구조를 그대로 반영하므로, 두 가지 문제점이 발생한다. 첫 번째 문제는 잡음에 대한 민감도이다. X_iX_iᵀ 의 조건수가 크게 되면(즉, 이웃이 거의 선형 종속이거나 잡음이 섞이면) 작은 입력 변동이 w_i를 급격히 바꾸어 최종 임베딩이 크게 달라진다. 기존 연구에서는 정규화 파라미터 δ를 도입해 역행렬을 안정화하려 했지만, δ가 너무 크면 가중치가 균일해져 Laplacian Eigenmap과 유사한 선형 결과를 초래한다. 따라서 정규화는 파라미터 튜닝이 필요하고, 결과가 불안정하다. 두 번째 문제는 데이터 수가 무한히 많아질 때 LLE가 선형 투영에 수렴한다는 점이다. N→∞이면 각 점이 이웃에 의해 완벽히 재구성되므로 ϕ_i→0이 되고, 입력 자체가 Φ(Y)의 최소값이 된다. 이때 최적 Y는 입력 X(또는 회전·스케일 변환)와 거의 동일하며, 차원 dd≥1이면 정규화 파라미터가 필요 없어진다. 이론적 분석에서는 두 가지 주요 결과를 제시한다. 첫째, X_i^P 를 사용하면 X_iX_iᵀ 의 최소 고유값 λ_d 가 잡음에 의해 크게 감소하지 않으며, 따라서 w_i의 민감도는 O(σ/λ_d) 로 감소한다. 둘째, 저차원 이웃 기반 가중치는 N→∞ 상황에서도 Φ(Y) 최소화가 비선형 매니폴드 구조를 보존하도록 만든다. 즉, 선형 투영 현상이 사라지고, 저차원 매니폴드의 토폴로지를 정확히 복원한다. 실험에서는 전통적인 LLE 테스트 베드인 2차원 원형(open ring), 3차원 ‘S’ 곡선, Swiss Roll을 사용한다. 기존 LLE는 (a) 2차원 출력에서 원형을 그대로 유지해 저차원(1D)으로 축소할 때 직선이 아닌 곡선을 반환하고, (b) ‘S’ 곡선과 Swiss Roll에서도 고차원 구조를 그대로 보존해 차원 축소가 제대로 이루어지지 않는다. 또한 작은 잡음이 추가되면 가중치가 크게 변해 결과가 불안정해진다. 반면, 제안된 저차원 이웃 표현 LLE는 (i) 잡음에 강인해 가중치가 거의 변하지 않으며, (ii) 1차원·2차원 축소 시 매니폴드의 실제 형태(원형의 직선, ‘S’ 곡선의 평탄화, Swiss Roll의 펼침)를 정확히 복원한다. 정규화 파라미터 없이도 K>d 상황에서 안정적인 결과를 얻는다. 결론적으로, 논문은 LLE의 핵심 단계인 가중치 계산이 고차원 이웃이 아닌 저차원 접평면을 기반해야 함을 증명하고, SVD 기반 저차원 이웃 표현이라는 간단하면서도 계산량이 크게 늘어나지 않는 방법을 제시한다. 이 변형은 잡음 강인성, 정규화 필요성 제거, 비선형 매니폴드 보존 측면에서 기존 LLE를 크게 개선한다는 점을 이론적 증명과 실험을 통해 입증한다.