다양체 학습 정규화의 대가

본 논문은 고차원 데이터의 저차원 구조를 복원하는 manifold‑learning 알고리즘 중, 비용 함수를 이차형식으로 정의하고 정규화 제약을 부과하는 일련의 방법들을 ‘정규화‑출력(normalized‑output)’ 알고리즘이라 통합적으로 명명한다. 구체적으로 LLE, Laplacian Eigenmap(LEM), Local Tangent Space Alignment(LTSA), Hessian Eigenmaps(HLLE), Diffusion Maps(DFM) 를 포함한다. 이들 알고리즘은 크게 세 단계로 구성된다. 첫째, 각 샘플에 대해 K‑nearest 혹은 r‑ball 이웃을 정의한다. 둘째, 이웃에 대한 가중치 행렬 W_i 을 계산한다. LLE는 재구성 가중치를 최소화하고, LEM·DFM 은 그래프 라플라시안 가중치를, LTSA·HLLE 은 로컬 접공간·헤시안 추정치를 사용한다. 셋째, 전체 비용 Φ(Y)=∑_i‖W_iY_i‖_F² 를 최소화하면서 YᵀDY=I(LEM·DFM) 혹은 Cov(Y)=I(LLE·LTSA·HLLE) 와 같은 정규화 제약을 만족하도록 Y를 구한다. 논문은 이러한 알고리즘이 “성공”한다는 기준을 **원본 샘플 X와 출력 Y가 affine 변환 관계에 있다**는 정의로 설정한다. 즉, 정규화 제약을 만족하는 Y가 X와 회전·이동·스케일만 차이가 난다면 알고리즘은 성공한 것으로 본다. 이를 바탕으로 저자는 두 차원 매니폴드에 대한 **필수 조건**을 수학적으로 도출한다. 주요 조건은 다음과 같다. (1) 이웃 그래프가 연결되어야 한다. (2) 각 로컬 이웃의 공분산 행렬이 동일한 스케일을 가져야 하며, 이는 이웃 반경 r(i) 가 일정하거나, 데이터가 등거리(isometric) 임베딩된 경우에 자동으로 만족한다. (3) 라플라시안 혹은 헤시안 추정치가 원래 매니폴드의 기하학을 정확히 반영해야 한다. 필요조건을 위반하는 사례를 두 가지 제시한다. 첫 번째는 **비등거리 직사각형 스트립**이다. 가로와 세로 길이가 크게 차이나면 정규화 제약이 가로를 압축하고 세로를 확장해, 출력이 원본과 affine 관계가 깨진다. 실험에서는 LTS​A 를 적용했을 때 입력이 1×6 직사각형이지만 출력은 거의 6×1 형태로 변형되는 것을 확인한다. 두 번째는 **곡률이 큰 얇은 띠**(예: 원형 또는 나선형 매니폴드)이다. 여기서는 로컬 이웃의 방향이 급격히 변하므로, 정규화 제약이 이웃 구조를 보존하지 못하고, 결과적으로 지오데식 거리와 각도(컨포멀성)가 크게 왜곡된다. 또한, 논문은 **유한 표본**과 **무한 표본(극한)** 두 경우를 모두 분석한다. 유한 표본에서는 이웃 선택과 가중치 계산에 의한 오차가 존재하지만, 충분히 큰 N과 적절한 K를 선택하면 필요조건이 근사적으로 만족한다. 무한 표본에서는 이론적 수렴을 검증했으며, LEM·DFM 은 필요조건이 충족될 때만 정확히 원본 매니폴드의 라플라시안 연산자를 근사한다. 반면 LLE·LTSA·HLLE 은 가중치 행렬이 로컬 재구성 오류에 민감해, 작은 잡음(분산 10⁻⁴)만 있어도 수렴하지 못하고, 출력이 1‑차원 곡선으로 붕괴되는 현상이 관찰된다. 실험 결과는 위 이론을 뒷받침한다. 저자는 2‑D 격자, 직사각형 스트립, 곡률이 큰 띠 등 다양한 매니폴드에 대해 각 알고리즘을 적용하고, 출력이 원본과 affine 관계를 유지하는지 여부를 시각화·정량화하였다. LEM·DFM 은 등거리 매니폴드에서는 성공하지만, 비등거리·비등각 매니폴드에서는 실패한다. LLE·LTSA·HLLE 은 잡음에 매우 취약해, 실험적으로도 원본 구조를 복원하지 못함을 확인한다. 결론적으로, 정규화‑출력 알고리즘은 **‘정규화’라는 설계 선택** 때문에 매니폴드의 스케일·등거리 특성이 일정할 때만 올바른 저차원 복원을 보장한다. 이는 실무에서 이러한 방법을 적용하기 전에 데이터가 필요조건을 만족하는지 사전 검증이 필요함을 의미한다. 필요시 정규화 제약을 완화하거나, 지오데식 거리 보존을 목표로 하는 Isomap, t‑SNE, UMAP 등 다른 차원 축소 기법을 고려해야 한다는 실용적 교훈을 제공한다.