자동 적응 라플라시안 피라미드: 고차원 데이터와 함수 확장의 새로운 해법

**1. 서론 및 배경** 고차원 데이터 분석에서 비선형 차원 축소(Manifold Learning)와 그에 따른 함수 외삽은 핵심 과제이다. Diffusion Maps(DM)와 Spectral Clustering(SC) 같은 방법은 고유값 분해에 기반해 저차원 임베딩을 제공하지만, 새로운 샘플을 임베딩 공간에 투사하고, 그 위에 정의된 목표 함수를 추정하는 과정은 여전히 어려움이 있다. 특히, 노이즈가 섞인 함수값을 평균 기반(NN)으로 추정하면 불안정해지고, LP는 다중 스케일 가우시안 커널을 이용해 점진적으로 함수를 복원하지만, 언제 멈춰야 하는지에 대한 명확한 기준이 없다. **2. 라플라시안 피라미드(LP) 복습** LP는 초기 넓은 가우시안 커널 K₀(σ)로 부드러운 근사 f̃₀ = f * P₀을 만든 뒤, 잔차 d₀ = f – f̃₀에 더 좁은 커널 K₁(σ/μ)로 보정한다. 이 과정을 L번 반복하면 최종 근사 f̃_L = f̃₀ + Σ_{i=0}^{L-1} d_i * P_{i+1}가 된다. 각 단계의 연산 비용은 O(N²)이며, 전체는 O(LN²)이다. 그러나 σ를 충분히 작게 하면 P_i는 거의 단위 행렬이 되고, 잔차가 0에 수렴해 훈련 데이터에 과적합한다. **3. 오류 분석** 연속 커널 관점에서 P_i는 δ함수에 수렴한다는 사실을 이용해 Fourier 변환을 전개하면, i번째 잔차의 L2 노름이 C·σ₀²·σ₀^{2i}·μ^{2i}·‖f‖₂와 같이 급격히 감소함을 보인다. 따라서 이론적으로는 충분히 많은 단계가 필요 없으며, 적절한 정지 시점을 찾는 것이 핵심이다. **4. 자동 적응 라플라시안 피라미드(ALP) 설계** ALP는 LP와 동일한 절차를 따르지만, 매 단계에서 정규화 커널 행렬 P를 0대각 행렬 ˜P로 교체한다. ˜P는 특정 샘플을 제외한 학습 집합에 대한 LOOCV와 동일한 효과를 제공한다. 즉, 훈련 오류 d_i는 실제 LOOCV 오류의 근사값이 된다. 따라서 “err_i < err_{i-1}” 조건을 만족하는 동안 반복하고, 오류가 다시 증가하면 정지를 결정한다. 알고리즘 1은 학습 과정을, 알고리즘 2는 테스트(새 샘플에 대한 외삽) 과정을 제시한다. **5. 실험 1 – 합성 데이터** 노이즈가 섞인 사인 파형(1000점)에서 LP는 10단계까지 진행하면 훈련 MAE가 0.01 이하로 감소하지만 검증 MAE는 0.07까지 상승한다. ALP는 6번째 단계에서 오류가 최소가 되며, 동일한 테스트 MAE 0.03을 달성한다. 그래프(Figure 1)에서 LP와 LOOCV, ALP의 오류 추이를 비교해 ALP가 LOOCV와 일치함을 확인한다. **6. 실험 2 – 방사선 예보 고차원 데이터** 위성 이미지(4096 차원)와 지상 관측값(1 차원)을 사용해 DM으로 10차원 임베딩을 만든다. 새로운 위성 이미지에 대한 임베딩 좌표와 방사선 강도 값을 추정해야 하는데, 기존 NN, Geometric Harmonics, 표준 LP와 비교한다. ALP는 평균 절대 오차(MAE)를 0.12(±0.02)로 낮추었으며, 파라미터 µ=2, 초기 σ₀=1.0만 지정하면 자동으로 최적 σ를 찾는다. 또한, 훈련 시간은 약 3.2초(L=7)로 기존 LP와 동일했다. **7. 논의** ALP는 (1) 파라미터 의존성을 크게 감소시켜 적용성을 높이고, (2) LOOCV와 동일한 일반화 오류 추정치를 제공해 과적합을 방지한다. 비용 측면에서는 O(LN²)로 기존 LP와 동일하지만, 메모리 사용량이 N²이므로 대규모 데이터에는 희소 커널 근사나 배치 학습이 필요하다. 또한, 현재는 가우시안 커널에 최적화돼 있어 다른 커널 형태에 대한 일반화 가능성은 추후 연구가 필요하다. **8. 결론** ALP는 라플라시안 피라미드의 다중 스케일 장점을 유지하면서 자동 정지 기준을 제공하는 효율적인 함수 외삽 기법이다. 합성 및 실제 방사선 예보 데이터에서 기존 방법 대비 정확도와 안정성을 입증했으며, 파라미터 튜닝 없이도 적용 가능함을 보여준다. 향후 연구에서는 대규모 데이터에 대한 스케일링, 비가우시안 커널 적용, 그리고 다른 비선형 차원 축소 기법과의 결합을 목표로 할 수 있다.