재귀적 편향 보정과 L2 부스팅: 스무더의 수렴·발산 메커니즘 분석
본 논문은 회귀 스무더에 대한 반복 편향 보정 절차를 제안하고, 이를 L2 부스팅 알고리즘과 동등하게 해석한다. 스무더 행렬 S의 스펙트럼이 I‑S의 고유값이 ‑1과 1 사이에 있을 때만 알고리즘이 수렴하며, 커널·K‑최근접 이웃 등 일부 스무더에서는 발산한다. 적절한 조기 종료 규칙(AIC, GCV, 교차검증 등)을 도입하면 편향 감소와 분산 증가 사이의 최적 균형을 얻을 수 있음을 시뮬레이션을 통해 확인한다.
저자: Pierre Andre Cornillon, Nicolas Hengartner, Eric Matzner-Lober
본 논문은 비모수 회귀에서 널리 사용되는 선형 스무더 \(S\)에 대해, 편향을 직접 추정하고 보정하는 반복 절차를 제안한다. 기본 아이디어는 초기 추정 \(\hat m_1=S Y\)의 잔차 \(R_1=(I-S)Y\)를 다시 스무딩하여 편향 \(\hat b_1=-S R_1\)을 얻고, 이를 원 추정에서 빼는 ‘twicing’ 과정을 한 번 수행하면 새로운 추정 \(\hat m_2\)가 된다. 이 과정을 k번 반복하면 \(\hat m_k =
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기