선형 회귀 위험 경계 PAC 베이즈 절단 기법
본 논문은 입력 분포를 알 필요 없이 선형 회귀에서 최적의 선형 조합과 동등한 예측 성능을 달성하는 새로운 위험 경계들을 제시한다. 기존 방법에서 흔히 나타나는 로그 n 항을 제거하고, 출력 변수에 대한 지수적 모멘트 가정 없이도 지수적 편차를 보장한다. 핵심은 손실 차이를 절단(truncate)한 뒤 PAC‑Bayesian 분석을 적용한 것이다.
저자: Jean-Yves Audibert (Imagine, INRIA Rocquencourt), Olivier Catoni (DMA)
본 논문은 선형 회귀 문제에서 “최적 선형 조합”과 동등한 예측 성능을 달성하기 위한 위험 경계들을 새롭게 제시한다. 전통적인 선형 최소제곱(OLS)이나 Ridge 회귀는 입력 분포가 알려진 경우에만 기대 위험이 \(O(d/n)\) 속도로 수렴한다는 이론적 결과가 존재한다. 그러나 실제 상황에서는 입력 분포를 알 수 없으며, 기존의 비정규화된 결과는 종종 \(\log n\) 항을 포함하거나, 출력 변수 \(Y\) 에 대한 지수적 순간(예: \(\mathbb E
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기