리스크 비교 일반 최소제곱과 릿지 회귀
본 논문은 고정 설계(fixed‑design) 상황에서 데이터 차원을 주성분 분석(PCA)으로 제한한 후 일반 최소제곱(OLS) 추정기를 적용한 “PCA‑OLS”와 ℓ₂ 정규화가 적용된 릿지 회귀(RR)의 예측 위험(risk)을 비교한다. 위험 비율을 분석한 결과, 모든 정규화 파라미터 λ≥0에 대해 0 ≤ Risk(PCA‑OLS)/Risk(RR) ≤ 4 가 성립함을 보이며, 좌변 부등식은 최악의 경우에도 타이트함을 확인한다. 실험 결과…
저자: Paramveer S. Dhillon, Dean P. Foster, Sham M. Kakade
본 연구는 고정 설계(fixed‑design) 선형 회귀 모델 Y = Xβ+ε (ε는 평균 0, 분산 σ²인 독립 잡음) 를 전제로, 두 가지 추정 방법의 예측 위험을 비교한다. 첫 번째는 ℓ₂ 정규화가 적용된 릿지 회귀(Ridge Regression, RR)이며, 두 번째는 데이터의 공분산 행렬 Σ = (1/n)XᵀX 를 고유값 분해한 뒤, 상위 고유값에 해당하는 주성분(PCA) 공간만을 선택하고 그 공간에서 일반 최소제곱(Ordinary Least Squares, OLS) 추정기를 적용하는 “PCA‑OLS” 방법이다.
논문은 위험을
Risk(β̂)=E
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기