무작위 설계에서 능형 회귀 분석
본 논문은 무작위 설계(random design) 환경에서 일반 최소제곱(OLS)과 능형 회귀(ridge) 추정기의 예측 오차를 비편향·분산 관점에서 정밀하게 분석한다. 공분산 추정 오류와 모델링 오차가 예측 성능에 미치는 영향을 명시적으로 분리하고, 효과 차원 \(d_{p,\lambda}\) 와 정규화 파라미터 \(\lambda\) 에 따른 비동일 수렴 속도를 제시한다.
저자: Daniel Hsu, Sham M. Kakade, Tong Zhang
**1. 서론**
무작위 설계(random design) 환경에서는 관측된 공분산 행렬이 확률적이며, 새로운 입력에 대한 예측 성능이 핵심 관심사이다. 기존 고정 설계(fixed design) 분석은 샘플에 이미 포함된 데이터에 대한 추정 정확도만을 다루어, 실제 서비스 환경에서 요구되는 “out‑of‑sample” 예측 오차를 충분히 설명하지 못한다. 본 논문은 이러한 격차를 메우기 위해 OLS와 능형 회귀(ridge) 추정기를 무작위 설계 하에서 동시에 분석한다.
**2. 모델 및 기본 가정**
- 데이터 \((x_i,y_i)\)는 i.i.d.이며, \(x\in\mathbb{R}^d\)는 유한 2차 모멘트를 갖는다.
- 공분산 행렬 \(\Sigma=E
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기