모델 불확실성 하 위험과 부트스트랩

본 논문은 통계 분석에서 다수의 후보 모델이 존재할 때 전통적인 “하나의 모델 선택 후 추정” 접근법이 갖는 근본적인 한계를 지적한다. 모델 선택 과정 자체가 무작위적이며, 이를 무시하고 선택된 모델을 고정된 것으로 취급하면 추정량의 분산이 과소평가되고, 위험(Mean Squared Error, MSE)이 비정상적으로 커질 수 있다. 특히, 저자는 단순 선형 회귀 모델 Yₜ = αx₁ₜ + βx₂ₜ + εₜ (εₜ ~ N(0,σ²), σ² 알려짐)를 사용해 모델 불확실성 문제를 구체화한다. 여기서 제한 모델 R은 β=0, 완전 모델 U는 β≠0을 허용한다. 두 모델에 대해 최소제곱 추정량 ˆα(R), ˆα(U)와 ˆβ(U)를 정의하고, 전통적인 사전 검정, AIC, BIC 등을 이용한 모델 선택 규칙 ˆM을 제시한다. 사후 선택 추정량 ˜α = ˆα(R)·I{ˆM=R} + ˆα(U)·I{ˆM=U}는 이론적으로는 “오라클” 추정량 ˆα(M₀)와 동일한 성질을 가질 것으로 기대되지만, 실제로는 β의 크기에 따라 MSE가 무한대로 발산한다는 비균일성 문제가 존재한다. 이는 특히 BIC와 같은 강한 일관적 선택 기준을 사용할 때 두드러진다. 비균일성은 부트스트랩이나 서브샘플링 같은 재표본화 기법이 ˜α에 대해 일관된 분포 근사를 제공하지 못하게 만든다. 이러한 문제를 해결하기 위해 저자는 베이지안 모델 평균(BMA) 접근법을 도입한다. 사전은 (α,β)∼N(0,I) (U 모델)와 α∼N(0,1) (R 모델)로 설정하고, 두 모델에 동일한 사전 가중치 1/2를 부여한다. 사후 모델 확률 πₙU, πₙR을 계산한 뒤, BMA 추정량 ˆα_BMA = πₙU·ˆα(U) + πₙR·ˆα(R) 를 정의한다. 주요 결과인 Proposition 3.1은 고정된 파라미터 (α,β) 에 대해 정규화 위험 n·E