소표본에서도 높은 정확도의 베이지안·빈도주의 추론

본 논문은 2007년 *Statistical Science*에 게재된 “Higher Accuracy for Bayesian and Frequentist Inference: Large Sample Theory for Small Sample Likelihood”를 상세히 분석한다. 저자 M. Bédard, D. A. S. Fraser, A. Wong은 전통적인 최대우도(MLE), 관측정보, 파라미터 재스케일링 등 친숙한 통계 도구를 활용해 소표본에서도 거의 정확한 p‑값과 베이지안 s‑값을 산출하는 일련의 방법론을 제시한다. **1. 서론(Section 1)** 연구 동기를 설명하며, “조건부 균등성”이라는 개념을 도입한다. 즉, p‑값이 전역적으로 Uniform(0,1)일 뿐 아니라, 데이터가 제공하는 정밀도 정보(예: 관측정보 행렬)를 조건으로 삼아도 동일한 균등성을 유지한다는 주장이다. 이를 검증하기 위해 간단한 회귀 예제를 선택한다. **2. 첫 번째 실용적 접근(Section 2)** x와 y의 7개 관측값을 이용해 Student‑t(7) 오차를 갖는 선형 모델을 설정한다. β=1을 검정하고, t‑통계량 \(t_0\) 를 구한다. 정규근사 \(\Phi(t_0)=0.07414\) (7.41 %)와 Student‑t(5) 근사 \(H_5(t_0)=0.10395\) (10.40 %)를 제시한다. 부트스트랩(10 000 반복)으로 얻은 경험적 p‑값 \(p_{BS}=0.1051\) 와 정확한 열거(7⁷ 경우)로 계산한 \(p_{ExBS}=0.10332\) 를 표 1에 정리한다. **3. Signed Likelihood Root (SLR) 기반 p‑값(Section 3)** 로그우도 \(\ell(\theta)\)와 제한된 로그우도 \(\ell(\hat\theta_\psi)\) 사이의 차이를 이용해 SLR \(r_\psi\) 를 정의한다. 이 값은 1차 근사에서 표준정규분포를 따르며, 실제 예제에서는 \(r_{\beta=1}=-1.574053\) 를 얻는다. 이에 대한 p‑값 \(p_{SLR}= \Phi(r_{\beta=1}) = 0.05774\) (5.77 %)가 계산된다. **4. 베이지안 사후 생존함수(s‑value) 도입(Section 4)** Jeffreys prior와 같은 “default prior”를 사용해 베이지안 사후 분포를 구하고, 생존함수 \(s(\psi)=P(\Psi\ge\psi\mid y)\) 를 정의한다. 이 s‑값은 빈도주의 p‑값과 동일한 해석을 제공한다. **5. 제3차 정확도(Likelihood‑Based Third‑Order Approximation) (Section 5)** 관측정보 행렬 \(j(\theta)\)와 고차 미분항을 이용해 Edgeworth 전개를 수행한다. 이를 통해 SLR의 3차 보정식과 베이지안 s‑값의 3차 근사식을 도출한다. 제3차 근사는 실제 시뮬레이션에서 2~3 소수점 이하 차이만 보이며, 표 2에 다양한 β값에 대한 3차 p‑값과 s‑값을 제시한다. **6. 빈도주의 제3차 p‑값(Section 6)** SLR의 3차 보정값을 이용해 빈도주의 p‑값을 계산하고, 앞선 1차 근사와 비교한다. **7‑8. 정확한 p‑값 검증 via McMC (Sections 7‑8)** Metropolis–Hastings 알고리즘을 사용해 대규모 마코프 연쇄 몬테카를로 시뮬레이션(N=4 × 10⁶)을 수행한다. 제3차 근사와 부트스트랩(정확) p‑값이 거의 동일함을 확인한다. **9‑10. 정밀도 정보와 베이지안 평균·분산(Sections 9‑10)** 조건부 정밀도(관측정보 행렬)와 베이지안 사후 평균·분산 사이의 관계를 논의한다. 제3차 근사를 이용해 사후 평균 \(\hat\psi_{B,3}\) 와 분산 \(\hat V_{B,3}\) 를 계산하고, McMC로 검증한다. **11‑13. Metropolis–Hastings 단계에 대한 직관과 적응형 개선(Sections 11‑13)** 제안 분포의 스케일을 데이터 축적 효과에 맞춰 동적으로 조정하는 적응형 McMC 기법을 제시한다. 이 방법은 수용률을 크게 향상시킨다. **14. 논란이 되는 사례 분석(Section 14)** 문헌에 보고된 난해한 예(예: 비정규 오차, 파라미터 경계) 를 재현하고, 제시된 고차 근사와 McMC 검증이 기존 방법보다 월등히 정확함을 보여준다. **15. 결론 및 토의(Section 15)** 베이지안과 빈도주의 방법이 동일한 사후 해석을 제공함을 강조하고, “데이터 축적(data‑accretion)”이라는 큰 표본 이론을 소표본에 적용하는 프레임워크가 널리 활용될 가능성을 제시한다. 전반적으로 논문은 (1) 다양한 p‑값·s‑값 계산법을 제시하고, (2) 제3차 정확도와 McMC 검증을 통해 그 신뢰성을 입증하며, (3) 베이지안 사전 선택이 파라미터에 따라 어떻게 영향을 미치는지를 명확히 설명한다. 이로써 복잡한 모델에서도 손쉽게 높은 정확도의 확률값을 얻을 수 있는 실용적인 도구를 제공한다.