계층모델 2단계 검증을 위한 교차검증 사후예측 검사

라센과 루는 바야리·카스텔라노스(Bayarri & Castellanos, 2007)의 “계층 모델 2단계 베이지안 검증” 논문에 대한 논평을 통해, 기존의 부분 사후예측(p‑pp) 방법이 갖는 한계—특히 데이터의 이중 사용과 낮은 검정력—를 지적하고, 이를 보완하는 교차검증 사후예측 검증(cross‑validated posterior predictive checks, CV‑PPC) 방식을 제안한다. CV‑PPC는 각 그룹 i를 제외한 전체 데이터 X^{(-i)}를 사용해 하이퍼파라미터 η의 사후분포 π(η|X^{(-i)})에서 M개의 샘플을 추출한다. 각 η^{(m)}_{(-i)}에 대해 해당 그룹의 파라미터 θ_i^{(m)}를 사전조건 π(θ_i|η^{(m)}_{(-i)})에서 독립적으로 샘플링하고, 이를 이용해 복제 데이터 X_i^{(m)}를 생성한다. 이렇게 얻은 복제 데이터와 실제 데이터 x_i에 대해 정의된 불일치 측도 D(X,θ,η)를 계산하고, 복제 D가 실제 D보다 큰 비율을 p‑값으로 정의한다. 이 절차는 (1) 객관적(prior) 사전분포 사용 가능, (2) 데이터 이중 사용을 방지, (3) 하나의 η 샘플링 과정으로 다수의 불일치 측도를 동시에 평가할 수 있다는 장점을 가진다. 논문은 O’Hagan(2003)의 5개 그룹 데이터를 예시로 사용한다. 기본 모델은 2단계 정규‑정규 계층 구조이며, 불일치 측도로는 전체 X², 1단계 X², 2단계 X², 그룹별 최대·최소값, 그룹 평균·전체 평균 편차 등 다양한 통계량을 정의한다. 기존 사후예측 검증(posterior predictive checks)에서는 모든 불일치 측도에 대해 p‑값이 크게 나타나 모델 부적합을 탐지하지 못했으며, 이는 ‘double‑use’와 낮은 검정력 때문으로 해석된다. CV‑PPC를 적용한 결과, 그룹 3의 1단계 X²에서 p=0.016, 그룹 5의 전체 X²에서 p≈0.007 등 의미 있는 이상치를 포착했다. 특히 그룹 5는 평균이 다른 그룹에 비해 거의 세 배에 달하고, 극단값 6.32가 존재함에도 불구하고 기존 방법은 이를 놓쳤다. 이는 CV‑PPC가 데이터와 파라미터를 분리해 검증함으로써 더 민감하게 모델 부적합을 드러낼 수 있음을 보여준다. 그 다음 저자들은 모델을 보다 견고하게 만들기 위해 두 단계 모두 학생‑t 분포(자유도 ν₁=3, ν₂=2)를 적용한다. 이 경우 CV‑PPC의 p‑값은 전반적으로 상승했으며, 그룹 3의 1단계 X²가 0.081로 개선되고, 그룹 5의 2단계 X²가 0.022로 여전히 경고를 보였다. 이는 학생‑t가 극단값을 완화하지만, 평균 자체가 크게 벗어나는 경우에는 추가적인 모델 수정(예: 평균 이동, 분산 확대, 혼합 정규 모델) 필요성을 시사한다. 다중 검정 문제에 대해서도 논의한다. 여러 불일치 측도를 동시에 사용할 경우 Bonferroni와 같은 보수적 교정은 검정력을 크게 감소시킬 수 있다. 저자는 각 모델 구성 요소(1단계, 2단계, 전체)별로 대표 불일치 하나를 선택하거나, false discovery rate와 같은 보다 효율적인 다중 검정 절차를 적용할 것을 제안한다. 계산 복잡도 측면에서는 그룹 수가 많아질수록 매번 그룹을 제외한 사후분포를 재샘플링해야 하므로 비용이 크게 증가한다. 이를 완화하기 위해 중요도 가중치(importance weighting)나 중요도 재샘플링(importance resampling) 기법을 활용해 전체 사후분포를 한 번만 추정하고, 각 그룹 제외 시의 사후분포를 근사하는 방법을 제시한다. 이는 Stern & Créssie(2000), Marshall & Spiegelhalter(2003)에서 제안된 접근과 유사하다. 결론적으로, 교차검증 사후예측 검증은 계층적 베이지안 모델의 2단계 검증에 있어 데이터 중복 사용을 피하고, 다양한 불일치 측도를 손쉽게 적용할 수 있는 실용적인 도구이며, 특히 소규모 그룹이나 이상치가 존재하는 상황에서 기존 방법보다 뛰어난 탐지력을 보인다. 향후 연구에서는 다중 검정 보정, 대규모 데이터에 대한 효율적 근사, 그리고 일반화 선형 모델, 공간 모델 등 복잡한 계층 구조에의 확장이 기대된다.