ABC 모델 선택의 신뢰성 문제

본 논문은 Approximate Bayesian Computation(ABC)이 복잡한 확률 모델, 특히 인구유전학과 계통학에서 널리 활용되는 배경을 서술한다. 전통적인 베이지안 추론은 사후분포를 직접 샘플링하기 위해 필요로 하는 우도 함수를 계산할 수 없을 때가 많으며, 이는 복잡한 잠재 구조(예: 코알레센트 트리) 때문에 발생한다. ABC는 이러한 상황에서 사전과 시뮬레이션 가능한 모델을 이용해 ‘거부 샘플링’ 방식으로 근사 사후분포를 얻는다. 핵심은 요약통계 η(·)와 거리 함수 ρ, 그리고 허용오차 ε이다. 논문은 먼저 ABC 알고리즘을 수식적으로 정의하고, 충분통계가 존재할 경우 ε→0이면 π^ε(θ|y)≈π(θ|y)라는 직관적인 정당성을 제시한다. 그러나 실제로는 대부분의 경우 η가 충분하지 않으며, 이때 ABC는 π(θ|η(y))라는 약한 사후분포를 추정한다. 파라미터 추정에서는 η가 식별 가능하면 충분히 좋은 결과를 얻을 수 있지만, 모델 선택에서는 상황이 달라진다. 모델 선택을 위해서는 모델 인덱스 M을 추가 파라미터로 두고, 각 모델마다 사전 π_m(θ_m)와 우도 f_m(y|θ_m)를 정의한다. 베이지안 모델 선택은 모델별 주변우도 w_m(y)=∫π_m(θ_m)f_m(y|θ_m)dθ_m를 이용해 사후 모델 확률 P(M=m|y)∝π(M=m)w_m(y)로 계산한다. 우도가 직접 계산 불가능한 경우 ABC‑MC가 제안된다. ABC‑MC는 모든 모델에 대해 동일한 요약통계 η를 사용하고, 시뮬레이션된 데이터가 실제 데이터와 거리 ε 이하가 되면 해당 모델을 ‘수락’한다. 수락 횟수 비율이 곧 모델별 사후 확률 추정치가 된다. 저자들은 이 절차를 수학적으로 분석한다. ε→0일 때 ABC‑MC가 제공하는 베이지안 팩터는 요약통계만을 이용한 팩터 B₁₂^η(y)와 동일해진다. 그러나 실제 베이지안 팩터는 B₁₂(y)=g₁(y)·B₁₂^η(y)/g₂(y) 로 분해되며, 여기서 g_i(y)는 η와 무관한 데이터 부분을 나타낸다. 일반적인 모델에서는 g₁(y)≠g₂(y)이며, 이는 두 팩터가 크게 달라짐을 의미한다. 특히 데이터 차원이 커질수록 g₁(y)/g₂(y) 비율은 지수적으로 커지거나 작아질 수 있다. 따라서 ABC‑MC가 제공하는 모델 사후 확률은 원 데이터 전체 정보를 반영하지 못하고, 선택된 요약통계에 의해 크게 왜곡될 수 있다. 특수한 경우인 Gibbs 랜덤 필드에서는 모델 간에 동일한 g(y) 형태가 유지돼 ABC‑MC가 정확한 베이지안 팩터를 제공한다는 기존 연구(Grelaud et al., 2009)를 재확인한다. 그러나 대부분의 실용적인 모델—예를 들어 인구유전학, 생태학, 시스템생물학—에서는 이러한 특성이 성립하지 않는다. 이론적 결과를 뒷받침하기 위해 저자들은 간단한 포아송 및 정규 모델 예시를 제시한다. 요약통계가 충분하지 않을 경우, ABC‑MC는 진짜 모델을 식별하지 못하고 일관성을 잃는다. 반면 전체 데이터를 사용한 ABC는 일관성을 유지하지만 계산적으로 비현실적이다. 결론적으로, 논문은 ABC‑MC를 ‘탐색적 도구’로만 사용하고, 최종 모델 선택 결론을 내리기 전에 DIY‑ABC와 같은 소프트웨어가 제공하는 시뮬레이션 기반 검증, 교차 검증, 혹은 완전 데이터 기반 ABC(가능한 경우) 등을 통해 결과를 확인할 것을 권고한다. 또한, 요약통계 선택이 모델 선택에 미치는 영향을 정량화하는 일반적인 이론은 현재 부재하므로, 실무에서는 경험적 검증이 필수적이다.