완전 샘플링을 통한 혼합 모델 시뮬레이션 혁신

본 논문은 베이지안 혼합 모델의 사후분포에서 정확한 샘플을 얻기 위한 완전 샘플링 방법을 체계적으로 개발한다. 전통적인 MCMC 방법은 무한히 긴 체인 실행이 불가능하므로, 초기값에 대한 버닝인 기간을 임의로 설정하고 근사 샘플을 얻는다. 이 과정에서 수렴 여부를 판단하기 어려워 편향이 발생할 위험이 있다. 이러한 문제를 근본적으로 해결하고자, 저자들은 Propp와 Wilson이 제안한 “Coupling From The Past”(CFTP) 개념을 혼합 모델에 적용한다. CFTP는 모든 가능한 초기값에서 체인을 과거 무한히 시작시켜, 일정 시점(t=0)에서 모든 체인이 동일한 상태에 수렴하면 그 상태가 정확히 목표 분포에서 추출된 샘플임을 보장한다. 그러나 직접 구현은 불가능하므로, Propp와 Wilson은 랜덤 매핑 φ_t 를 이용해 역방향으로 체인을 구성하고, 일정 간격(예: t = -2^j)마다 매핑을 생성해 합성함으로써 실제 알고리즘을 만든다. 혼합 모델에 CFTP를 적용하려면 두 가지 주요 난관이 있다. 첫째, 상태공간이 연속적이고 고차원이며, 특히 할당 변수 Z와 파라미터 Θ, 혼합 비율 π 가 서로 얽혀 있다. 둘째, 기존 완전 샘플링 연구는 2~3성분 혼합이나 공액 사전만을 다루어, 일반적인 경우에 적용하기 어려웠다. 저자들은 이러한 제약을 극복하기 위해 “경계 체인(bounding chains)”을 도입한다. 할당 변수 Z_i의 조건부 분포 F_i(·|Y, X_{-i})에 대해, 파라미터 공간 전체에 대해 최소와 최대 누적분포 함수 F_Li와 F_Ui 를 정의한다. 이 두 함수는 각각 모든 가능한 파라미터 값에 대해 가장 낮은 확률과 가장 높은 확률을 제공한다. 이후 동일한 난수 시퀀스 R_{z_i,t} 를 사용해, F_Li와 F_Ui 의 역함수를 적용해 두 개의 체인 Z^L_t와 Z^U_t 를 동시에 진행한다. 만약 어느 시점 T에서 Z^L_T = Z^U_T 가 되면, 모든 가능한 초기값에서의 체인이 동일한 할당을 갖게 되므로, 그 시점의 전체 파라미터도 정확히 사후분포에서 추출된 것으로 간주한다. 공액 사전인 경우, Θ와 π 를 사후에서 분석적으로 적분할 수 있어 F_i는 Z_i에만 의존한다. 따라서 경계 체인 구축이 간단하고, 실제 구현에서도 빠른 수렴을 보인다. 비공액 사전에서는 파라미터 공간을 유계(compact)로 제한함으로써 F_Li와 F_Ui 가 0과 1 사이에서 유계함을 보장한다. 저자들은 실험을 통해, 실제 데이터에서 파라미터의 사전 범위를 파일럿 Gibbs 샘플링을 통해 추정하고, 그 범위 내에서 사후분포가 거의 변하지 않음을 확인한다. 구성요소 수가 알려진 경우와 알려지지 않은 경우를 각각 다룬다. 알려진 경우(p가 고정)에는 위의 경계 체인만으로 충분히 완전 샘플을 얻을 수 있다. 알려지지 않은 경우에는 디리클레 프로세스(DP) 기반 무한 혼합 모델을 사용한다. DP는 스틱-브레이크 표현을 통해 무한히 많은 성분을 무한히 작은 가중치로 표현하지만, 실제 구현에서는 트렁케이션(level truncation) 혹은 제한된 스틱-브레이크 깊이로 근사한다. 그런 다음, 고정된 p에 대한 경계 체인 방법을 그대로 적용한다. 계산 복잡도는 특히 많은 성분(p가 크고 데이터 n이 큰 경우)에서 급격히 증가한다. 이를 완화하기 위해 저자들은 병렬 처리를 적극 활용한다. 각 체인의 φ_t 매핑은 독립적인 난수 시퀀스로 구성되므로, GPU 혹은 다중 코어 클러스터에서 동시에 실행할 수 있다. 실험에서는 n이 수백, p가 10~20인 경우에도 병렬 구현을 통해 실행 시간을 몇 분 내로 단축하였다. 논문은 이론적 수렴 증명을 제공한다. 경계 체인 F_Li와 F_Ui 가 각각 누적분포 함수임을 보이고, 두 체인이 동시에 수렴하면 전체 마코프 체인의 공동 분포가 고정점에 도달한다는 것을 Propp‑Wilson 이론에 따라 증명한다. 또한, 비공액 사전에서 파라미터 공간을 유계로 제한하는 가정이 필요하지만, 이는 실제 베이지안 분석에서 사전 정보가 존재한다는 점과 일치한다. 실험 부분에서는 (1) 인공 데이터에서 구성요소 수가 2~5인 경우, (2) 실제 데이터 세트 3종(예: Galaxy 데이터, Old Faithful 데이터, 그리고 유전형 데이터)에서 모델을 적용하였다. 각 실험에서 완전 샘플링 결과는 기존 Gibbs 샘플링의 추정치와 거의 일치했으며, 특히 혼합 비율과 평균 추정에서 편향이 현저히 감소하였다. 또한, 사후 예측 분포의 시각화에서도 기존 방법보다 더 정확한 불확실성 표현을 확인할 수 있었다. 결론적으로, 이 논문은 혼합 모델 전반에 적용 가능한 일반적인 완전 샘플링 프레임워크를 제시한다. 공액·비공액 사전, 고정·가변 성분 수 모두를 포괄하며, 경계 체인과 병렬 구현을 통해 실용적인 계산 비용을 유지한다. 이는 베이지안 혼합 모델링에서 수렴 진단에 대한 근본적인 불확실성을 제거하고, 보다 신뢰할 수 있는 사후 추론을 가능하게 한다.