비대칭 독립 마코프 샘플링을 통한 효율적인 베이지안 추론

본 논문은 베이지안 통계에서 사후분포의 기대값을 추정하기 위해 널리 사용되는 중요도 샘플링(IS), 마코프 체인 몬테카를로(MCMC), 그리고 어닐링(annealing) 세 가지 기법을 통합한 새로운 알고리즘, Asymptotically Independent Markov Sampling(AIMS)을 제안한다. 서론에서는 베이지안 추론이 고차원·비정규·다중모드 사후분포를 다루는 데 있어 직접 샘플링이 불가능함을 강조하고, 기존 방법들의 장단점을 간략히 리뷰한다. 중요도 샘플링은 제안분포 q가 목표분포 π와 유사할 때 효율적이지만, q를 찾기 어려운 경우 가중치의 분산이 커져 효율이 급감한다. MCMC는 제안분포를 이용해 마코프 체인을 구성해 π에 수렴하도록 하지만, 특히 다중모드 상황에서 체인이 한 모드에 머무르는 현상이 발생해 샘플 간 상관성이 높아진다. 어닐링은 온도 파라미터를 이용해 쉬운 분포에서 목표분포까지 점진적으로 이동함으로써 모드 간 전이를 촉진한다. AIMS는 이러한 세 기법을 단계별로 결합한다. 먼저, 사전분포 π₀와 사후분포 π 사이를 연결하는 온도 스케줄 β₀=0<β₁<…<β_m=1을 정의하고, 각 단계 j에서 중간분포 π_j(θ)∝π₀(θ)L(θ)^{β_j}를 만든다. 이전 단계(j‑1)의 표본 {θ_i^{(j‑1)}}_{i=1}^{N_{j‑1}}를 사용해 중요도 가중치 w_i^{(j‑1)}=π_j(θ_i^{(j‑1)})/π_{j‑1}(θ_i^{(j‑1)})∝L(θ_i^{(j‑1)})^{β_j‑β_{j‑1}}를 계산하고 정규화한다. 전이 커널 K_j(·|·) (예: 다변량 정규)와 결합해 혼합 제안분포 \hatπ_j(dθ)=∑_{i=1}^{N_{j‑1}} \bar w_i^{(j‑1)} K_j(dθ|θ_i^{(j‑1)}) 를 만든다. 이 제안분포는 독립 메트로폴리스‑헤이스팅(IMH) 단계의 전역 제안으로 사용되며, 수용 확률은 전통적인 MH와 동일하게 계산된다. 알고리즘 흐름은 다음과 같다. (1) β₀=0에서 사전분포 π₀로부터 N₀개의 독립 표본을 생성한다. (2) 현재 β_j에 대해 위와 같이 \hatπ_j를 구성하고, IMH를 N_j번 실행해 π_j에 대한 표본을 얻는다. (3) 얻은 표본을 이용해 ESS를 계산하고, ESS가 사전에 정한 임계값보다 낮으면 β를 증가시켜 다음 레벨로 이동한다. (4) 마지막 레벨 β_m=1에서 얻은 표본이 최종 사후분포 샘플이 된다. 이론적 섹션에서는 AIMS가 생성하는 마코프 체인이 균일 에르고딕성을 만족함을 증명한다. 핵심 가정은 (i) 전이 커널 K_j가 π_j에 대해 가역이며, (ii) 제안분포 \hatπ_j가 π_j를 완전히 덮는 것이다. 이러한 가정 하에 Doeblin 조건을 만족해 전체 체인의 전이 행렬이 최소 양의 확률을 갖게 되며, 이는 수렴 속도가 기하급수적으로 보장된다는 의미다. 또한 N_{j‑1}→∞이면 \hatπ_j→π_j가 되므로 IMH는 독립 표본을 생성하고, 따라서 “Asymptotically Independent”라는 명칭이 정당화된다. 파라미터 선택에 대한 실용적인 가이드라인도 제공한다. 온도 스케줄 β_j는 고정값 대신 ESS 기반 적응형 방식을 권장한다. 구체적으로, 현재 단계에서 계산된 ESS가 N_{j‑1}·τ (τ≈0.5) 이하가 되면 β를 증가시켜 다음 단계로 넘어간다. 이렇게 하면 각 단계에서 이전 표본이 충분히 재활용될 수 있다. 전이 커널 K_j는 보통 대칭 정규분포 N(0,σ_j²I)이며, σ_j는 목표 수용률(0.2~0.4)을 유지하도록 조정한다. σ_j가 너무 작으면 제안이 좁아 가중치가 편중되고, 너무 크면 수용률이 급감한다. 수치 실험은 세 가지 사례로 구성된다. 첫 번째는 2차원 이중모드 베르누이 혼합 모델로, AIMS는 두 모드를 거의 동일한 비율로 탐색하며, RWMH는 한 모드에 머무르는 경향을 보였다. 두 번째는 10차원 다중모드 가우시안 혼합으로, AIMS는 평균 유효표본크기(ESS)가 다른 방법에 비해 2~3배 높았다. 세 번째는 20차원 베이지안 로지스틱 회귀 모델(실제 데이터 적용)이며, AIMS는 수렴 속도가 빠르고 사후분포의 주요 모드들을 모두 포착했다. 모든 실험에서 AIMS는 평균 수용률이 높고, 자동 상관 시간이 짧아 실제 계산 비용 대비 효율이 크게 향상되었다. 결론에서는 AIMS가 “샘플 재활용 → 제안분포 개선 → 독립 표본 생성”이라는 순환 구조를 통해 기존 MCMC의 상관성 문제와 중요도 샘플링의 가중치 폭 문제를 동시에 해결한다는 점을 강조한다. 또한, 고차원·다중모드 베이지안 모델에 대한 확장 가능성과, 제안 커널 및 온도 스케줄을 더욱 정교하게 설계할 여지를 제시한다. 향후 연구로는 자동화된 스케줄링, 병렬 구현, 그리고 변분 베이지안과의 하이브리드 방안 등을 제안한다.