빠른 정규혼합 추정으로 구현한 적응형 독립 Metropolis Hastings

본 논문은 베이지안 추정에서 널리 사용되는 Markov chain Monte Carlo(MCMC) 방법 중 Metropolis‑Hastings(MH) 알고리즘의 효율성을 높이기 위해, 혼합 정규분포(Mixture of Normals)를 제안분포로 사용하는 적응형 독립 Metropolis‑Hastings(AIMH) 샘플러를 설계하고 이론적·실험적 검증을 수행한다. 1. **배경 및 동기** 전통적인 MH는 고정된 제안분포 q(z)를 사용한다. 제안분포가 목표분포 π(z)와 크게 차이날 경우 수락률이 낮아지고, 체인 수렴이 느려진다. 따라서 이전 샘플을 이용해 제안분포를 점진적으로 개선하는 적응형 MCMC가 제안되었으며, 특히 “감쇠 적응”(diminishing adaptation) 이론에 따라 적응이 점차 멈추어야 수렴이 보장된다. 기존 연구는 주로 랜덤워크 Metropolis(RWM) 형태에 초점을 맞추었고, 독립형 제안(즉, 현재 상태와 무관한 제안)에서는 적절한 제안분포를 찾기가 어려웠다. 2. **알고리즘 설계** - **제안밀도 구조**: qₙ(z;λₙ) = ω₁·g₀(z) + (1‑ω₁)·ḡₙ(z) 로 정의한다. 여기서 g₀(z)는 무거운 꼬리를 가진 고정밀도(예: 라플라스 근사와 그 꼬리 확대)이며, ḡₙ(z) 는 현재까지 수집된 샘플을 기반으로 추정한 혼합 정규분포이다. ω₁∈(0,1) 은 고정된 비중으로, 초기 탐색성을 보장한다. - **혼합 정규 추정**: k‑harmonic means 클러스터링을 이용해 샘플을 k개의 클러스터로 나누고, 각 클러스터의 평균·공분산을 추정한다. 이렇게 얻은 g★ₙ(z) 를 기반으로, 공분산을 k>1 배 확대한 g̃★ₙ(z) 를 만든 뒤, ω₂ 비중으로 혼합해 g∗ₙ(z) = ω′₂·g̃★ₙ(z) + (1‑ω′₂)·g★ₙ(z) 를 얻는다. 최종 제안밀도는 g∗ₙ(z)와 g₀(z)의 혼합 형태이며, 필요에 따라 βₙ 파라미터를 도입해 이전 단계의 제안밀도와 선형 결합한다(감쇠 적응 구현). - **업데이트 스케줄**: 초기 단계에서는 20개의 수락된 샘플마다 혼합 모델을 재추정하고, 이후 50,100,…,3000번째 샘플마다, 그리고 그 이후 매 1000번째마다 업데이트한다. 또한 최근 L=10번의 평균 수락률이 α_L=0.1 이하이면 즉시 재추정한다. 이는 제안밀도가 현재 파라미터 주변에 과도하게 집중되는 것을 방지한다. 3. **이론적 수렴** - **지배 조건(Dominance)**: 모든 z에 대해 π(z)·g₀(z) ≤ K·g₀(z), ḡₙ(z)·g₀(z) ≤ K·g₀(z) 가 성립하도록 가정한다. 이는 제안밀도가 목표밀도보다 지나치게 얇지 않음을 보장한다. - **감쇠 조건(Diminishing)**: aₙ = sup_z |ḡₙ(z)‑ḡₙ₊₁(z)|/g₀(z) = O(n⁻ʳ) (r>0) 로 정의하고, 혼합 정규 파라미터 λₙ이 평균·공분산의 샘플 평균에 기반하므로 ||λₙ‑λₙ₊₁|| = O(n⁻¹) 임을 증명한다. 따라서 aₙ 역시 O(n⁻ʳ) 형태로 감소한다. - **정리**: 위 두 조건을 만족하면, 모든 가측 집합 A에 대해 |Pr(Zₙ∈A)‑π(A)| → 0 (정리 1)이며, 가측 함수 h(z) 에 대해 1/n Σ_{j=1}^n h(Z_j) → E_π