다중시도 상호작용 마코프 체인: 제안분포 다양화와 효율 향상

본 논문은 복잡한 확률 모델의 샘플링 효율을 높이기 위해, 다중시도 메트로폴리스(MTM) 알고리즘을 두 차원에서 확장한 새로운 프레임워크를 제시한다. 첫 번째 확장은 기존 MTM이 동일한 제안분포 T(·|x)에서 M개의 후보를 생성하는 제한을 풀고, 각 후보마다 서로 다른 제안분포 T_j(x,·) 를 허용한다. 이를 위해 w_j(y_j,x)=π(y_j)T_j(x|y_j)λ_j(y_j,x) 라는 가중치를 정의하고, 후보 선택 확률을 w_j에 비례하도록 한다. λ_j는 대칭이며, T_j(x,y)>0 ⇔ T_j(y,x)>0 를 만족하면 상세균형이 유지된다. 이 일반화는 목표분포의 지역별 특성에 맞는 제안분포를 자유롭게 설계할 수 있게 하여, 특히 고차원·다중모드 문제에서 탐색 효율을 크게 개선한다. 두 번째 확장은 위에서 정의한 다중제안 MTM을 인구 기반 상호작용 MCMC 체인(N개)과 결합한다. 각 체인 i는 자체 MTM 전이핵 K_i 를 가지고, 제안분포 T_i^j는 현재 인구 상태 Ξⁿ={x^{(1)}_n,…,x^{(N)}_n} 에 조건부로 정의된다. 구체적으로, i번째 체인의 j번째 제안은 다른 체인들의 현재 위치(예: 무작위 선택된 인덱스 I₁,…,I_M) 를 입력으로 받아 T_i^j(·|x, x^{(I₁)}_n,…,x^{(I_M)}_n) 로 샘플링한다. 이렇게 하면 제안분포가 전체 인구가 이미 탐색한 영역을 반영하므로, 새로운 후보가 목표분포의 저밀도 영역까지 효과적으로 도달한다. 알고리즘 3(IMTM)의 흐름은 다음과 같다. (1) 현재 체인 i의 상태 x를 기준으로 M_i개의 후보 y_j 를 서로 다른 T_i^j 로 독립 샘플링하고, w_i^j(y_j,x) 를 계산한다. (2) 가중치에 비례해 하나의 후보 y를 선택하고, 그 인덱스를 J라 한다. (3) 역방향 후보 x*_j 를 T_i^j(·|…,y,…) 로 샘플링하고, w_i^j(x*_j,y) 를 계산한다. (4) 일반화된 MH 비율 ρ_i = min{1, Σ_j w_i^j(y_j,x) / Σ_j w_i^j(x*_j,y)} 로 y를 수용한다. 상세균형을 만족하도록 λ_i^j와 w_i^j 를 설계했으며, 증명은 부록 A에 제시된다. 제안분포와 λ 함수의 설계에 대한 구체적인 방안도 제시한다. 기본적인 λ=1 외에, λ=2/(T+Tᵀ) 형태와 λ∝(T·Tᵀ)^(-α) 형태가 기존 문헌에서 제안되었다. 저자는 여기서 인구 정보 ν_j = (1/N)∑_{i=1}^N I{J^{(i)}_{n-1}=j} 를 도입해 λ에 가중치를 부여한다. 즉, 최근에 많이 선택된 제안분포는 ν_j가 커져 λ가 크게 조정되며, 이는 탐색이 집중된 영역을 강화하면서도 새로운 영역 탐색을 억제하지 않는다. 또한 ν_j에 비례해 인덱스를 샘플링하는 변형도 제안한다. 다음으로 온도 스케일링을 결합한 Annealed IMTM을 소개한다. 목표분포 π를 여러 온도 ξ_t (t=1,…,N) 로 평탄화한 π_t ∝ π^{ξ_t} 로 정의하고, 각 보조 체인 i는 π_i를 목표로 한다. 고온 체인들은 빠르게 혼합하고, 저온 체인에게 유용한 후보를 제공한다. 두 가지 구현(AIMTM1, AIMTM2)이 제시되며, AIMTM1은 i번째 체인이 온도 ξ_i보다 높은 체인들(N-i+1개)만을 사용해 제안을 구성하고, AIMTM2는 전체 인구를 활용한다. 고온 체인에 대해 MH 전이만을 사용하도록 하여 계산 비용을 절감한다. 실험에서는 세 가지 주요 설정을 사용한다. (1) 다변량 정규분포(차원 10)에서 기본 MTM, 독립 MTM, IMTM을 비교했을 때, IMTM이 ESS와 수렴 속도에서 현저히 우수했다. (2) 다중모드 혼합분포(두 개의 원형 모드)에서는 IMTM이 모드 간 전이 빈도가 크게 증가했으며, Annealed IMTM이 특히 저온 체인의 모드 탐색을 가속화했다. (3) 실제 베이지안 로지스틱 회귀 모델(데이터 5000건, 변수 20개)에서는 IMTM이 사후 평균 추정치와 신뢰구간이 더 정확했으며, R̂ 진단값이 1.02 이하로 수렴을 보였다. 전반적으로 제안된 IMTM은 제안분포 다양화와 인구 상호작용을 통해 고차원·다중모드 문제에서 기존 MTM보다 효율이 크게 향상됨을 입증한다. 마지막으로 논문은 향후 연구 방향으로 (i) 자동화된 제안분포 선택 메커니즘, (ii) 비대칭 λ 함수 설계, (iii) 대규모 병렬 구현 및 GPU 가속, (iv) 변분 베이지안 추정과의 하이브리드 등을 제시한다.