출력 민감 적응형 메트로폴리스 헤스팅스

** 본 논문은 확률 프로그래밍 언어에서 사용되는 경량 메트로폴리스‑헤스팅스(LMH) 샘플러를 기반으로, 변수 선택 확률을 출력 변화에 따라 동적으로 조정하는 적응형 알고리즘인 Adaptive Lightweight Metropolis‑Hastings(AdLMH)를 제안한다. 1. **배경 및 문제 정의** - 확률 프로그래밍은 일반 프로그래밍 언어의 표현력을 이용해 복잡한 베이지안 모델을 기술한다. 모델의 추론 목표는 관측값에 조건화된 잠재 변수들의 사후분포를 추정하는 것이다. - 기존 LMH는 실행 트레이스에서 임의의 하나의 랜덤 변수만을 선택해 새 값을 제안하고, 전체 프로그램을 재실행해 메트로폴리스 수용 여부를 판단한다. 변수 선택이 균등 확률로 이루어지기 때문에, 출력에 큰 영향을 주는 변수와 거의 영향을 주지 않는 변수가 동일하게 선택될 위험이 있다. 이는 수렴 속도를 저해한다. 2. **AdLMH 설계** - **선택 확률 가중치 Wᵗ**: 각 변수 xᵢ에 대해 가중치 Wᵗᵢ를 유지하고, 선택 확률 αᵗᵢ = Wᵗᵢ / Σₖ Wᵗₖ 로 정의한다. 초기 가중치는 상수값으로 시작한다. - **보상 Rₜ 정의**: 현재 샘플의 출력 zₜ와 이전 샘플의 출력 zₜ₋₁ 사이의 정규화된 해밍 거리(또는 다중 출력 경우 변경된 컴포넌트 비율)로 보상을 정의한다. 스칼라 출력이면 출력이 달라졌을 때 Rₜ = 1, 동일하면 0. - **히스토리와 보상 전파**: 변수 xₖ가 선택될 때마다 히스토리에 추가한다. 다음 샘플에서 출력이 변하면 히스토리 전체에 균등 보상 w = 1/|히스토리| 을 분배하고 히스토리를 비운다. 출력이 변하지 않으면 해당 변수에만 카운트만 증가시켜 벌점 효과를 만든다(Algorithm 3). - **가중치 업데이트**: 각 변수 i에 대해 누적 보상 rᵢ와 누적 카운트 cᵢ를 유지하고, 가중치 Wᵗᵢ = rᵢ / cᵢ (또는 다른 비율 함수)로 갱신한다. 이렇게 하면 보상이 높은 변수일수록 선택 확률이 증가한다. 3. **수렴 이론** - 적응형 MCMC의 일반적인 수렴 조건은 “점진적 감소”(diminishing adaptation)와 “에르고딕성 보장”(containment)이다. 논문은 αᵗ와 αᵗ⁻¹ 사이의 차이가 시간이 지남에 따라 0에 수렴하도록 설계했으며, Lemma 1을 통해 두 변수 모델에서 선택 확률 비율 α₂/α₁ 이 (0, 1] 구간에 머무른다는 것을 증명한다. 이는 보상‑전파가 비퇴화된 고정점을 갖고, 전체 체인이 목표분포 π에 수렴함을 의미한다. 4. **알고리즘 절차** - 초기 가중치 설정 → 프로그램 실행 → 반복: (1) 현재 가중치에 따라 변수 선택, (2) 선택된 변수에 대해 제안값 생성, (3) 프로그램 재실행, (4) 메트로폴리스 수용 판단 (수용 확률에 선택 확률 αₖ 과 α₀ₖ 을 포함), (5) 출력 변화 여부에 따라 보상 전파 및 가중치 업데이트. 5. **실험 및 결과** - **베르누이‑정규 혼합 모델**: x₁ ~ Bernoulli(0.5), x₂ ~ N(x₁, 1), 출력 z = (x₁, x₂). AdLMH는 초기 2 000 샘플 이후 x₁에 대한 선택 확률이 0.7 ~ 0.8로 상승, 수용률과 ESS가 LMH 대비 2배 이상 향상. - **스위치‑점프 모델**: 복잡한 제어 흐름을 가진 프로그램에서 변수 간 의존성이 강하게 얽혀 있음. AdLMH는 중요한 전이 변수에 빠르게 집중해 R̂이 1.02 이하로 수렴하는 데 30 % 적은 샘플을 사용. - **베이지안 선형 회귀**: 다수의 회귀 계수를 포함한 모델에서 출력은 예측값 ŷ. 변수 선택 확률이 계수의 후방 분산과 연관된 보상을 받아, 높은 불확실성을 가진 계수가 더 자주 선택돼 전체 추정 정확도가 향상. 모든 실험에서 동일한 초기화와 동일한 제안 커널(조건부 사전) 사용했음에도 불구하고, AdLMH는 평균 ESS가 1.5 ~ 3배, R̂이 1.05 이하로 수렴하는 데 필요한 샘플 수가 20 % ~ 40 % 감소하는 효과를 보였다. 6. **복잡도 및 구현 고려사항** - 알고리즘의 핵심 연산은 LMH와 동일하게 변수 선택, 제안, 프로그램 재실행이다. 추가적인 히스토리 관리와 보상/가중치 업데이트는 O(1) 혹은 O(|히스토리|) 수준이며, 변수 수가 수천 수준까지도 메모리와 시간 오버헤드가 크게 증가하지 않는다. - 구현 시 주의할 점은 (a) 보상 전파 시 히스토리 초기화 타이밍, (b) 선택 확률이 0이 되지 않도록 최소 확률 ε을 부여하는 것, (c) 수렴 검증을 위한 ESS와 R̂ 모니터링이다. 7. **한계 및 향후 연구** - 현재 보상은 출력 변화 여부만을 이진 혹은 비율로 평가한다. 출력이 연속적이거나 고차원일 경우, 보다 정교한 거리 측정(예: Wasserstein 거리)이나 가중치가 필요할 수 있다. - 다중 변수 동시 제안(다변량 제안)과 결합하면 더 큰 수렴 가속을 기대하지만, 이 경우 메트로폴리스 수용식의 복잡도가 증가한다. - 다른 적응형 메커니즘(예: 베이즈 최적화 기반 선택 확률)과의 비교 및 하이브리드 설계가 향후 과제로 남는다. **결론** AdLMH는 출력‑민감 보상 메커니즘을 통해 변수 선택 확률을 자동으로 조정함으로써, 기존 LMH 대비 수렴 속도를 실질적으로 향상시킨다. 이론적 수렴 보장과 경량 구현 가능성을 동시에 만족하므로, 확률 프로그래밍 기반 베이지안 모델링에 실용적인 샘플링 도구로 활용될 수 있다. **