확장 투영을 이용한 마코프 확률 근사법

본 논문은 마코프 연쇄에 의해 생성되는 잡음이 포함된 확률 근사(Stochastic Approximation, SA) 알고리즘의 안정성 문제를 다루며, 특히 투영 메커니즘을 이용한 안정화 기법을 새롭게 제시한다. 전통적인 SA는 θ_{i+1}=θ_i+γ_{i+1}h(θ_i) 형태로, 여기서 h(θ)=∫H(θ,x)π_θ(dx)이며, π_θ는 θ에 의존하는 목표 분포이다. 실제 계산에서는 π_θ를 직접 샘플링할 수 없으므로, 마코프 연쇄 P_θ를 이용해 근사한다. 이때 θ_{i+1}=θ_i+γ_{i+1}H(θ_i,X_{i+1})와 같이 잡음이 포함된 업데이트가 이루어지며, X_{i+1}∼P_{θ_i}(X_i,·)이다. 그러나 P_θ의 에르고딕성이 θ가 특정 임계값에 접근할 때 급격히 약화되면, 기존의 고정 투영(R₀)이나 적응형 투영(점진적 확대) 전략은 과도한 재시작이나 경계에서 인위적인 고정점을 만들 위험이 있다. 이에 저자들은 “확장 투영”이라는 새로운 전략을 고안한다. 시간에 따라 증가하는 투영 집합 {R_i}를 정의하고, 각 단계에서 θ*_{i+1}=θ_i+Γ_{i+1}H(θ_i,X_{i+1})를 계산한다. 만약 θ*_{i+1}∈R_{i+1}이면 그대로 채택하고, 그렇지 않으면 사전에 정의된 측정가능한 투영 변수 θ_{proj,i+1}를 사용해 R_{i+1} 안으로 강제한다. 여기서 Γ_i는 무작위 단계 크기이며, 이는 P_θ가 매끄럽지 않은 경우에도 적용 가능하도록 설계되었다. 안정성 분석의 핵심은 두 종류의 Lyapunov 함수 w(θ)를 도입하는 것이다. 첫 번째 경우는 w가 경계 ∂Θ에서 무한대로 발산하는 상황이다. 이때 w(θ_i)의 상한이 유한하면 θ_i가 ∂Θ에 접근하지 못한다는 것을 보인다. 두 번째 경우는 w가 유계일 수 있는 상황으로, 이때는 w에 대한 더 강한 드리프트 조건과 경계 근처에서의 제어가 필요하다. 저자들은 Condition 2.1‑2.3을 통해 w의 이중 연속 미분 가능성, 투영 집합의 포함 관계, 그리고 ∇w와 h(θ) 사이의 부정적 내적 조건을 명시한다. 특히, (iii)항은 w가 특정 레벨 집합 W_{M₀} 안에서는 h·∇w≤0임을 요구한다. 무작위 단계 크기와 잡음 사이의 상관을 제어하기 위해 ξ_i와 α_w 라는 보조 수열을 도입한다. Lemma 2.4는 ∑Γ_i² ξ_i^{2α_w}E|H(θ_i,X_{i+1})|²<∞이면 Condition 2.3(i)와 (ii)를 만족함을 보이며, 이는 단계 크기와 잡음의 제곱 적분이 충분히 작아야 함을 의미한다. 정리 2.5와 2.8은 각각 w가 무한히 커지는 경우와 유계인 경우에 대한 안정성 정리를 제공한다. 증명에서는 첫 탈출 시간 σ_n과 마지막 진입 시간 τ_n을 정의하고, w의 증가량을 단계별로 제한한다. 특히, Condition 2.1(iv)와 (v)를 이용해 w(θ_{i+1})−w(θ_i)≤Γ_{i+1}∇w·h+Γ_{i+1}∇w·\bar H+Γ_{i+1}²C_w|H|² 형태로 분해한다. 여기서 \bar H=H−h는 중심화된 잡음이다. 이후 마코프 연쇄의 기하급수적 에르고딕성(또는 Poisson 방정식 해의 성장 제어)을 활용해 ∑Γ_i²|H|²와 ∑Γ_i∇w·\bar H가 거의 확실히 수렴함을 보인다. Section 3에서는 이러한 추상적 잡음 조건을 실제 마코프 전이 커널에 연결한다. Condition 3.1은 P_θ가 작은 집합 K₀에 재시작될 수 있음을 가정하고, Theorem 3.3은 Poisson 방정식 해의 성장 제어와 Γ_i, ξ_i 사이의 트레이드오프를 통해 Condition 2.3을 만족함을 보인다. 특히, 마코프 연쇄가 기하급수적으로 수렴하고, ∇w·\bar H의 평균이 0임을 보장하면 안정성이 확보된다. Proposition 3.17은 P_θ가 θ에 대해 부드럽게 변할 때, 즉 전이 확률이 연속적으로 변할 때 필요한 Lipschitz 조건을 제시한다. 반면, Proposition 3.19는 전이 커널이 매끄럽지 않을 경우, 무작위 단계 크기 Γ_i를 도입해 잡음의 변동성을 완화하는 방법을 제시한다. 마지막으로, 저자들은 제안된 프레임워크를 입자 독립 Metropolis–Hastings(PIMH) 샘플링을 이용한 SA‑EM 알고리즘에 적용한다. 여기서 θ는 모델 파라미터, X는 입자 필터링 결과이며, P_θ는 PIMH 전이 커널이다. 확장 투영을 통해 파라미터가 허용 영역을 벗어나지 않도록 보장하면서도, 무작위 단계 크기로 인해 비부드러운 커널에도 수렴성을 유지한다. 실험 결과는 기존 고정 투영 방식보다 더 빠른 수렴과 안정성을 보여준다. 전체적으로 이 논문은 마코프 잡음 하에서의 확률 근사 안정성 이론을 크게 확장했으며, 무작위 단계 크기와 비부드러운 전이 커널을 허용하는 일반적인 프레임워크를 제공한다. 이는 베이지안 추정, 강화학습, 시계열 모델링 등 다양한 분야에서 복잡한 마코프 연쇄 기반 알고리즘의 설계와 분석에 중요한 도구가 될 것이다.