고차원에서 랜덤워크 메트로폴리스의 확산극한과 효율적 스케일링
본 논문은 무한 차원 힐베르트 공간 위에 정의된, 가우시안 기준 측도에 대해 절대 연속인 목표분포에 랜덤워크 메트로폴리스(RWM) 알고리즘을 적용했을 때의 확산극한을 연구한다. 제안된 프로포절은 공분산 연산자 C를 N‑1 비율로 스케일링하고, 수용 확률을 약 0.234로 맞추면 알고리즘이 O(N) 단계 내에 목표분포를 탐색함을 보인다. 결과는 무한 차원 SDE(또는 SPDE) 형태의 한계 과정으로 수렴함을 증명한다.
저자: Jonathan C. Mattingly, Natesh S. Pillai, Andrew M. Stuart
본 논문은 고차원 확률론 및 베이지안 통계 분야에서 널리 사용되는 메트로폴리스‑해스팅(MH) 알고리즘, 특히 가장 단순한 형태인 랜덤워크 메트로폴리스(RWM)의 고차원 행동을 무한 차원 힐베르트 공간으로 일반화한다. 기존 연구는 주로 독립적인 1차원 밀도들의 곱 형태, 즉 π_N(x)=∏_{i=1}^N f(x_i) 와 같은 제품 구조에 한정되었으며, 이러한 구조는 실제 베이지안 비모수 모델이나 조건부 확산 모델에 적용하기에 제한적이었다. 저자들은 이러한 한계를 극복하고자, 기준 가우시안 측도 μ₀(0,C)와 절대 연속인 목표측도 π(d x)=M_Ψ exp(−Ψ(x)) μ₀(d x) 를 고려한다. 여기서 Ψ는 μ₀‑측정가능하고 충분히 정칙한 함수이며, 베이지안 비모수 회귀에서 로그 사후 확률에 해당한다.
핵심 기법은 힐베르트 공간 H의 고유함수 {φ_j}와 고유값 {λ_j²}를 이용해 좌표화하고, 제안 분포를
y = x + √(2 ℓ² N⁻¹) C^{1/2} ξ, ξ∼N(0,I)
와 같이 설정한다. 이때 C^{1/2}는 μ₀의 공분산 연산자의 제곱근이며, ξ는 유한 차원 N개의 표준 정규 변수들의 선형 결합이다. 제안 변동성의 스케일링을 N⁻¹ 로 두는 이유는 차원이 커짐에 따라 제안이 지나치게 크게 되면 수용 확률이 급격히 0으로 떨어지고, 반대로 너무 작게 하면 탐색이 느려진다. 이전 연구에서 γ_c=1 (RWM) 및 γ_c=1/3 (MALA) 라는 임계값이 제시되었으며, 본 논문은 γ=γ_c=1을 채택한다.
수용 확률 α(x,y)=1∧
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기