변분 샘플링을 통한 근사 추론

본 논문은 정규화 상수가 알려지지 않은 확률분포 p(x)의 적분 I(p)=∫p(x)φ(x)dx 를 효율적으로 추정하기 위한 새로운 방법, 변분 샘플링(Variational Sampling, VS)을 제안한다. 기존 방법은 크게 두 갈래로 나뉜다. 첫째는 샘플링 기반 방법으로, 중요도 샘플링(IS)이나 MCMC 등에서 샘플을 추출해 (2) 형태의 유한 합으로 적분을 근사한다. 그러나 샘플링된 점들의 가중치(p/π)·φ가 큰 분산을 가질 경우 수렴이 느리거나 편향될 위험이 있다. 둘째는 적합 기반 방법으로, 라플라스 근사, 변분 베이즈, EP 등에서 목표 분포를 파라메트릭 형태(주로 가우시안)로 근사해 직접 적분을 수행한다. 이 방법은 계산이 빠르지만 근사 정확도가 제한적이다. VS는 이 두 접근법을 결합한다. 목표 분포 p를 지수족 q_θ(x)=exp(θᵀφ(x)) 로 근사하고, KL 발산 D(p‖q_θ) 를 최소화한다. 직접 계산이 어려우므로, 샘플링된 점 {x_k, w_k}과 윈도우 함수 π(x) 를 이용해 경험적 손실 L(θ)=∑_k w_k h(p(x_k)/π(x_k))·