방사형 전송을 이용한 변분 추론: radVI 알고리즘과 이론적 보장

본 논문은 고차원 사후분포의 방사형 프로파일을 최적화하는 새로운 변분 추론 방법 radVI를 제안한다. 표준 가우시안에서 목표 분포까지의 최적 방사형 전송맵을 파라미터화하고, 유클리드 기울기 하강법으로 KL 발산을 최소화한다. 로그‑스무스·강한 로그‑컨케이브 가정 하에 존재·유일성, Caffarelli 수축 정리 기반 정규성, 차원에 무관한 수렴 속도 등을 이론적으로 증명한다. 실험에서는 기존 가우시안 VI와 라플라스 근사에 radVI를 추가 …

저자: Luca Ghafourpour, Sinho Chewi, Alessio Figalli

방사형 전송을 이용한 변분 추론: radVI 알고리즘과 이론적 보장
본 논문은 고차원 베이지안 추론에서 사후분포 π∝exp(−V)를 근사하기 위해 기존의 가우시안 기반 변분 추론(VI)의 한계를 극복하고자 한다. 가우시안 VI는 평균과 공분산만을 조정하기 때문에, 사후분포의 방사형(거리) 프로파일이 가우시안 형태와 크게 다를 경우(예: 꼬리가 두꺼운 분포, Neal’s funnel) 커버리지가 급격히 저하된다. 이를 해결하기 위해 저자들은 “방사형 대칭”이라는 제한된 확률분포 클래스 C_rad을 정의한다. 구체적으로, 임의의 m∈ℝ^d와 양정치 정규행렬 Σ≻0에 대해 p_h(x)∝det(Σ)^{−1/2}·h((x−m)^⊤Σ^{−1}(x−m)) 로 표현되는 분포군을 고려하고, m과 Σ를 사전 화이트닝(평균 0, 공분산 I)함으로써 C_rad은 순수히 반경 r=‖x‖에만 의존하는 함수 h:

원본 논문

고화질 논문을 불러오는 중입니다...

댓글 및 학술 토론

Loading comments...

의견 남기기