베이시안 변분 추론의 성능 격차, 프라이스 그래디언트가 만든 차이

본 논문은 목표 분포 π의 비정규화된 로그밀도만을 이용해 근사하는 변분 추론(VI) 방법을 연구한다. 기존에는 측도 공간(Bures‑Wasserstein 공간)에서 최적화하는 Wasserstein VI(WVI)와 파라미터 공간에서 최적화하는 Black‑Box VI(BBVI)가 각각 장단점을 가지고 있다고 알려졌다. 특히 Gaussian 변분 가족에 대해 WVI는 기존 BBVI보다 더 나은 이론적 수렴 복잡도를 보였으며, 이는 WVI가 자연스러운 W₂ 거리 메트릭을 사용하기 때문이라고 여겨졌다. 그러나 저자들은 이 격차가 실제로는 WVI가 사용한 특정 그래디언트 추정기, 즉 프라이스 정리를 이용한 Hessian‑based 그래디언트에 기인한다는 사실을 밝혀냈다. 프라이스 정리는 Gaussian 분포에 대해 ∇_Σ E