대규모 베이지안 압축 센싱을 위한 효율적 변분 추론

본 논문은 선형 모델에 무거운 꼬리(prior)를 적용한 베이지안 압축 센싱 문제를 다루며, 사후분포 전체를 근사하는 변분 베이지안 방법을 제시한다. 전통적인 압축 센싱은 MAP 추정에 기반해 희소성을 이용한 최적화 문제를 해결하지만, 사후분포의 불확실성 평가와 하이퍼파라미터 학습을 제공하지 못한다. 이를 보완하기 위해 저자들은 라플라시안·스튜던트와 같은 super‑Gaussian 사전분포를 사용하고, 변분 근사 Q(x|y)를 Gaussian 형태로 설정한다. 변분 파라미터 ξ=(β,γ)를 최적화하려면 외부 루프에서 A=σ⁻² HᵀH+GᵀΓ⁻¹G의 대각 원소인 marginal variance z_k=Var_Q(s_k|y)를 반복적으로 계산해야 하는데, N≈10⁶ 수준의 변수에 대해 전통적인 방법(예: Lanczos)은 메모리·시간 복잡도가 비현실적이다. 논문은 이 핵심 병목을 해결하기 위해 Perturb‑and‑MAP 알고리즘을 활용한다. Perturb‑and‑MAP는 GMRF에서 정확한 샘플을 생성하는데, 각 Gaussian factor에 독립적인 잡음을 주입하고, 교정된 conjugate gradient를 통해 perturbed GMRF의 MAP(=mean)를 계산한다. 이렇게 얻은 샘플을 이용해 Monte‑Carlo 방식으로 분산을 추정하면 편향이 없으며, Lanczos가 보이는 절대값 저하와 과소추정 문제를 회피한다. 특히, 몇 개의 샘플만으로도 충분히 정확한 z_k를 얻을 수 있어 외부 루프의 연산량을 크게 감소시킨다. 변분 목표함수 φ_Q(γ)=log|A|+h(γ)+inf_x R(x,γ)에서 log|A|는 marginal variance z_k와 직접 연결된다. 샘플 기반 추정으로 얻은 z_k를 상한으로 사용해 log|A|를 근사하고, 이를 통해 변분 자유 에너지의 하한을 효율적으로 업데이트한다. 내부 루프에서는 smoothed MAP 문제를 quasi‑Newton 방법으로 풀어 변분 평균 ˆx를 얻으며, γ는 closed‑form 식 γ_k⁻¹=−2 d log t_k(√v)/dv|_{v=ˆs_k²+z_k} 로 갱신한다. 알고리즘은 완전 병렬화가 가능하다. 샘플 생성과 분산 추정 단계는 서로 독립적인 작업이므로 다중 코어·GPU 환경에서 선형적으로 스케일한다. 메모리 요구사항도 A와 G의 희소 구조만 저장하면 되므로, 기존 MAP 기반 압축 센싱과 동일한 O(N) 수준을 유지한다. 실험에서는 256×256 크기의 이미지 디블러링 문제에 대해 수백 개의 샘플만으로도 Lanczos 대비 5배 이상 빠른 수렴과 더 낮은 재구성 오차를 달성했다. 또한, 변분 자유 에너지와 수렴 모니터링을 샘플을 통해 추가 비용 없이 수행할 수 있음을 보였다. 결론적으로, 이 연구는 변분 베이지안 압축 센싱에서 가장 큰 장애물인 Gaussian 분산 계산을 효율적인 샘플링 기법으로 대체함으로써, 대규모 이미지·신호 처리에 베이지안 접근을 실용화하는 중요한 전진을 제시한다.