가능도 없는 베이지안 추론을 위한 기대전파 기반 ABC

본 논문은 복잡한 과학·사회 현상을 모델링할 때 흔히 마주치는 “가능도(likelihood) 비가역성” 문제를 해결하고자, 기대전파(Expectation Propagation, EP)를 기반으로 한 새로운 Approximate Bayesian Computation(ABC) 알고리즘인 EP‑ABC를 제안한다. 전통적인 ABC는 시뮬레이션만 가능한 모델에 대해 사전‑시뮬레이션 θ 값을 뽑고, 시뮬레이션된 데이터 y 와 관측 데이터 y* 사이의 거리 d(y,y*) 가 사전에 정한 허용오차 ε 이하인지 판단해 수용한다. 이 과정은 요약통계 s(y) 를 사용해 차원을 축소하지만, 요약통계 선택이 주관적이며 차원이 커질수록 수용률이 급격히 감소한다는 두 가지 근본적인 한계가 있다. 특히, 요약통계가 충분하지 않으면 사후분포에 편향이 발생하고, 요약통계가 너무 많으면 ε 를 크게 잡아야 하므로 근사 정확도가 떨어진다. EP‑ABC는 이러한 문제를 “전역 요약통계 → 로컬 요약통계” 전환으로 해결한다. 데이터 y* 를 n 개의 청크 y*_i (예: 개별 관측치, 시간 구간, 공간 구역 등)로 분할하고, 각 청크마다 독립적인 제약 1{‖s_i(y_i)‑s_i(y*_i)‖≤ε} 을 적용한다. 여기서 s_i 는 청크‑특정 요약통계이며, 경우에 따라 s_i(y_i)=y_i 즉 요약통계 자체를 없앨 수도 있다. 이렇게 하면 전체 데이터에 대한 고차원 요약통계가 필요 없으며, 각 청크에 대해 낮은 차원의 ABC 문제만 풀면 된다. 알고리즘은 EP의 구조를 그대로 차용한다. 목표 사후분포는 p_ε(θ|y*) ∝ p(θ) ∏_{i=1}^n l_i(θ) with l_i(θ)=∫ p(y_i|y*_{1:i‑1},θ) 1{‖s_i(y_i)‑s_i(y*_i)‖≤ε} dy_i. EP는 이를 Gaussian q(θ)=∏_{i=0}^n f_i(θ) (여기서 f_0 = prior) 로 근사한다. 각 site f_i 는 자연 파라미터 (Q_i,r_i) 로 표현되는 정규분포이며, 업데이트는 “하이브리드” h(θ)∝q^{‑i}(θ) l_i(θ) 의 1차·2차 모멘트를 현재 Gaussian q^{‑i} 와 일치시키는 방식으로 진행된다. 모멘트 계산은 Monte‑Carlo 추정으로 수행한다. 구체적으로, 현재 Gaussian q^{‑i}=N(μ^{‑i},Σ^{‑i}) 에서 M 개의 θ 샘플을 뽑고, 각 θ 에 대해 y_i∼p(y_i|y*_{1:i‑1},θ) 을 시뮬레이션한다. 그 후 ‖s_i(y_i)‑s_i(y*_i)‖≤ε 인 경우에만 가중치를 부여해 평균 μ_h 와 공분산 Σ_h 을 추정한다. 이 모멘트를 이용해 새로운 자연 파라미터 (Q_i,r_i) 를 업데이트하고, 전체 site를 순환하면서 수렴한다. EP‑ABC는 이 과정을 여러 번 반복해 최종 q(θ) 와 각 C_i (정규화 상수) 를 얻는다. C_i 와 Ψ(r,Q) 를 이용하면 모델 증거 p(y*) 의 로그값도 근사할 수 있다. 논문은 세 가지 실제 사례를 통해 EP‑ABC의 성능을 검증한다. 첫 번째는 금융 분야의 복합 확률 모델로, 기존 ABC는 수천 개의 시뮬레이션을 필요로 했지만 EP‑ABC는 수십 개의 시뮬레이션으로 충분히 수렴했다. 두 번째는 인구생태 모델로, 데이터가 수백 개의 독립 관측치로 구성돼 있어 로컬 제약이 자연스럽게 적용될 수 있었으며, EP‑ABC는 사후 평균·분산이 ABC와 거의 동일하면서도 실행 시간이 1/500 수준으로 감소했다. 세 번째는 시각 과학에서 제시된 새로운 신경망 모델로, 전통적인 ABC는 요약통계 설계 자체가 어려워 실용적 사용이 불가능했지만, EP‑ABC는 요약통계 없이 직접 y_i 를 사용해 모델 증거와 사후를 정확히 추정했다. 모든 실험에서 EP‑ABC는 “근사 오차는 무시할 수준”, “계산 시간은 수십 배~수천 배 빠름”을 입증했다. 제한점 및 향후 과제로는 (1) l_i 와 q^{‑i} 의 결합으로부터 모멘트를 정확히 추정하기 위한 샘플 수가 데이터 차원·복잡도에 따라 크게 달라질 수 있다는 점, (2) 현재는 Gaussian prior와 Gaussian site 에 초점을 맞췄지만, 비‑Gaussian prior·site에 대한 일반화가 필요함, (3) 고차원 θ 공간에서 quasi‑Monte‑Carlo·다중 레벨 ε 조정 등 효율적인 샘플링 전략이 요구된다는 점이다. 저자들은 변분 자동미분, 스파스 site 구조, 그리고 복합 가능도(Composite Likelihood)와의 결합을 통해 이러한 한계를 극복할 방안을 제시한다. 결론적으로, EP‑ABC는 기대전파의 강력한 변분 근사 프레임워크를 “가능도 없는” 베이지안 추론에 성공적으로 적용함으로써, 요약통계 설계의 부담을 크게 경감하고, 기존 ABC가 직면한 계산 병목을 해소한다. 이는 복잡 시뮬레이션 모델을 활용하는 과학·공학 분야에서 베이지안 방법론을 일상화하는 데 중요한 전진을 의미한다.