EM 알고리즘과 변형에 대한 비공식 튜토리얼

본 논문은 1977년 Dempster 등이 제안한 기대-최대화(EM) 알고리즘의 이론적 배경을 정리하고, Jensen 부등식 기반의 변분 해석, 고정점 및 근접점 해석 등 다양한 관점을 제시한다. 또한 CEM, Aitken 가속, GEM, Proximal EM 등 여러 변형을 소개하며 수렴 속도와 계산 효율성을 개선하는 방법들을 논의한다.

저자: Alexis Roche

본 논문은 기대‑최대화(EM) 알고리즘의 이론적 토대와 다양한 변형들을 포괄적으로 정리한다. 먼저 EM의 기본 설정을 소개한다. 관측 변수 Y와 잠재 변수 Z를 도입하고, 완전 데이터 로그우도 p(z|θ) 와 관측 데이터 p(y|z) 가 마코프 체인 θ→Z→Y 를 만족하도록 모델링한다. 이때 불완전 데이터 로그우도 L(θ)=log p(y|θ) 는 직접 최적화가 어려우므로, 변분 하한 Q(θ,θ′)=E_{Z|Y,θ′}