변분 방법을 이용한 선형 혼합 모델 군집화와 자동 모델 선택

본 논문은 군집화가 필요한 그룹화 데이터에 적용되는 선형 혼합 모델(MLMM)의 추정 및 모델 선택 문제를 변분 베이지안 프레임워크 안에서 동시에 해결하고자 한다. 먼저, 저자는 기존의 EM 기반 최대우도 추정이 초기값에 크게 의존하고, 최적의 혼합 성분 수 K를 결정하기 위해 BIC와 같은 별도 기준을 사용해야 하는 한계를 지적한다. 이를 극복하기 위해 전체 파라미터 θ를 고정효과 β, 군집별 랜덤효과 a와 b, 분산 파라미터 σ², 혼합 가중치 δ, 그리고 군집 할당 z 로 구성하고, 각 파라미터 블록을 독립적인 변분 분포 q(·) 로 근사한다. 구체적으로 β, a, b는 정규분포, σ²는 역감마분포, δ는 점질량(델타함수)으로 설정하여 ELBO(증거 하한)를 닫힌 형태로 계산할 수 있게 하였다. 변분 업데이트는 표준 변분 최적화 공식 q(θ_i) ∝ exp{E_{-θ_i}