마코프 의존성을 고려한 변분 베이지안 모델 집계 기반 비지도 분류

1. 연구 배경 및 문제 정의 본 연구는 정상(φ)과 비정상(f) 두 집단으로 구성된 이진 비지도 분류 문제를 다룬다. 정상 데이터의 분포는 사전에 알려져 있으나 비정상 데이터의 분포는 알 수 없으며, 이를 추정하기 위해 다양한 모델을 고려한다. 기존 방법은 단일 모델을 선택하거나, 복수 모델을 비교·평가하는 방식에 머물렀다. 저자는 이러한 모델 불확실성을 베이지안 관점에서 다루어, 여러 모델이 제공하는 정보를 동시에 활용하는 베이지안 모델 평균(BMA) 접근을 제안한다. 2. 베이지안 모델 평균과 가중치 정의 BMA에서는 각 후보 모델 m에 대한 사후 가중치 αₘ = P(M=m|X) 를 계산한다. 이 가중치는 사전 확률 P(m)와 모델별 주변우도 P(X|m) 의 비례식으로 정의되지만, 라벨 S가 관측되지 않아 직접 계산이 불가능하다. 따라서 전체 숨은 변수 H=(S,Θ)를 포함한 결합 사후 P(H,M|X)를 근사해야 한다. 3. 변분 베이지안 프레임워크 KL 발산 최소화를 목표로 하는 변분 베이지안 접근을 채택한다. 최적화 문제는 min_{Q_{H,M}} KL(Q_{H,M} || P(H,M|X)) 으로 시작해 Q_M와 Q_{H|M} 로 분리된다. Q_M은 모델 가중치 αₘ을 제공하고, Q_{H|M}은 각 모델에 대한 숨은 변수의 근사 사후분포를 제공한다. 4. 가중치 최적화 (정리 2.1) 주어진 Q_{H|m}에 대해 KL 발산을 Q_M에 대해 최소화하면 αₘ ∝ P(m)·exp