다변량 정규 혼합모형의 일관성 추정과 EM 알고리즘

논문은 다변량 정규 혼합모형이 고차원 데이터 분석에서 유연한 모델링 도구로 널리 활용되는 배경에서 시작한다. 그러나 이러한 모델의 로그우도 함수는 구성요소 평균이 관측치와 일치하고 공분산 행렬이 거의 영에 가까워질 경우 무한대로 발산한다는 근본적인 문제를 가지고 있다. 이로 인해 전통적인 최대우도 추정(MLE)은 일관성을 보장하지 못하고, 실제 계산에서도 퇴화된 공분산으로 인한 수치 불안정이 빈번히 발생한다. 이를 해결하기 위해 저자는 페널티를 부여한 로그우도(pl_n) 함수를 도입한다. 페널티 함수 p_n(G)는 각 구성요소의 공분산 행렬 Σ_j에만 의존하도록 설계되며, 세 가지 수학적 조건(C1‑C3)을 만족한다. C1은 페널티가 Σ_j에 대한 함수 e_p_n(Σ_j)의 합 형태임을 명시하고, C2는 고정된 파라미터에 대해 페널티가 n에 비해 무시할 수 있을 정도로 작으며 미분가능함을 보장한다. 가장 중요한 C3은 공분산 행렬이 너무 작아질 때 로그|Σ|에 대한 로그 n 제곱 형태의 하한을 부여해, 우도의 발산을 억제한다. 이러한 설계는 베이지안 관점에서 Wishart 사전분포와 동일시될 수 있다. 이론적 결과는 세 가지 정리로 정리된다. 정리 1은 true mixing distribution G₀가 존재하고, 구성요소 수 p₀가 알려진 상한 p 이하일 때, PLME ˆG_n이 거의 확실히 G₀로 수렴함을 증명한다. 정리 2는 추가적인 미분가능성 가정 하에 ˆG_n이 점근적으로 정규분포 N(G₀, I(G₀)^{-1})를 따르며, 전통적인 M‑estimator와 동일한 효율성을 가진다. 정리 3은 실제 상황에서 p₀를 정확히 알지 못하고 상한만 알 때도 일관성이 유지된다는 점을 강조한다. 따라서 모델 차원 선택에 대한 유연성을 제공한다. 계산 방법으로는 EM 알고리즘을 채택한다. E‑step에서는 현재 파라미터 G^(m) 하에 각 관측치가 j번째 구성요소에 속할 확률 π_{ij}^{(m+1)}를 계산한다. M‑step에서는 페널티를 포함한 Q함수를 최대화하는데, 제시된 페널티 형태 p_n(G)=−a_n∑_j n·tr(S_x Σ_j^{-1})+log|Σ_j| 를 사용한다. 여기서 S_x는 표본 공분산 행렬이며, a_n은 n에 비례하는 양의 상수이다. 이 형태는 폐쇄형 업데이트 식을 제공한다: π_j^{(m+1)}는 책임도 합으로, μ_j^{(m+1)}는 책임도 가중 평균, Σ_j^{(m+1)}는 a_n·S_x와 책임도 가중 공분산의 가중 평균으로 계산된다. a_n을 n−1 혹은 (n−1)/2 로 두고 각각 PMLE1, PMLE2를 정의한다. 시뮬레이션 설계는 2차원·3차원, 2구성·3구성 혼합모형을 각각 1000개의 데이터셋으로 생성한다. 평균 벡터 간 거리는 near, moderate, distant 로 구분하고, 공분산 행렬은 고유값 비율(λ₂/λ₁)과 회전각 θ(또는 3차원 회전 파라미터 α,β,γ)으로 다양하게 설정한다. 표본 크기는 2구성 2차원 경우 n=200, 그 외는 n=300으로 설정하였다. 각 데이터셋에 대해 10개의 초기값(진짜 파라미터와 변형된 값, 데이터 기반 초기값)을 사용해 EM을 실행하고, 정규화된 MLE와 두 종류의 PMLE를 추정한다. 평가 지표는 각 파라미터의 편향과 표준편차이며, MLE가 퇴화된 공분산으로 인해 EM이 수렴하지 못하는 경우를 별도로 기록한다. 시뮬레이션 결과는 다음과 같다. (1) PMLE는 모든 설정에서 MLE보다 더 적은 퇴화 현상을 보였으며, 특히 공분산이 작거나 구성요소가 서로 겹치는 경우에 안정적이었다. (2) a_n 값을 크게 잡을수록(즉, PMLE1) 편향이 감소했지만, 분산이 약간 증가하는 전형적인 편-분산 트레이드오프가 관찰되었다. (3) PMLE2는 a_n을 절반으로 낮춤으로써 편향과 분산 사이의 균형을 어느 정도 맞추었으며, 실제 적용시 실용적인 선택지로 제시된다. (4) 구성요소 수에 대한 상한만 알고 있을 때도 정리 3에 따라 일관성이 유지되었으며, 이는 모델 차원 선택이 불확실한 상황에서도 PMLE가 신뢰할 수 있음을 의미한다. 결론적으로, 본 논문은 다변량 정규 혼합모형의 추정 문제에 대해 페널티 기반 접근법이 이론적 일관성과 점근적 효율성을 제공함을 증명하고, EM 알고리즘을 통한 실용적인 구현 방법을 제시한다. 시뮬레이션을 통해 기존의 정규화된 MLE보다 더 안정적이고 정확한 추정치를 제공함을 확인했으며, 특히 고차원·다구성 데이터에서 발생하는 퇴화 문제를 효과적으로 완화한다는 점에서 실무적 가치를 갖는다.