숨겨진 변수의 차원 학습: 점수 기반 군집화와 베이지안 네트워크 확장

** 본 논문은 베이지안 네트워크(BN) 구조 학습 과정에서 숨겨진 변수(Hidden Variable, HV)의 존재가 모델링을 복잡하게 만든다는 점에 주목한다. 관측되지 않은 HV는 여러 관측 변수와 연결되어 있어, 그 존재 자체를 확인하는 것이 첫 번째 과제이며, 두 번째 과제는 HV가 가질 수 있는 상태 수, 즉 카디널리티(Cardinality)를 정확히 추정하는 것이다. 기존 연구들은 주로 EM(Expectation‑Maximization) 알고리즘을 이용해 파라미터를 추정하고, BIC, AIC, MDL 등과 같은 점수 함수를 통해 모델을 비교하는 방식으로 이 문제에 접근했다. 그러나 이러한 전통적인 방법은 HV의 카디널리티가 증가함에 따라 파라미터 공간이 급격히 확장되고, 탐색 비용이 기하급수적으로 늘어나는 비효율성을 안고 있다. 또한, 다중 HV가 서로 상호작용하는 경우, 개별 HV에 대한 독립적인 카디널리티 추정만으로는 충분하지 않다. 이에 저자들은 **점수 기반 군집화(Score‑Based Agglomerative State‑Clustering)** 라는 새로운 접근법을 제안한다. 이 방법은 다음과 같은 단계로 구성된다. 1. **초기 상태 설정**: 각 HV에 대해 가능한 최대 카디널리티 K_max 를 지정하고, 초기에는 K_max 개의 서로 다른 상태를 할당한다. 2. **점수 평가**: 현재 상태 할당에 대해 BIC(또는 MDL) 점수를 계산한다. 이때 관측 변수와 HV 사이의 조건부 확률표는 EM‑알고리즘을 통해 추정한다. 3. **상태 병합 후보 생성**: 두 개의 상태를 합치는 모든 가능한 후보를 만든다. 각 후보에 대해 새로운 BIC 점수를 계산하고, 점수 향상이 가장 큰 병합을 선택한다. 4. **반복**: 병합 과정을 반복하면서 점수가 더 이상 개선되지 않거나, 사전에 정의된 최소 카디널리티에 도달하면 종료한다. 이 절차는 **탐색 공간을 트리 형태로 압축**함으로써, 모든 가능한 카디널리티 조합을 일일이 평가할 필요 없이 효율적으로 최적 카디널리티를 찾아낸다. 또한, 각 병합 단계마다 네트워크 구조가 재조정되므로, HV와 관측 변수 사이의 관계도 동시에 최적화된다. 다중 HV가 상호작용하는 상황을 다루기 위해 논문은 **다변량 군집화(Multivariate Clustering)** 를 도입한다. 여기서는 여러 HV를 하나의 복합 상태 공간으로 보고, 이 복합 상태를 단계적으로 축소한다. 점수 함수는 **합성 BIC** 로 정의되며, 개별 HV의 BIC와 HV 간 상호작용 항을 모두 포함한다. 이렇게 하면 변수 간 상관관계를 보존하면서 전체 카디널리티를 최소화할 수 있다. 실험은 두 가지 축으로 진행되었다. - **합성 데이터 실험**: 알려진 구조와 카디널리티를 가진 인공 데이터를 생성하고, 샘플 크기와 노이즈 수준을 다양하게 변형하였다. 제안 방법은 기존 EM‑기반 모델 선택보다 평균 12 % 높은 정확도로 카디널리티를 복원했으며, 학습 시간은 40 % 이상 단축되었다. 특히, 높은 차원의 HV를 포함한 경우에도 탐색 비용이 선형에 가까운 증가를 보였다. - **실제 데이터 실험**: 의료 진단 데이터(예: 환자 증상과 질병 라벨)와 텍스트 토픽 모델링 데이터(예: 문서‑단어 행렬)를 사용하였다. 교차 검증(log‑likelihood) 점수에서 제안 방법은 기존 방법보다 평균 0.85 log‑likelihood 단위 향상을 기록했으며, 학습된 네트워크는 전문가가 해석하기에 더 직관적인 구조를 나타냈다(예: 숨겨진 질병 변수와 주요 증상 변수 간의 직접 연결). 또한, **모델 선택의 안정성**을 검증하기 위해 부트스트랩 샘플링을 수행하였다. 제안 알고리즘은 데이터 변동에 대해 높은 로버스트성을 보여, 동일한 데이터셋에 대해 반복 실행 시 카디널리티 추정이 일관되었다. 마지막으로, **확장성 테스트**를 위해 10 000개 이상의 변수와 1 백만 개 이상의 관측치를 포함하는 대규모 BN에 적용하였다. 메모리 사용량과 실행 시간은 거의 선형적으로 증가했으며, 실제 환경에서의 적용 가능성을 입증하였다. 논문의 주요 기여는 다음과 같다. 1. **점수 기반 군집화 프레임워크**를 도입해 HV 카디널리티 추정을 효율적으로 수행한다. 2. **다변량 군집화**를 통해 다중 HV 간 상호작용을 동시에 고려한다. 3. **합성·실제 데이터**에서 기존 방법 대비 정확도, 효율성, 구조적 해석 가능성에서 우수함을 실증한다. 4. **확장성**을 검증해 대규모 베이지안 네트워크에도 적용 가능함을 보인다. 이러한 결과는 복잡한 베이지안 네트워크 모델링이 요구되는 분야—예를 들어 유전학, 의료 진단, 자연어 처리, 복합 시스템 분석—에서 숨겨진 변수의 차원을 정확히 파악하고, 보다 신뢰성 있는 인과 관계를 도출하는 데 큰 도움이 될 것으로 기대된다. **