상관관계 설명으로 고차원 데이터 구조 탐색

본 논문은 고차원 데이터에서 사전 모델 가정 없이 의미 있는 구조를 찾아내는 새로운 무감독 학습 방법인 Correlation Explanation(이하 CorEx)을 제안한다. 저자는 먼저 총 상관(total correlation, TC)이라는 다변량 상호정보량을 정의하고, 이를 기반으로 “상관 설명”이라는 원칙을 제시한다. TC는 각 변수의 엔트로피 합에서 전체 결합 엔트로피를 뺀 값으로, 변수들 사이에 어떠한 상관이 존재하는지를 정량화한다. TC가 0이면 변수들이 완전히 독립이며, TC가 클수록 변수들 간의 상관이 강함을 의미한다. CorEx는 잠재 변수 Y가 주어졌을 때 TC(X|Y) 를 최소화, 즉 Y가 X의 상관을 최대한 설명하도록 하는 최적화 문제를 설정한다. 이때 목표 함수는 TC(X;Y)=TC(X)−TC(X|Y) 로 정의되며, 이는 Y가 X의 상관을 얼마나 잘 설명하는지를 측정한다. Y는 k개의 이산 상태를 갖는 변수로 두고, p(y|x) 를 자유롭게 선택해 TC(X;Y)를 최대화한다. 직접적인 최적화는 2ⁿ개의 파라미터가 필요해 비현실적이지만, 저자는 이를 다중 잠재 변수 Y₁,…,Y_m 로 확장하고, 각 관측 변수 X_i 를 하나의 그룹 G_j에만 할당하도록 제한함으로써 문제를 tractable하게 만든다. 수학적으로는 (4)식에서 각 그룹 G_j와 해당 라티런트 변수 Y_j 를 동시에 최적화한다. 그룹 간 겹침을 허용하지 않음으로써 목표 함수는 각 그룹 내 변수와 라티런트 변수 사이의 상호정보량 합에서 라티런트 변수 자체의 정보량을 뺀 형태가 된다. 이를 다시 α_{i,j} 라는 이진 매트릭스로 표현하면, 고정된 α에 대해 라그랑지안 최적화를 풀어 p(y_j|x) 를 식 (7)·(8) 로 얻는다. 이 식은 각 변수의 주변 확률만을 이용해 라티런트 변수의 조건부 분포를 계산하므로, 파라미터 수가 O(n) 에 머무른다. 알고리즘은 α와 주변 확률을 교대로 업데이트한다. α는 소프트맥스 형태의 업데이트(식 9)로 점진적으로 조정되며, λ와 γ 로 학습률과 온도를 제어한다. 전체 절차는 알고리즘 1에 요약되어 있으며, 복잡도는 변수 수 n에 대해 선형(O(n))이고, 샘플 수 N에 대해서는 미니배치를 이용해 선형으로 제한한다. 실험에서는 네 가지 주요 사례를 제시한다. 첫 번째는 합성 데이터로, 잠재 트리 구조를 갖는 모델에서 CorEx가 정확히 클러스터를 복원하고, 차원이 증가해도 성능이 유지되는 반면 기존 클러스터링 기법은 급격히 성능이 저하된다. 두 번째는 5,000명의 응답자를 대상으로 한 성격 설문 데이터이다. CorEx는 자동으로 5개의 클러스터를 찾아냈으며, 이는 설문 설계자가 의도한 “Big Five” 성격 요인과 완벽히 일치한다. 이는 무감독 학습에서 드물게 관측된 완전 일치 사례이다. 세 번째는 인간 DNA 데이터로, CorEx는 성별, 지리적 출신, 민족과 강하게 연관된 라티런트 변수를 거의 완벽히 예측한다. 네 번째는 텍스트 코퍼스로, CorEx는 스타일적 특징(예: 작가별 어휘 사용)과 계층적 토픽 구조를 동시에 포착한다. 모든 경우에서 CorEx는 ICA, NMF, 스펙트럴 클러스터링, RBM 등 기존 방법보다 높은 ARI 점수와 해석 가능성을 제공한다. 이론적 논의에서는 TC(Y;X) 가 중복 정보량과 연결되고, 라티런트 변수들의 독립성 가정이 DAG 구조와 동일함을 언급한다. 또한, 최적화 목표가 TC(X)의 하한을 제공한다는 점에서 정보-이론적 최적성을 보장한다. 제한점으로는 라티런트 변수의 수 m와 상태 수 k를 사전에 지정해야 하는 점, 그리고 비볼록 최적화 특성으로 인해 전역 최적을 보장하지 못한다는 점이 있다. 향후 연구 방향으로는 자동 모델 선택, 연속형 데이터 확장, 베이지안 구조 학습과의 통합, 그리고 대규모 실시간 적용을 위한 병렬화가 제시된다. 결론적으로 CorEx는 정보-이론적 원칙에 기반한 효율적인 계층적 라티런트 변수 학습 프레임워크로, 고차원 이산 데이터에서 의미 있는 잠재 구조를 자동으로 추출하고, 다양한 도메인에 적용 가능함을 실험적으로 입증한다.