텐서와 학습을 통한 유한 알파벳 확률벡터의 콜모고로프 확장

본 논문은 확률론적 학습에서 가장 근본적인 문제인 다변량 확률질량함수(joint PMF) 추정에 새로운 접근법을 제시한다. 전통적으로 변수 간의 구조적 가정(마코프 체인, 트리, 그래프 모델 등)이 없으면 파라미터 수가 지수적으로 증가해 “임무 불가능”으로 여겨졌다. 저자들은 이러한 구조적 가정을 사전에 부여하지 않고도, 제한된 차원의 마진 PMF만으로 전체 고차원 PMF를 복원할 수 있는 이론적 근거와 실용적 알고리즘을 제공한다. 1. **문제 정의와 동기** N개의 이산형 변수 \(\{X_n\}_{n=1}^N\)가 각각 \(I_n\)개의 값을 가질 때, 전체 joint PMF \(\Pr(X_1=i_1,\dots,X_N=i_N)\)를 직접 추정하려면 \( \prod_{n=1}^N I_n\)개의 파라미터가 필요하다. 하지만 실제 데이터는 매우 희소하고, 대부분의 조합이 관측되지 않는다. 대신, 저자들은 “세 변수의 3‑way 마진 PMF”만을 이용해 전체 PMF를 복원하는 문제를 설정한다. 이는 실용적인 시나리오(예: 사용자-아이템 평점에서 세 개의 아이템만 동시에 평가된 경우)와도 일치한다. 2. **베이즈–텐서 연결 고리** 핵심 아이디어는 모든 joint PMF를 ‘잠재 라벨’ \(Z\)를 도입한 나이브 베이즈 모델로 표현한다는 점이다. \