소분산 극한을 이용한 조합적 토픽 모델링

본 논문은 라티스 디리클레 할당(Latent Dirichlet Allocation, LDA)이라는 대표적인 확률적 토픽 모델을 조합 최적화 문제로 재구성하고, 이를 통해 기존 베이지안 추론 방식보다 훨씬 빠른 학습 알고리즘을 제안한다. 연구는 크게 네 부분으로 전개된다. 첫 번째 부분에서는 LDA의 확률적 구조를 재정리한다. 문서 j의 토픽 비율 θ_j는 대칭 Dirichlet(α)에서 샘플링되고, 토픽 i의 단어 분포 ψ_i는 대칭 Dirichlet(β)에서 샘플링된다. 각 토큰 w_{jt}는 먼저 θ_j에 따라 토픽 z_{jt}를 선택하고, 그 토픽의 ψ_{z_{jt}}에 따라 실제 단어를 생성한다. 기존 방법들은 이 확률 모델에 대해 Gibbs 샘플링, 변분 추론 등 복잡한 추론 절차를 사용한다. 두 번째 부분에서는 작은 분산(Small‑Variance Asymptotics, SVA) 기법을 LDA에 적용한다. SVA는 분산을 무한히 크게(η→∞) 만들어 확률적 모델을 ‘hard’ 형태로 변환한다. 구체적으로, 단어 생성 확률 p(w|ψ) 를 Bregman 발산 형태인 exp(−η·KL(𝟙_w, ψ)) 로 표현하고, η를 크게 하면 KL 발산이 직접적인 비용이 된다. 동시에 Dirichlet 사전의 α 파라미터를 α=exp(−λ·η) 로 스케일링해 문서당 토픽 사용 수에 대한 페널티 λ를 도입한다. 이 과정을 통해 부정 로그우도는 두 항으로 분리된다. 첫 번째는 모든 토큰이 할당된 토픽의 ψ와의 KL 발산을 최소화하는 항이며, 두 번째는 문서 j에서 실제 사용된 토픽 수 K⁺_j에 λ를 곱한 항이다. 최종 목적함수는  min_{Z,ψ} Σ_{j=1}^M Σ_{t=1}^{N_j} KL(𝟙_{w_{jt}}, ψ_{z_{jt}}) + λ Σ_{j=1}^M (K⁺_j − 1) 형태가 된다. 여기서 KL(𝟙_{w}, ψ) = −log ψ_{i,w} 로 단순화된다. 세 번째 부분에서는 위 목적함수를 효율적으로 최적화하는 알고리즘을 설계한다. 기본 아이디어는 k‑means와 유사하게 교대로 최적화를 수행하는 것이다. ψ 업데이트 단계에서는 현재 할당 Z가 고정된 상태에서 각 토픽 i의 ψ_i를 해당 토픽에 할당된 모든 토큰의 단어 빈도 비율로 재계산한다. 이는 KL 발산의 평균을 최소화하는 폐쇄형 해이다. Z 업데이트 단계에서는 두 가지 전략을 제시한다. 1) 기본 k‑means‑유사 방식: 각 토큰 w_{jt}에 대해 모든 토픽 i에 대한 −log ψ_{i,w_{jt}} 값을 계산하고, 현재 문서 j에 아직 할당되지 않은 토픽에 대해서는 λ 페널티를 추가한다. 최소값을 갖는 토픽에 토큰을 할당한다. 2) 시설 위치 문제 기반 그리디 할당: 토큰 할당 문제를 Uncapacitated Facility Location (UFL) 문제에 매핑한다. 토픽은 시설, 토큰은 고객이며, 시설 개설 비용 f_i=λ, 고객‑시설 거리 d_{ij}=KL(𝟙_{w_j}, ψ_i) 로 정의한다. 그리디 알고리즘은 아직 할당되지 않은 토큰 집합 T와 시설 i를 선택해 f_i + Σ_{t∈T} d_{it} 를 최소화하는 쌍을 반복적으로 찾는다. 선택된 토픽 i의 비용 f_i를 0으로 바꾸고, 해당 토큰들을 마킹해 할당한다. 이 과정은 각 문서별로 독립적으로 수행되며, 전체 복잡도는 O(NK)이다. 추가로, 지역 탐색(local search) 기법을 도입해 초기 할당 후에도 토픽 재배치를 수행한다. 이는 기존 k‑means가 지역 최적점에 머무르는 문제를 완화하고, 토픽 사용 페널티 λ를 고려해 문서당 토픽 수를 조절한다. 네 번째 부분에서는 실험 결과를 제시한다. 합성 데이터에서는 LDA의 실제 파라미터를 사용해 토큰을 생성하고, 제안 알고리즘이 정확히 원래 토픽-단어 분포를 복원함을 확인했다. 실행 시간은 Gibbs 샘플링 대비 10배~100배 가량 빠르며, 수렴 횟수도 수십 회 수준에 그쳤다. 실제 데이터(20 Newsgroups, Reuters 등)에서는 ‘hard’ 예측 로그우도와 ‘soft’ 예측 로그우도를 모두 측정했다. 변분 추론(VI)이나 Gibbs에 비해 로그우도는 약간 낮지만, 토픽의 핵심 단어 추출 및 토픽 간 구분도에서는 경쟁력을 유지했다. 특히, λ 값을 조절해 문서당 토픽 수를 제한함으로써 과도한 토픽 분산을 방지하고, 해석이 용이한 토픽 구성을 얻을 수 있었다. 결론적으로, 이 논문은 (1) LDA에 SVA를 적용해 조합적 목표함수를 도출한 이론적 기여, (2) 시설 위치 문제와 지역 탐색을 결합한 O(NK) 시간 복잡도의 실용적 알고리즘, (3) 대규모 텍스트 코퍼스에 적용 가능한 빠르고 정확한 토픽 모델링 프레임워크를 제공한다는 점에서 의미가 크다. 향후 연구에서는 β 파라미터 스케일링을 포함한 완전한 목표함수 확장, 비대칭 Dirichlet 사전 적용, 그리고 분산/클라우드 환경에서의 구현을 통해 모델의 표현력과 확장성을 더욱 강화할 수 있을 것으로 기대된다.