감독 토픽 모델을 위한 스펙트럴 학습

본 논문은 감독 라티스 디리클레 할당(sLDA) 모델의 파라미터를 스펙트럴 학습 기법으로 추정하는 두 가지 알고리즘을 제안하고, 그 이론적 근거와 실험적 검증을 제공한다. 서론에서는 대규모 문서 컬렉션에서 토픽 구조와 문서별 응답 변수(예: 평점, 태그)를 동시에 모델링하는 필요성을 강조한다. 기존의 변분 추정이나 Gibbs 샘플링은 비볼록 최적화 문제에 의존해 지역 최소에 빠질 위험이 크고, 수렴 속도가 느리다는 한계가 있다. 반면, 스펙트럴 방법은 저차 모멘트를 이용해 모델 파라미터와 직접적인 선형 관계를 구축함으로써 전역 최적 해를 보장한다. 관련 연구 섹션에서는 비음수 행렬 분해(NMF) 기반 앵커 워드 방법과 기존 스펙트럴 LDA 연구를 정리하고, 감독 모델에 대한 연구가 아직 부족함을 지적한다. 특히, 감독 모델은 회귀 파라미터와 토픽 파라미터가 서로 얽혀 있어 기존 무감독 스펙트럴 기법을 그대로 적용하기 어렵다는 점을 강조한다. 본문 3절에서는 sLDA의 생성 과정과 필요한 기호를 정의한다. 토픽-단어 분포 μ_i (i=1…k), 토픽 혼합 벡터 h, 회귀 가중치 η, 그리고 가우시안 노이즈 σ²가 핵심 파라미터이다. 또한, 고차 텐서와 직교 텐서 분해에 대한 기본 개념을 소개하고, 텐서 파워 메서드가 잡음이 섞인 텐서에서도 안정적으로 고유값·고유벡터를 복원할 수 있음을 설명한다. 4절에서는 두 단계 스펙트럴 알고리즘을 상세히 제시한다. 첫 단계는 기존 LDA용 스펙트럴 방법을 그대로 적용해 토픽-단어 행렬 O를 복원한다. 이를 위해 1차, 2차, 3차 관측 모멘트 M1, M2, M3를 정의하고, whitening 과정을 통해 텐서를 직교 형태로 변환한다. 이후 텐서 파워 메서드로 토픽별 고유벡터를 추출하고, 정규화된 행렬 eO를 얻는다. 두 번째 단계는 “파워 업데이트”라 명명된 절차로, O가 고정된 상황에서 회귀 가중치 η와 노이즈 분산 σ²를 추정한다. 여기서는 새로운 3차 모멘트 M_yxx를 도입해, 단어-단어-응답 삼중관계를 이용해 η를 선형 시스템 형태로 풀어낸다. 이 두 단계는 각각 독립적으로 분석되어 샘플 복잡도 O( (k^2 + kV)/ε^2 ) 정도를 보인다. 그러나 감독 정보가 토픽 추정에 반영되지 않아 실험에서 약간의 성능 저하가 발생한다는 한계가 있다. 5절에서는 이러한 한계를 극복하기 위한 단일 단계 스펙트럴 알고리즘을 제안한다. 핵심 아이디어는 토픽-단어 분포와 회귀 파라미터를 결합한 확장 벡터 v_i =