반지도학습 순위 추구 알고리즘

본 논문은 순위(Preference) 학습을 위한 새로운 희소 모델링 방법인 “Ranking Pursuit”를 제시한다. 서론에서는 순위 학습이 정보 검색, 자연어 처리, 생물정보학 등 다양한 분야에서 핵심 역할을 수행하고 있음을 강조하면서, 기존 방법들은 성능 향상에 초점을 맞추었지만 모델의 해석 가능성이나 예측 속도는 충분히 고려되지 않았다고 지적한다. 특히, 희소 모델링은 변수 선택과 해석 가능성을 제공하지만, 기존의 L1 정규화 기반 방법들은 순위 학습에 직접 적용하기 어렵다. 문제 정의에서는 입력 공간 X와 라벨 집합 Y를 두고, 각 인스턴스 x 에 대해 라벨 간 선호 관계 Pₓ⊆Y×Y 를 예측하는 과제를 제시한다. 훈련 데이터는 점수 sᵢ가 부여된 쌍 (qᵢ,sᵢ) 로 구성되며, 동일 인스턴스 x 내에서만 라벨 쌍이 의미를 가진다. 라벨 간 선호는 점수 차이 sᵢ−sⱼ 로 정의하고, 전체 손실은 그래프 라플라시안 L 을 이용해 d(f,T)=½∑_{i,j}W_{ij}|sign(sᵢ−sⱼ)−sign(f(qᵢ)−f(qⱼ))| 으로 표현한다. 알고리즘 섹션에서는 커널 매칭 퍼슈트(Kernel Matching Pursuit)를 순위 학습에 맞게 변형한다. 사전 D={k₁,…,k_N} 에 있는 커널 함수 k_γ(q)=k(q_γ,q) 를 사용해 목표 함수 c(f,T)=(s−f)ᵀL(s−f) 를 최소화한다. 매 반복마다 모든 후보 γ에 대해 최적 가중치 a* = (k_γᵀLk_γ)⁻¹k_γᵀLr 을 구하고, 손실 J(γ)=c(f+ak_γ,T) 를 평가한다. 손실이 최소인 γ 를 선택하고, 잔차 r←r−ak_γ 을 업데이트한다. 이렇게 하면 P 개의 커널과 가중치만 남아 희소 모델이 완성된다. 다중 최적 해 탐색을 위해 저자는 “Learning Multiple Near‑Optimal Solutions” 절을 제시한다. 여기서는 여러 뷰(특징 집합) H₁,…,H_M 에 대해 각각 f^{(v)} 를 학습하고, 스코어가 있는 데이터에 대한 손실과 무점수 데이터에 대한 뷰 간 일치 손실을 동시에 최소화한다. 일치 손실은 c(f^{(v)},f^{(u)},T)=½∑_{i,j}W_{ij}( (f^{(v)}(q_i)−f^{(v)}(q_j))−(f^{(u)}(q_i)−f^{(u)}(q_j)) )² 으로 정의된다. 전체 목표는     ∑_{v}c(f^{(v)},T)+ν∑_{v≠u}c(f^{(v)},f^{(u)},T) 이며, 라플라시안 \bar L 을 사용해 무점수 데이터의 그래프 구조를 반영한다. 최적 가중치는 다변량 선형 방정식 (G+νG)a = kᵀLr − 2ν\bar kᵀ\bar L\bar k a 형태로 풀 수 있다. 이 과정은 기존 지도 학습 복잡도 O(P n²) 에 비해, 무점수 데이터 l 에 선형적으로 의존하는 O(P n M(M³+M²l)) 의 시간 복잡도를 가진다. 반지도 학습 버전은 무점수 데이터가 풍부한 실제 상황을 가정한다. 저자는 인덱스 공유를 강제하면 복잡도를 O(P M³ n l) 로 더욱 낮출 수 있음을 언급한다. 다음으로 “Combined Ranking and Regression Pursuit” 절에서는 순위와 회귀를 동시에 최적화하는 목표 함수를 제시한다. 이는 순위 손실과 회귀 손실을 가중합한 형태이며, 두 목적이 충돌할 때 균형을 맞추어 보다 일반화된 모델을 만든다. 실험에서는 LETOR 데이터셋(정보 검색)과 생물학적 단백질 순위 데이터를 사용했다. 비교 대상은 RankSVM, ListNet, RankBoost 등이며, 제안 알고리즘은 동일하거나 더 높은 NDCG/ERR 점수를 기록하면서 사용된 커널 수가 현저히 적어 모델이 해석 가능하고 예측 속도가 빠른 장점을 보였다. 특히 반지도 설정에서 무점수 데이터를 활용했을 때 성능 향상이 두드러졌다. 결론에서는 제안 방법이 (1) 명시적인 희소성 제어, (2) 반지도 학습을 통한 데이터 활용, (3) 다중 최적 해 탐색을 가능하게 함을 강조한다. 한계점으로는 라플라시안 행렬의 대규모 계산 비용과 하이퍼파라미터 선택에 대한 민감도가 남아 있음을 지적하고, 향후 커널 자동 선택 및 대규모 그래프 처리 기법을 연구할 필요성을 제시한다.