순위와 묶음의 확률 모델: 순위학습을 위한 새로운 접근

본 논문은 순위 데이터에서 흔히 발생하는 ‘동점(tie)’ 현상을 체계적으로 모델링하고 학습하는 새로운 확률적 프레임워크를 제시한다. 전통적인 순위 모델은 객체들을 완전한 순열로 표현하지만, 실제 검색·추천 시스템에서는 동일한 점수를 부여받는 객체가 다수 존재한다. 저자들은 이러한 동점을 ‘파티션(partition)’이라는 개념으로 재정의하고, 파티션들의 순서를 ‘ordered partition’ 형태로 모델링한다. 먼저, 파티션과 그 순서의 전체 경우의 수는 Fubini 수(Fubini(N)) 로, N이 커질수록 초지수적으로 증가한다. 직접적인 확률 계산은 불가능하므로, 논문은 이산 선택 이론(discrete choice theory)의 단계적 선택 메커니즘을 차용한다. 구체적으로, 전체 객체 집합 X에서 첫 번째 파티션 X₁을 선택하고, 남은 집합 R₂ = X \ X₁ 에서 두 번째 파티션 X₂ 를 선택하는 과정을 반복한다. 각 단계 k에서 파티션 X_k 를 선택할 확률은 p_k(X_k | X₁,…,X_{k‑1}) = Φ_k(X_k) / Σ_{S⊆R_k} Φ_k(S) 형태로 정의되며, 여기서 Φ_k는 파티션 S 에 대한 ‘잠재함수(potential)’이다. 이 식은 Plackett‑Luce 모델을 파티션 수준으로 일반화한 것으로, 파티션 수 K 자체를 사전에 지정하지 않고 데이터에 따라 자동으로 결정한다는 점에서 기존 순열 기반 모델과 차별화된다. 잠재함수 Φ_k의 구체적 형태는 두 가지로 제안된다. 첫 번째는 ‘Full‑Decomposition’ 방식으로, Φ_k(X_k) = (1/|X_k|) Σ_{x∈X_k} φ_k(x) 로 정의한다. 여기서 φ_k(x)는 개별 객체의 점수 함수이며, 보통 선형 모델 w·f(x,q) 로 구현된다. 이 경우 정규화 항 Σ_{S⊆R_k} Φ_k(S) 를 전개하면 C·Σ_{x∈R_k} φ_k(x) 로 단순화되며, C는 상수이므로 전체 확률 계산이 O(N) 시간에 가능해 학습 복잡도가 선형으로 감소한다. 두 번째는 일반적인 Φ_k를 그대로 두고, 정규화 항을 MCMC 샘플링으로 근사하는 방법이다. 이 접근법은 파티션 내부의 복잡한 상호작용을 모델링할 수 있지만, 계산 비용이 증가한다. 학습은 로그우도 최대화 형태로 전개된다. Full‑Decomposition 경우에는 각 객체의 파라미터 φ_k(x) 를 직접 미분하여 SGD, LBFGS 등 효율적인 최적화 기법을 적용한다. MCMC 기반 모델은 샘플링 단계가 추가되지만, 변분 추정이나 히스토리컬 샘플링을 통해 실용적인 학습이 가능하도록 설계된다. 실험에서는 2010년 Yahoo! 랭킹 챌린지 데이터셋을 사용하였다. 데이터는 검색 쿼리마다 여러 문서가 제공되고, 각 문서는 0~4의 등급을 부여받는다(동점 존재). 저자들은 1차 잠재함수 기반 PMOP와 기존 대표 모델인 RankNet, Ranking‑SVM, ListMLE 등을 비교하였다. 평가 지표는 NDCG@k (k=1,3,5,10) 로, PMOP는 대부분의 k에서 경쟁 모델들과 동등하거나 약간 우수한 점수를 기록했다. 특히 훈련 시간 측면에서 Full‑Decomposition PMOP는 O(N) 복잡도로 기존 2차(쌍) 방식보다 10배 이상 빠른 것으로 보고되었다. 이는 대규모 검색 엔진에서 실시간 모델 업데이트가 필요한 상황에 큰 장점을 제공한다. 논문의 주요 기여는 다음과 같다. (1) 순위와 동점을 동시에 다루는 ‘ordered partition’ 확률 모델을 수학적으로 정의하고, 이를 이산 선택 이론과 연결시켰다. (2) 파티션 잠재함수를 Full‑Decomposition 형태로 설계해 초지수적 상태공간을 선형 시간으로 압축, 실용적인 학습 알고리즘을 구현했다. (3) 실제 대규모 랭킹 데이터에 적용해 기존 강력한 모델들과 경쟁력 있는 성능과 현저히 낮은 훈련 비용을 입증했다. 향후 연구 방향으로는 더 복잡한 Φ_k를 변분 추정으로 효율적으로 근사하거나, 클러스터링·문서 요약 등 순서가 있는 군집화 문제에 본 모델을 확장하는 것이 제시된다.