온라인 학습 후회 그 너머

본 논문은 온라인 학습 분야에서 성능 측정 기준을 외부 후회에만 국한하지 않고, 보다 포괄적인 프레임워크를 제시한다. 저자는 Rakhlin‑Sridharan‑Tewari(2010)에서 도입된 순차적 Rademacher 복잡도를 핵심 도구로 삼아, 다양한 성능 지표—내부 후회, Φ‑후회, 비가법적 전역 비용, 블랙웰 접근가능성, 보정, 적응 후회 등—에 대해 동일한 이론적 구조를 적용한다. 논문의 시작에서는 온라인 학습을 “플레이어와 적대자 사이의 T 라운드 게임”으로 모델링하고, 플레이어가 혼합 전략 \(q_t\)를, 적대자가 행동 \(x_t\)를 선택한다. 각 라운드에서 얻는 payoff는 \(\ell(f_t,x_t)\)이며, 이 payoff는 일반적인 Banach 공간 \(B\)에 속한다. 성능 측정은 함수 \(B\)와 변환 집합 \(\Phi_T\)를 이용해 (1)식으로 정의된다. 여기서 \(\Phi_T\)는 payoff 변환 \(\phi_t\)들의 시퀀스로, 변환이 플레이어의 행동만 바꾸는 “departure mapping”이 될 수도 있고, 시간에 무관하게 고정될 수도 있다. 학습 가능성은 게임값 \(V_T(\ell,\Phi_T)\)가 \(T\to\infty\)에서 0에 수렴하는지 여부로 정의한다. 저자는 이 값을 세 부분으로 분해한다. 첫 번째는 martingale 수렴항으로, 적대자의 적응성을 제어한다. 두 번째는 “future‑aware” 항으로, 전체 payoff를 미리 알 경우 최적 전략을 선택할 수 있는 능력을 측정한다. 세 번째는 순차적 Rademacher 복잡도 \(\mathfrak{R}_T(\Phi_T)\)이며, 이는 \(\Phi_T\)가 허용하는 변환의 풍부함을 정량화한다. 이 세 요소가 모두 충분히 작을 때, 즉 \(\mathfrak{R}_T(\Phi_T)=o(T)\)이고 martingale 수렴이 보장될 때, 학습 가능성이 성립한다. 논문은 이 일반 이론을 여러 구체적 사례에 적용한다. 1. **외부 후회**: \(\Phi_T\)가 상수 매핑 집합일 때, 기존 결과와 동일하게 순차적 Rademacher 복잡도가 학습 가능성을 결정한다. 2. **Φ‑후회**: 일반적인 변환 집합 \(\Phi\)에 대해 기존의 내부·스왑 후회 결과를 일반화하고, 상수를 개선한다. 특히 Φ‑correlated equilibrium에 대한 수렴률을 향상시킨다. 3. **블랙웰 접근가능성**: Banach 공간에서의 접근가능성 조건을 “one‑shot” 조건과 martingale 수렴으로 완전히 기술한다. 알고리즘을 제시하지 않고도 접근가능성을 증명한다. 4. **보정**: 다중 결과(k>2) 상황에서 보정 오류를 \(\sup_{\lambda>0}\sup_{p\in\Delta(k)}\) 형태로 정의하고, 기존 2‑outcome 결과를 일반화하여 \(O(T^{-1/2})\) 수렴률을 얻는다. 5. **전역 비용 함수**: Even‑Dar 등에서 다룬 글로벌 비용 학습을 확장하여, 비가법적 비용 함수에 대해서도 동일한 복잡도 분석이 적용됨을 보인다. 6. **시간 가변 비교자와 적응 후회**: 비교자가 시간에 따라 변할 때도, 변환 집합 \(\Phi_T\)를 적절히 설계하면 동일한 세 요소 분석으로 학습 가능성을 확보한다. Hazan‑Seshadhri의 적응 후회 개념을 더 일반적인 형태로 확장한다. 기술적 핵심은 symmetrization 기법의 확장이다. 기존 i.i.d. 상황에서만 사용되던 symmetrization을 순차적, 비가법적 payoff에 적용함으로써, 복잡도 상한을 깔끔히 도출한다. 또한, 논문은 “복잡도 기반” 접근법이 알고리즘 설계와 독립적으로 학습 가능성을 판단하게 함으로써, 온라인 학습 이론을 통계 학습 이론과 통합하는 방향을 제시한다. 마지막으로, 저자는 고확률 결과와 거의 확실한 수렴(almost sure convergence)도 다루어, 실용적인 학습 보증까지 제공한다. 전체적으로 이 논문은 온라인 학습의 핵심 질문인 “어떤 문제들이 학습 가능하고, 어떤 속도로 수렴하는가?”에 대한 통합적 답을 제시한다. 복잡도, martingale 수렴, 미래 최적성이라는 세 축을 통해 다양한 기존 결과를 재해석하고, 새로운 문제 영역에도 적용 가능함을 증명한다. 이는 온라인 학습 연구에 있어 알고리즘 중심에서 문제 구조 중심으로의 중요한 전환점을 제공한다.