다음 토큰 예측과 후회 최소화의 연결 고리

본 논문은 다음 토큰 예측 모델을 적대적 온라인 의사결정 환경에 적용할 때 발생하는 근본적인 문제들을 체계적으로 분석하고, 이를 해결하기 위한 이론적·실험적 프레임워크를 제시한다. 1. **문제 정의 및 배경** - 다음 토큰 예측은 주어진 토큰 시퀀스의 앞부분을 조건으로 다음 토큰의 확률분포를 추정하는 작업이며, 대규모 언어 모델(LLM)에서 핵심적인 학습 목표이다. - 이러한 예측 모델을 이용해 적대적 상대의 행동을 예측하고, 그에 대한 최적 반응(BR) 혹은 양자화 최적 반응(QBR)을 수행하면, 전통적인 온라인 학습에서 요구되는 외부 후회(External Regret)를 최소화할 수 있을지에 대한 질문을 제기한다. 2. **무한 컨텍스트에서의 가능성** - 저자들은 무한 컨텍스트(모델이 과거 모든 토큰을 참조 가능) 가정 하에, 모든 데이터 분포 𝔇가 “low‑regret distribution”에 지수적으로 가깝다는 정리를 증명한다(Theorem 3.1). - 핵심은 Polyá urn 과정을 이용해 토큰 출현 빈도를 실시간으로 업데이트하고, 이를 QBR과 결합함으로써 Hedge 알고리즘과 동등한 확률적 행동을 생성하는 것이다. 이때 변환된 모델 M은 원본 모델 M₀와 TV 거리 ε만큼 차이 나며, ε는 2⁻ᵀ 수준으로 지수적으로 작다. 따라서 원본 모델의 예측 정확도에 거의 영향을 주지 않으면서도 서브리니어 후회를 보장한다. 3. **유한 컨텍스트(고정 윈도우)에서의 한계** - 현대 트랜스포머는 실질적으로 고정된 윈도우 길이 w만을 활용한다. 논문은 w가 T에 비례하더라도, 특정 분포 𝔇에 대해 어떤 변환된 분포 𝔇′와도 TV 거리가 Θ(1) 수준으로 남아, low‑regret 보장을 얻을 수 없음을 Theorem 4.1을 통해 증명한다. - 이는 “예측 → 행동” 파이프라인이 deterministic하게 작동(순수 최적 반응)될 경우, 적대적 상대가 이를 이용해 고정된 후회를 유발할 수 있음을 의미한다. 4. **컨텍스트 확장과 근사적 해결책** - Theorem 4.2는 기존 윈도우 w보다 큰 w′를 허용하면, O(1/√(w′‑w)) 수준의 per‑round regret을 달성할 수 있음을 제시한다. 즉, 컨텍스트 길이를 늘리는 것이 근본적인 한계를 완화시킬 수 있다. 5. **트랜스포머 구현 및 실험** - Theorem 5.1은 위의 변환 절차를 다층 트랜스포머 구조로 구현할 수 있음을 보인다. 각 레이어는 Polyá urn 업데이트와 QBR 샘플링을 모방하도록 설계되며, 전체 모델은 원본 M₀와 거의 동일한 토큰 분포를 생성하면서도 Hedge와 동등한 regret 보장을 제공한다. - 실험(섹션 5.2)에서는 2~4 레이어, 64‑128 차원의 작은 트랜스포머를 학습시켜, 인위적으로 만든 low‑regret 분포와 비교했을 때 실제 후회가 크게 감소함을 확인한다. 이는 이론적 변환이 실제 신경망에서도 구현 가능함을 실증한다. 6. **의의와 향후 연구** - 이 연구는 “예측 → 행동” 파이프라인을 수학적으로 정형화하고, 무한 컨텍스트와 유한 컨텍스트 사이의 근본적인 차이를 명확히 구분한다. - 특히 TV 거리 관점에서의 “지수적 근접성” 개념과 이를 트랜스포머 아키텍처에 매핑하는 방법론은, LLM을 전략적 에이전트로 활용하고자 하는 연구에 중요한 이론적 토대를 제공한다. - 향후 연구는 (1) 더 큰 규모의 트랜스포머에서의 효율적 학습 방법, (2) 다양한 게임·시계열 환경에서의 일반화, (3) 제한된 컨텍스트에서도 근사적 low‑regret를 달성할 수 있는 새로운 아키텍처 설계 등을 탐구할 여지를 남긴다.