공간과 적응성 제한을 동시에 고려한 확률적 밴딧의 근본적 트레이드오프

이 논문은 확률적 K‑팔 밴딧 문제에서 학습자가 동시에 두 가지 제한, 즉 **공간 제한**(persistent memory W 비트)과 **적응성 제한**(배치 수 B) 하에 작동할 때의 근본적인 성능 한계를 탐구한다. 기존 연구에서는 각각의 제한을 따로 고려했을 때, 메모리 O(log T)만으로도 완전 적응형 알고리즘이 \(\widetilde{O}(\sqrt{KT})\) 수준의 regret를 달성할 수 있었고, 메모리 제한이 없을 경우 배치 수 O(log log T)만으로도 동일한 regret를 얻을 수 있었다. 그러나 두 제한을 동시에 부과하면 이러한 “완화” 효과가 사라진다. ### 1. 모델 정의 - **배치 모델**: 전체 시간 horizon T를 B개의 배치로 나누고, 각 배치가 시작될 때 정책을 고정한다. 배치 내부에서는 관측된 보상이 정책에 반영되지 않는다. 배치 경계는 정적이거나, 이전 배치의 정보를 이용해 적응적으로 결정될 수 있다. - **공간 모델**: 학습자는 매 라운드 사이에 유지할 수 있는 상태가 2^W개의 경우만 허용된다. 즉, persistent memory는 W 비트이며, 라운드 내부 연산은 제한되지 않는다. ### 2. 하한 결과 (Theorem 1) 저자들은 **하드 프라이어**를 구성한다. K를 짝수라 가정하고, 크기 K/2인 집합 S*를 무작위로 선택한다. S*에 속한 팔은 평균 ½, 나머지는 평균 0인 베르누이 보상을 갖는다. 이 사전 하에서, near‑minimax regret \(\widetilde{O}(\sqrt{KT})\)를 달성하려면 학습자는 다음 두 조건을 동시에 만족해야 한다. 1. **나쁜 팔의 과다 탐색 방지**: 나쁜 팔이 임계 탐색 횟수 n ≈ Θ(T/K)를 초과하면 즉시 Θ(n) regret가 발생한다. 따라서 대부분의 나쁜 팔은 Y_i=0이어야 한다. 2. **좋은 팔의 충분한 탐색 보장**: 각 좋은 팔 i에 대해, 적어도 일정 확률 β>0로 N_i(T)≥n이 되어야 한다. 이를 증명하기 위해 저자들은 “지역화된 변화 측정” 보조정리를 도입한다. 이 정리는 특정 팔 i에 대해 첫 n번의 샘플링만을 고려해 두 인스턴스(기본 인스턴스와 해당 팔의 평균을 약간 올린 perturbed 인스턴스) 사이의 KL 발산을 O(nΔ²)로 제한한다. Δ는 평균 차이이며, Δ≈√(K/T)로 잡아 nΔ²=O(1)로 만든다. 이렇게 하면 좋은 팔이 충분히 탐색되지 않을 경우 perturbed 인스턴스에서 regret가 크게 증가함을 보일 수 있다. 위 두 조건을 결합하면, **임계 탐색 프로파일** Y = (Y₁,…,Y_K) 가 숨겨진 좋은 팔 집합 S*에 대해 Ω(K) 비트의 정보를 전달한다는 것을 얻는다. 즉, I(S*;Y)=Ω(K). ### 3. 배치‑메모리 병목 (Theorem 1의 핵심) 배치 모델에서는 각 배치 시작 시점에 전달될 수 있는 정보가 persistent memory에 저장된 W 비트에 한정된다. B개의 배치를 거치면 전체 전달 가능한 정보량은 O(BW) 비트이다. 앞서 얻은 I(S*;Y)=Ω(K)와 결합하면 \