박스 쓰리잉 언제든지 최적 팔 찾기

본 논문은 제한된 샘플링 예산 하에서 최적 팔을 식별하는 문제, 즉 Best Arm Identification(BAI) 문제를 Anytime 설정으로 확장한다. 전통적인 BAI는 총 예산 T가 사전에 고정되어 있어, 알고리즘은 T가 주어졌을 때 오식별 확률을 최소화하도록 설계된다. 그러나 실제 응용에서는 예산이 사전에 알려지지 않거나, 예산이 팔의 수 N보다 작아 모든 팔을 한 번이라도 시도하기 어려운 경우가 빈번히 발생한다. 이러한 상황을 ‘데이터 부족 조건(data‑poor condition)’이라 정의하고, 이는 알고리즘마다 후보 집합(Candidate Set)의 크기와 구성을 다르게 만든다. 이를 해결하기 위해 저자들은 Box Thirding(B3)이라는 새로운 Anytime BAI 알고리즘을 제안한다. B3는 팔들을 계층적 박스 구조(Box(l,j))에 배치한다. 각 박스는 최대 세 개의 팔과 그들의 평균 보상을 저장한다. 박스가 가득 차면 ARRANGE‑BOX 절차를 실행해 세 팔을 평균 보상 순으로 LIFT(최상위), SHIFT(중간), DISCARD(최하위)로 구분한다. LIFT된 팔은 추가 샘플 r_l을 받아 레벨(l+1)로 승격하고, SHIFT된 팔은 현재 레벨에서 연기 카운트(j)를 증가시켜 다음 비교에 재사용한다. DISCARD된 팔은 영구적으로 제외된다. 이 과정을 모든 레벨에 대해 반복하면서, B3는 상위 레벨에 강력한 후보를 집중적으로 할당하고, 약한 후보는 빠르게 배제한다. 이러한 삼분 비교는 각 레벨에서 전체 팔의 약 1/3만이 다음 레벨로 승격되는 효과를 만든다. 무한히 반복될 경우 승격 비율은 1/2에 수렴하므로, B3는 전역적으로 binary halving과 동일한 스크리닝 효율을 달성한다. 중요한 점은 ‘보류(Shift)’ 메커니즘을 통해 아직 충분히 평가되지 않은 팔을 완전히 버리지 않고, 이후 비교에서 재활용함으로써 스크리닝 손실을 최소화한다는 것이다. 이론적 분석에서는 전체 오류 확률을 두 부분으로 분해한다. 첫 번째는 비포함 확률로, 최적 팔이 후보 집합에 들어가지 못하는 사건을 의미한다. B3는 데이터 부족 조건에서도 최적 팔을 최소 한 번이라도 LIFT하도록 설계돼, 기존 Bracketing 기반 알고리즘보다 이 확률이 낮다. 두 번째는 오식별 확률로, 후보 집합 내에서 잘못된 팔을 선택하는 사건이다. 각 레벨에서 충분히 샘플링된 팔들의 평균은 1‑sub‑Gaussian 가정에 따라 Hoeffding 경계로 제어되며, 최종적으로 ε‑best 팔을 선택할 확률이 Successive Halving과 동등하거나 더 우수함을 보인다. 또한, 초기 레벨 샘플링 파라미터 r_0를 최적화함으로써 전체 예산 사용 효율을 극대화한다. 실험에서는 New Yorker Cartoon Caption Contest 데이터셋을 사용해 대규모(N 수천~수만)와 극소규모(T ≪ N) 두 가지 시나리오를 평가했다. B3는 동일 예산 하에 기존 Anytime 알고리즘(BUCB, BSH 등)보다 낮은 단순 후회(simple regret)를 기록했으며, 특히 T가 N보다 현저히 작을 때 후보 집합 유지 능력이 크게 돋보였다. 이는 B3가 ‘보류’ 메커니즘을 통해 잠재적 최적 팔을 조기에 배제하지 않고, 이후 비교에서 재활용함으로써 스크리닝 손실을 최소화한다는 실증적 증거이다. 결론적으로, B3는 (1) 예산 사전 지식이 필요 없는 완전 Anytime 구조, (2) 파라미터 튜닝이 없는 단순 구현, (3) 데이터 부족 조건에서도 최적 팔을 후보에 포함시킬 높은 확률, (4) 기존 Successive Halving 대비 동등하거나 우수한 ε‑best 팔 식별 성능을 제공한다는 점에서 현존 최고의 Anytime BAI 알고리즘 중 하나로 평가될 수 있다.