동적 다채널 접근을 위한 레스트리스 밴딧 문제의 인덱스 가능성 및 휘틀 인덱스 최적성

본 연구는 동적 다채널 접근, 사용자·서버 스케줄링, 다중 에이전트 시스템에서 발생하는 레스트리스 다중팔 밴딧(RMBP) 문제를 다룬다. 각 채널은 2‑상태(‘좋음’·‘나쁨’) 마코프 체인으로 모델링되며, 매 시간 슬롯마다 K개의 채널을 선택해 상태를 관측하고 보상을 획득한다. 전통적인 멀티‑암드 밴딧(MBP)에서는 비활성 팔이 상태를 유지하지만, RMBP에서는 모든 팔이 동시에 전이한다는 점에서 문제의 난이도가 급격히 상승한다. 논문은 먼저 이 클래스의 RMBP가 ‘인덱스 가능(indexable)’함을 증명한다. 인덱스 가능성은 라그랑지안 파라미터 λ에 대해 최적 정책이 ‘활성 ↔ 패시브’ 전환을 단조적으로 바꾸는 성질을 의미한다. 저자는 각 팔이 패시브 상태에 머무는 총 시간을 상한으로 잡아, λ가 증가함에 따라 최적 정책이 점진적으로 더 많은 팔을 패시브로 만든다는 것을 보인다. 이는 Whittle이 제시한 일반적 접근을 연속적인 믿음(베리프) 상태 공간에 성공적으로 적용한 최초 사례라 할 수 있다. 다음으로, 할인 보상과 평균 보상 두 기준에 대해 휘틀(Whittle) 인덱스를 폐쇄형 식으로 도출한다. 인덱스는 현재 믿음 ω에 대한 단조 증가 함수이며, 전이 확률 관계에 따라 구간별 볼록(concave) 혹은 구간별 볼록(convex) 형태를 가진다. 이 구조적 특성은 인덱스 계산을 O(1) 복잡도로 구현할 수 있게 하며, 기존에 수치적 근사에 의존하던 방법과는 차별화된다. 동일한 마코프 체인을 갖는 채널들(동질 채널)에서는 휘틀 인덱스 정책이 마이오픽 정책과 동일함을 증명한다. 마이오픽 정책은 현재 믿음이 가장 높은 K개의 채널을 선택하는 가장 직관적인 규칙이며, 이전 연구에서 p₁₁ ≥ p₀₁ 조건 하에 최적임이 알려져 있었다. 본 논문은 이를 K≥1 일반 경우로 확장하고, 동일 채널 집합에 대해 휘틀 인덱스 정책이 전역 최적임을 보인다. 또한, 인덱스 계산에 전이 확률 자체가 아니라 p₁₁과 p₀₁의 순서만 알면 된다는 ‘반보편적(semi‑universal)’ 구조를 제시해, 모델 파라미터가 정확히 알려지지 않은 상황에서도 강인하게 동작한다. 비동질 채널(전이 확률이 서로 다른 경우)에서는 라그랑지안 완화를 이용한 성능 상한(b)을 효율적으로 계산하는 알고리즘을 제시한다. 이 알고리즘은 O(N(log N)²) 시간 복잡도로 ε‑정밀도 상한을 구할 수 있으며, 모든 채널이 p₁₁ < p₀₁인 경우에는 O(N² log N)으로 정확한 상한을 얻는다. 상한값은 휘틀 인덱스 정책의 성능을 평가하는 기준점으로 활용된다. 성능 분석 측면에서, 동일 채널일 때 p₁₁ ≥ p₀₁이면 휘틀 정책의 근사 비율이 최소 K/N, p₁₁ < p₀₁이면 최소 max{½, K/N}임을 증명한다. 이는 정책이 최적에 매우 근접함을 보장한다. 시뮬레이션 결과는 제시된 상한이 실제 최적값에 매우 가깝고, 휘틀 인덱스 정책이 거의 최적에 달하는 성능을 보임을 확인한다. 결론적으로, 본 논문은 레스트리스 밴딧 문제에서 인덱스 가능성을 엄밀히 증명하고, 폐쇄형 휘틀 인덱스를 제공함으로써 정책 구현의 복잡도를 크게 낮추었다. 또한, 동일 채널에 대해 최적성을 보이고, 비동질 채널에 대해서는 실용적인 상한 계산 방법을 제시함으로써 이론적 기여와 실무 적용 가능성을 모두 확보하였다.