에이전트 팀의 제어 전환을 학습하는 2계층 마르코프 의사결정 프로세스

**1. 연구 배경 및 동기** 최근 강화학습(RL) 에이전트가 게임·자율주행 등에서 인간 수준 이상의 성과를 보이며 전면 자동화에 대한 기대가 높아졌다. 그러나 기술·사회·법적 제약으로 완전 자동화가 현실화되기 어려운 상황에서, 기존 RL 에이전트를 부분 자동화 수준에서 활용하는 방안이 주목받는다. 즉, 인간과 기계가 교대로 제어권을 가짐으로써 각각의 강점을 살리고, 전환 시 발생하는 인지 부하·전환 비용을 최소화하는 것이 핵심 과제이다. **2. 문제 정의** 팀 D에 속한 여러 에이전트가 존재하고, 매 타임스텝 t에 시스템 상태 sₜ∈S와 이전 제어자 dₜ₋₁∈D가 주어진다. 스위치 변수 dₜ=πₜ(sₜ,dₜ₋₁)는 현재 누가 행동할지를 결정한다. 선택된 에이전트 dₜ는 자신의 정책 p_{dₜ}(aₜ|sₜ)에 따라 행동 aₜ∈A를 취하고, 환경 전이 p(sₜ₊₁|sₜ,aₜ)로 다음 상태가 생성된다. 비용 함수는 환경 비용 c_e(sₜ,aₜ), 제어 비용 c_c(dₜ), 전환 비용 c_x(dₜ,dₜ₋₁)의 합으로 정의되며, 전체 목표는 기대 누적 비용을 최소화하는 전환 정책 π*를 찾는 것이다. **3. 2‑계층 MDP 모델링** 전통적인 MDP에 스위치 변수를 포함하면 상태공간이 S×D가 되지만, 에이전트 정책과 환경 전이를 동시에 추정하기 어렵다. 이를 해결하기 위해 저자들은 두 단계로 구성된 2‑계층 MDP를 제안한다. - **스위치 레이어**: 현재 상태 (sₜ,dₜ₋₁)에서 액션 dₜ를 선택하면 즉시 비용 c_d(sₜ,dₜ₋₁)=c_c(dₜ)+c_x(dₜ,dₜ₋₁)와 함께 중간 상태 (sₜ,aₜ)로 전이한다. 여기서 aₜ는 선택된 에이전트의 정책에 따라 확률적으로 결정된다(p_{dₜ}(aₜ|sₜ)). - **액션 레이어**: 중간 상태 (sₜ,aₜ)에서 환경 전이 p(sₜ₊₁|sₜ,aₜ)가 일어나며, 비용 c_e(sₜ,aₜ)가 부과되고 최종 상태 (sₜ₊₁,dₜ)로 이동한다. 이 구조는 에이전트 정책과 환경 전이를 별도 확률 모델로 분리해 추정할 수 있게 하며, 전환 비용을 자연스럽게 포함한다. **4. 알고리즘 UCRL2‑MC²** UCRL2‑MC²는 에피소드 기반의 탐험‑활용 프레임워크를 채택한다. 주요 절차는 다음과 같다. 1. **신뢰구간 구성**: 각 에피소드 시작 시, 관측된 (s,a)와 (s',d) 데이터를 이용해 에이전트 정책 p̂_d와 전이 확률 p̂에 대한 하위·상위 경계(Confidence Sets)를 계산한다. 여기서 Hoeffding·Azuma 부등식을 활용해 확률적 보장을 제공한다. 2. **낙관적 MDP 구성**: 위 신뢰구간 내에서 가장 유리한(낙관적인) 전이와 비용을 선택해 가상의 MDP를 만든다. 이 MDP는 현재 지식 하에 최적일 가능성이 가장 높은 모델이다. 3. **정책 최적화**: 낙관적 MDP에 대해 동적 프로그래밍(예: 가치 반복)으로 최적 전환 정책 π_k를 구한다. 4. **실행 및 업데이트**: 에피소드 동안 π_k를 실행해 실제 (sₜ,dₜ,aₜ,sₜ₊₁) 데이터를 수집하고, 신뢰구간을 갱신한다. 특히, 여러 팀이 동일한 환경을 공유할 경우 전이 확률에 대한 신뢰구간을 팀 간에 공유함으로써 샘플 효율성을 크게 높인다. 이때 레그레스는 Õ(√(T·|D|·|S|·|A|)) 수준으로 제한되며, 기존 UCRL2가 제공하는 Õ(√(T·|S|·|D|·|A|))보다 개선된다. **5. 이론적 결과** - **레그레스 상한**: 전체 타임스텝 T에 대해 누적 레그레스 R(T) ≤ C·√(T·( |S|·|A| + |D|·log T )) (C는 상수)이며, 이는 서브선형이다. - **다중 팀 공유**: M개의 팀이 동일 환경을 사용할 경우, 전이 확률에 대한 공동 신뢰구간을 사용해 레그레스 상한이 √M 만큼 감소한다. **6. 실험** - **RiverSwim**: 전통적인 탐험이 어려운 환경에서 UCRL2‑MC²는 전환 비용을 최소화하면서도 높은 수익을 달성한다. - **장애물 회피 시뮬레이션**: 인간 드라이버와 자동 운전 에이전트가 팀을 이루어 장애물을 피한다. 알고리즘은 인간이 어려운 상황에서 자동 에이전트에게 제어를 넘기고, 반대로 인간이 더 나은 판단을 할 수 있는 상황에서는 제어를 회복한다. 결과적으로 평균 비용이 기존 UCRL2·Rmax 대비 30% 이상 감소하였다. **7. 논의 및 한계** - **마르코프 가정**: 인간 정책을 마르코프ian으로 가정했지만, 실제 인간 행동은 비마르코프적 특성을 가질 수 있다. 이를 다루기 위한 비마르코프 모델링이나 상태 확장 연구가 필요하다. - **전환 비용 모델링**: 현재는 고정된 전환 비용을 사용했으며, 실제 시스템에서는 시간 지연·인지 부하 등 복합적인 비용이 존재한다. - **실제 적용**: 투명성·설명가능성·시각화 등 인간-기계 협업에 필수적인 요소는 논문 범위를 넘어선다. **8. 결론** 본 논문은 제어 전환 문제를 2‑계층 MDP로 정형화하고, 정책·전이 별 신뢰구간을 활용한 온라인 학습 알고리즘 UCRL2‑MC²를 제안한다. 이 알고리즘은 이론적으로 서브선형 레그레스를 보장하고, 다중 팀 간 공유를 통해 샘플 효율성을 향상시킨다. 실험을 통해 기존 문제‑agnostic RL 알고리즘 대비 비용 절감 및 전환 효율성을 입증하였다. 향후 연구는 비마르코프 인간 정책, 복합 전환 비용, 실시간 인간‑기계 인터페이스 등을 포함해 실제 적용 가능성을 확대하는 방향으로 진행될 수 있다.