다중 에이전트 일반합 스토캐스틱 게임을 위한 배우‑비평가 기반 내시 균형 학습

본 논문은 유한 할인 일반합 스토캐스틱 게임에서 정적 내시 균형(Nash Equilibrium, NE)을 효율적으로 학습하기 위한 새로운 프레임워크와 알고리즘을 제시한다. 먼저, 스토캐스틱 게임을 다중 에이전트 마르코프 결정 과정으로 모델링하고, 각 에이전트 i가 상태 x에서 선택하는 행동 a_i와 그에 따른 보상 r_i(x,a) 및 전이 확률 p(y|x,a)를 명시한다. 기존 연구(Filar & Vrieze, 2004)는 2‑플레이어 게임에 대해 비선형 최적화 문제를 제시했지만, 이를 N‑플레이어로 확장하면서 제약식이 비선형으로 변하고 문제의 복잡도가 급격히 증가한다는 점을 지적한다. 이를 해결하기 위해 저자들은 전체 최적화 문제를 “Bellman 오류가 없는” 상태‑에이전트 별 서브문제로 분해한다. 각 서브문제는 특정 상태 x와 에이전트 i에 대해 가치 함수 V_i와 정책 π_i가 Bellman 방정식을 정확히 만족하도록 강제한다. 이러한 분해는 문제 구조를 단순화하면서도 전체 게임의 최적해와 동등한 정보를 보존한다. 다음으로 SG‑SP(스토캐스틱 게임‑서브문제) 조건을 도출한다. SG‑SP는 (1) 모든 서브문제가 동시에 최적해를 가질 때, (2) 해당 해가 각 에이전트에 대한 베스트 응답을 동시에 만족한다는 것을 의미한다. 즉, SG‑SP 조건을 만족하는 정책 집합은 게임의 정적 내시 균형과 일대일 대응한다. 이 조건을 기반으로 전역 최소점을 찾기 위한 특수한 하강 방향을 설계한다. 일반적인 경사 하강법은 지역 최소에 머물 위험이 있지만, SG‑SP 조건을 이용해 “조건부 하강 방향”을 정의함으로써 전역 최소(내시 균형)만을 향하도록 보장한다. 알고리즘 설계는 배우‑비평가(Actor‑Critic) 구조를 채택한다. 비평가(Critic)는 고정된 정책 하에서 가치 함수를 추정한다. 모델 기반 OFF‑SGSP에서는 전이 모델이 주어지므로 동적 프로그래밍(가치 반복)으로 정확히 계산하고, 모델 프리 ON‑SGSP에서는 TD(Temporal Difference) 학습을 통해 샘플 기반으로 가치 함수를 추정한다. 배우(Actor)는 앞서 정의한 특수 하강 방향을 사용해 정책 파라미터를 업데이트한다. 두 업데이트는 서로 다른 학습률(step‑size)로 다중 시간 척도(stochastic approximation) 방식에 따라 동시에 진행되며, 이는 두 루프(비평가와 배우)를 자연스럽게 결합한다. 수렴 증명은 두 단계로 구성된다. 첫 단계에서는 Kushner‑Clark 레마를 적용해 빠른 시간 척도(비평가)와 느린 시간 척도(배우)의 한계 동역학을 각각 ODE 형태로 표현한다. 두 번째 단계에서는 정책 ODE의 안정점 집합을 분석해, 모든 asymptotically stable point가 SG‑SP 조건을 만족함을 보인다. 따라서 알고리즘이 수렴하는 정책은 반드시 게임의 정적 내시 균형이다. 이론적 분석은 OFF‑SGSP와 ON‑SGSP 모두에 적용되며, 특히 ON‑SGSP는 모델 프리 환경에서도 동일한 수렴 보장을 제공한다는 점이 강조된다. 실험에서는 두 가지 벤치마크를 사용한다. 첫 번째는 Hart‑Mas‑Colell(2005)이 제시한 단일 상태 비일반 게임으로, 두 개의 내시 균형(하나는 순수, 하나는 혼합) 존재한다. 여기서 ON‑SGSP는 모든 실행에서 내시 균형에 수렴했으며, 기존 NashQ와 FFQ는 상당히 높은 실패율을 보였다. 두 번째는 810,000 상태를 가진 합성 2‑플레이어 “stick‑together” 게임이다. 이 대규모 실험에서도 ON‑SGSP는 평균 약 21번의 반복(상태당)만에 수렴했으며, NashQ와 FFQ보다 빠르고 안정적인 학습 곡선을 나타냈다. 관련 연구와의 비교에서는 다음과 같은 차별점을 제시한다. (1) 기존 Q‑learning 기반 방법(NashQ, FFQ)은 매 라운드마다 게임 이론적 균형(선형 프로그램·bimatrix 해)을 계산해야 하는 반면, ON‑SGSP는 이러한 연산 없이도 내시 균형에 수렴한다. (2) 정책 hill‑climbing 계열은 반복 게임(단일 상태)에서만 수렴 보장을 제공하지만, 본 논문의 방법은 일반합 스토캐스틱 게임(다중 상태, 할인 무한 horizon)에서도 적용 가능하다. (3) 동형(Homotopy) 및 다중 목표 선형 프로그램(MOLP) 기반 방법은 상태·에이전트 수가 증가하면 계산 복잡도가 급격히 상승하지만, ON‑SGSP는 에이전트 수 N에 대해 선형 복잡도를 유지한다. 결론적으로, 논문은 일반합 스토캐스틱 게임에서 정적 내시 균형을 찾기 위한 새로운 비선형 최적화 프레임워크와, 이를 실현하는 두 가지 배우‑비평가 알고리즘을 제시한다. 이론적 수렴 증명과 대규모 실험을 통해 제안된 방법이 기존 알고리즘보다 효율적이며, 실제 멀티에이전트 시스템에 적용 가능함을 입증한다. 향후 연구에서는 부분 관측, 비정적 정책, 그리고 연속 상태·행동 공간으로의 확장을 탐색할 여지가 있다.