상관 사전으로 강화학습 효율화

본 논문은 “Correlation Priors for Reinforcement Learning”이라는 제목 아래, 이산형 마코프 의사결정 과정(MDP)에서 상태와 행동 사이에 존재하는 공간·시간적 상관관계를 베이지안 사전으로 명시적으로 모델링하는 새로운 프레임워크를 제시한다. 전통적인 MDP 학습에서는 각 상태‑행동 쌍에 대해 독립적인 디리클레 사전이 적용되어, 상태 간 전이 다이나믹스나 정책이 서로 독립적이라고 가정한다. 그러나 실제 물리·사회 시스템에서는 유사한 상태가 비슷한 전이 확률을 갖거나, 목표가 연속적인 서브골로 구성되는 등 강한 상관구조가 존재한다. 이러한 구조를 무시하면 데이터 효율성이 크게 떨어지고, 특히 데이터가 제한된 상황에서 학습 성능이 급격히 저하된다. 저자들은 이러한 문제를 해결하기 위해, 다항분포의 파라미터 벡터 p_c (예: 상태 c에서의 행동 확률)를 직접 모델링하는 대신, 실수 공간에 정의된 잠재 변수 ψ_c·k (k=1,…,K‑1)를 도입한다. ψ는 다변량 정규분포 N(μ_k, Σ) 를 사전으로 갖으며, 스틱‑브레이킹 변환 Π_SB(·) 를 통해 ψ를 단순히 확률 단순체에 매핑한다. 이때 Σ는 상태·행동 혹은 목표 간의 상관관계를 인코딩하는 공분산 행렬이며, 커널 함수를 이용해 거리 기반 상관구조를 정의할 수 있다. 스틱‑브레이킹 변환은 로지스틱 함수와 곱셈 형태를 포함해 비선형성을 도입하므로, 정규 사전과 다항우도 사이에 비공액성이 발생한다. 이를 해결하기 위해 폴리아‑감마(Pólya‑Gamma) 보강을 적용한다. PG 변수 ω는 로지스틱 함수와 정규분포 사이의 곱셈 형태를 가우시안 형태로 변환해 주어, ψ와 ω 사이의 결합이 완전 조건부 가우시안이 되게 만든다. 결과적으로, 변분 추론 과정에서 ψ와 ω를 각각 가우시안·PG 분포로 근사할 수 있게 되며, 좌표 상승법을 통해 λ_k, V_k, w_ck 등 파라미터를 닫힌 형태로 업데이트한다. 변분 목표는 ELBO(증거 하한)를 최대화하는 것이며, ELBO는 ψ의 평균 μ와 공분산 Σ, 그리고 PG 변수의 기대값을 포함한다. 저자들은 변분 EM(Expectation‑Maximization) 절차를 도입해, 각 EM 단계마다 ELBO를 계산하고 Σ의 하이퍼파라미터(스케일 θ, 길이 스케일 l 등)를 최적화한다. 특히 Σ를 스케일 파라미터 θ와 고정된 커널 ˜Σ의 곱으로 가정하면, θ에 대한 폐쇄형 해를 얻어 매 반복마다 행렬 역연산을 피할 수 있다. 실험에서는 네 가지 주요 응용 분야를 다룬다. 첫째, 모방학습(imitatio​n learning)에서는 전문가의 행동 카운트를 관측하고, 제안된 상관 사전을 이용해 정책을 복원한다. 기존 독립 디리클레 사전 대비 로그우도와 정책 정확도가 크게 향상되며, 데이터 양이 10배 감소해도 성능 저하가 미미하다. 둘째, 서브골 모델링에서는 복잡한 작업을 연속적인 목표 시퀀스로 분해하고, 각 목표 간 상관관계를 사전으로 학습한다. 이를 통해 목표 전이 구조를 정확히 추정하고, 목표 기반 계획의 효율성을 높인다. 셋째, 시스템 식별(system identification)에서는 전이 행렬을 추정할 때 상태 간 물리적 유사성을 반영한 공분산 커널을 사용해 추정 오차를 크게 감소시킨다. 넷째, 베이지안 강화학습에서는 사전 전이 모델을 베이지안 RL 알고리즘(BEETLE, BAMCP 등)에 통합해, 샘플 효율성을 높이고 탐색‑활용 균형을 개선한다. 모든 실험에서 제안 방법은 데이터가 적은 상황에서도 기존 방법보다 높은 예측 정확도와 로그우도 향상을 보이며, 특히 상관구조가 뚜렷한 도메인에서 그 효과가 두드러진다. 논문의 주요 기여는 다음과 같다. (1) 이산 MDP에서 상태·행동·목표 간 상관관계를 정규 사전으로 모델링하고, 스틱‑브레이킹과 PG 보강을 결합한 변분 추론 알고리즘을 제시했다. (2) 변분 EM을 통해 사전 하이퍼파라미터를 자동 최적화함으로써, 사용자가 사전 설계에 소요되는 비용을 크게 감소시켰다. (3) 다양한 의사결정 문제에 적용 가능함을 실험적으로 입증했으며, 특히 데이터 효율성 측면에서 기존 독립 사전 대비 현저한 우위를 보였다. (4) 코드와 데이터셋을 공개해 재현성을 확보했다. 한계점으로는 공분산 행렬 Σ의 크기가 상태·행동 수에 비례해 급격히 커지므로, 대규모 문제에서는 행렬 연산 비용이 병목이 될 수 있다. 또한, Σ의 구조 선택이 모델 성능에 큰 영향을 미치며, 적절한 커널 설계가 필요하다. 향후 연구에서는 저차원 임베딩을 통한 스케일링, 비정형 그래프 기반 커널, 다에이전트 협업 상황에서의 상관 사전 확장 등을 탐색할 예정이다.