LLM 기반 행동 가이드로 효율적인 소프트 액터 크리틱

본 논문은 대형 언어 모델(LLM)을 활용한 새로운 강화학습 탐색 기법인 GuidedSAC를 제안한다. 기존 Soft Actor‑Critic(SAC)은 최대 엔트로피 목표와 오프‑폴리시 학습을 통해 연속 제어에서 높은 샘플 효율성을 보였지만, 복잡한 로봇 작업처럼 상태·행동 공간이 방대할 경우 초기 탐색 비용이 크게 늘어나는 한계가 있다. 이러한 문제를 해결하고자 저자들은 LLM을 실시간 슈퍼바이저로 두어, 현재 정책이 수집한 트래젝터리를 분석하고 필요 시 행동 수준에서 직접 보정하도록 설계하였다. GuidedSAC의 구조는 크게 두 부분으로 나뉜다. 첫 번째는 Advisor LLM로, 최근 M 스텝 길이의 상태·시각 재생 버퍼를 입력받아 정책의 현재 성능을 평가하고, 개입 여부를 0/1 형태의 신호 g(s) 로 출력한다. 두 번째는 Coder LLM으로, Advisor가 제시한 개입 필요성을 바탕으로 규칙 기반 코드 템플릿을 활용해 잔여 행동 Δa를 생성한다. 이때 원래 SAC 정책 πϕ가 샘플링한 행동 a와 Δa를 합산해 최종 행동 a + Δa를 환경에 적용한다(π_interv). 개입이 필요 없다고 판단되면 Δa = 0으로 두어 기존 SAC와 동일하게 동작한다. 이론적 분석에서는 먼저 Guided Bellman backup 연산 T_eπ 와 매핑 Q 에 대해 Q 값이 수렴함을 보이는 Lemma 1을 제시한다. 이어서 정책 개선 단계에서 KL‑다이버전스 최소화를 통해 새로운 정책 π_new 이 기존 정책보다 가치를 높인다는 Lemma 2를 증명한다. 이 두 보조정리를 바탕으로, V_eπ ≥ V_π 조건 하에 GuidedSAC가 원래 SAC와 동일한 수렴성을 유지한다는 Theorem 1을 도출한다. 특히, 가이드 정책 π_interv 이 최적일 필요는 없으며, 현재 정책보다 국소적으로라도 우수하면 단일 스텝에서 기대 가치 향상이 보장된다는 Proposition 1을 통해, 불완전하지만 유용한 LLM 가이드가 충분히 효과적임을 이론적으로 뒷받침한다. 구현 세부사항으로는 기존 SAC의 손실 함수(J_V, J_Q, J_π)를 그대로 사용하되, 재생 버퍼 eD 에 혼합 정책 eπ 으로부터 수집된 데이터를 포함한다. 가치 네트워크와 Q‑네트워크는 TD‑오차 기반으로 업데이트되며, 정책 네트워크는 샘플링된 행동과 잔여 행동을 모두 고려한 기대 Q‑값을 최소화한다. LLM‑기반 Supervisor는 프롬프트 설계에 다섯 가지 요소(작업 정의, 배경 정보, 사고 흐름, 도메인 힌트, 코드 템플릿)를 활용해 일관된 출력과 높은 신뢰성을 확보한다. 실험은 세 단계로 진행되었다. 첫 번째는 텍스트 기반 이산 환경에서 LLM 정책을 직접 대체(eπ = πLLM)하여 가이드 효과를 격리 검증했으며, 이때 RND보다 빠른 수렴을 보였다. 두 번째는 연속 제어 벤치마크인 MountainCar와 Humanoid에 대해 잔여 행동 방식으로 적용했으며, 동일한 탐색 보너스를 제공하는 RND, ICM, E3B와 비교해 샘플 효율성 및 최종 성능 모두 유의미하게 우수했다. 마지막으로 개입 시점·기간을 조절한 Ablation 연구를 수행해, 과도한 개입은 학습을 방해하지만, 적절한 시점에 제한된 개입을 수행하면 가장 큰 성능 향상을 얻는다는 결론을 얻었다. 결론적으로 GuidedSAC는 LLM이 제공하는 도메인 지식과 규칙 기반 보정을 SAC의 안정적인 학습 메커니즘에 자연스럽게 결합함으로써, 복잡한 연속 제어 문제에서 기존 내재 보상 기반 탐색 방법이 갖는 “새로운 상태 ≠ 가치 있는 상태” 문제를 효과적으로 해결한다. 이 접근법은 LLM이 완전한 최적 정책을 제공하지 않더라도, 현재 정책보다 국소적으로 우수한 행동을 제시함으로써 샘플 효율성을 크게 향상시키고, 이론적 수렴 보장을 유지한다는 점에서 향후 로봇 학습 및 고차원 RL 분야에 중요한 방향성을 제시한다.