확률적 경사 하강법을 이용한 LQR 정책 기울기 설계

본 논문은 선형 이차 레귤레이터(LQR) 문제에 대한 데이터‑드리븐 정책 기울기 방법을 확률적 경사 하강법(SGD) 프레임워크 안에서 체계적으로 설계한다. 기존 연구는 대부분 정확한 시스템 모델을 가정하거나, 인위적인 잡음 모델을 도입해 그라디언트의 불확실성을 분석했지만, 실제 데이터에서 발생하는 편향과 분산을 동시에 고려한 분석은 부족했다. 저자는 이를 보완하기 위해 두 가지 그라디언트 추정 방식을 제안한다. 1. **간접(Indirect) 방식** - 시스템 행렬 A, B 를 recursive least squares(RLS) 로 온라인 식별한다. 초기 추정값 ˆθ₀와 공분산 행렬 H₀ 를 설정하고, 매 단계마다 입력 uₜ = Kⱼ xₜ + eₜ (eₜ는 탐색 잡음) 로 데이터를 수집한다. - RLS 업데이트는 (16a)-(16b) 식에 따라 수행되며, 수집된 데이터가 누적될수록 추정 오차 Δθₙ =