구조화된 전역 탐색을 위한 특징화 점유 측정

본 논문은 최적 제어 분야에서 전통적으로 두 갈래로 나뉘어 있던 전역적인 HJB 기반 방법과 지역적인 궤적 최적화 방법 사이의 격차를 메우기 위해 ‘특징화 점유 측정(Featurized Occupation Measure, FOM)’이라는 새로운 프레임워크를 제안한다. 1. **배경 및 문제 정의** - HJB 방정식은 전역적인 가치 함수를 제공해 최적 피드백을 얻을 수 있지만, 상태‑공간을 직접 이산화하면 차원 저주가 발생한다. - 반면, Pontryagin 최대 원리, DDP, iLQR 등은 지역 최적화에 강점이 있지만 전역적인 하한 인증을 제공하지 못한다. - 점유 측정(OM) 이론은 비선형 제어 문제를 무한 차원의 선형 프로그램으로 변환하고, 그 쌍대는 HJB 부등식 형태의 인증을 제공한다. 이 구조는 원시(점유 측정)와 쌍대(인증) 사이의 일관성을 보장한다. 2. **FOM 프레임워크 정의** - **원시 파라미터 θ**: 제어 입력(오픈‑루프 혹은 피드백) 혹은 기타 제어 메커니즘을 파라미터화한다. θ에 의해 전역 원시 쌍 (μ_θ, μ_T,θ)가 생성된다. - **인증 파라미터 ψ**: C¹ 함수 공간의 유한 차원 부분집합 V_Ψ={v_ψ}를 정의한다. 각 v_ψ는 HJB 부등식의 근사 해로 사용된다. - **리우빌리티 잔차 R_θ(v)**: ⟨v, μ_T,θ−μ₀⟩−⟨L_f v, μ_θ⟩ 로 정의되며, 정확한 점유 측정이면 모든 v에 대해 0이 된다. 실제 구현에서는 이 잔차를 측정해 인증과 원시 사이의 불일치를 정량화한다. 3. **두 가지 구현 형태** - **명시적 FOM**: 시험 함수 집합을 미리 정해 두고, Liouville 방정식의 약한 형태를 직접 만족시키도록 최적화한다. 이는 기존의 모멘트‑SOS 계층과 동일한 수학적 구조를 가진다. - **암시적 FOM**: 기존 ODE 시뮬레이터나 롤아웃을 이용해 구간별 점유 측정을 근사한다. 각 구간은 Dirac‑type 측정으로 표현되며, 전체 원시 쌍은 여러 구간의 합으로 구성된다. 4. **이론적 결과** - **정리 1·2 (점근적 일치)**: 명시적·암시적 FOM 모두 파라미터 해상도가 무한히 커질 때 원래의 무한 차원 OM LP와 비용값이 수렴함을 증명한다. - **근사 인증 하한 (명제 1)**: (ε, ε_T)‑feasible 인증 v에 대해 하한 P(v)=⟨v(t₀,·),μ₀⟩−ε·(T−t₀)·μ₀(X)−ε_T·μ₀(X) ≤ 최적값이 성립한다. 이는 인증의 위반 정도가 직접 하한에 영향을 미친다는 정량적 해석을 제공한다. - **블록 구조 인증 (정리 3, Corollary 1)**: 인증을 블록 단위로 나누어 각각 근사하면, 전체 하한은 각 블록 오차의 합으로 보정된다. 이는 대규모 시스템에서 인증을 부분적으로 업데이트하면서도 전역적인 보장을 유지할 수 있게 한다. - **지속성 (정리 4, Corollary 2·3)**: 시간 이동(시점 변경)이나 유한한 모델 교란에 대해 하한이 유지된다. 즉, 한 번 구축된 인증은 여러 시점·시나리오에 재사용 가능하며, 이는 샘플 기반 MPC, MPPI, 강화학습 등과 자연스럽게 결합된다. 5. **알고리즘적 활용** - 매 반복에서 현재 θ를 통해 원시 쌍을 생성하고, 선택된 인증 v_ψ와 잔차 R_θ(v_ψ)를 계산한다. - 인증이 강하면 (ε, ε_T) 가 작아져 하한이 크게 상승하고, 이는 탐색 방향을 가이드한다(프루닝, 가중치 재조정 등). - 인증이 약하면 블록‑증분 방식으로 인증을 강화하거나 추가 샘플을 통해 잔차를 감소시킨다. - 이러한 루프는 기존 로컬 최적화와 전역 인증을 동시에 활용하는 ‘certificate‑guided optimization’이라는 새로운 패러다임을 구현한다. 6. **실험 및 적용 가능성** - 논문 본문에서는 구체적인 실험 결과가 제시되지 않았지만, 제시된 이론은 로봇 궤적 계획, 자율 주행, 동적 게임 등 고차원 비선형 제어 문제에 직접 적용 가능하다. 특히, 블록‑구조 인증과 지속성 특성은 실시간 MPC와 온라인 학습 환경에서 인증을 재사용함으로써 계산량을 크게 절감할 수 있다. 7. **결론** - FOM은 점유 측정의 원시‑쌍대 구조를 유한 차원으로 보존하면서, 전역적인 HJB 인증과 지역적인 궤적 탐색을 통합한다. - 인증의 구조적 보존·재사용·하한 보증이라는 세 가지 핵심 특성을 수학적으로 증명함으로써, 비선형·고차원 제어 문제에 대한 전역적인 신뢰성을 갖는 효율적 탐색 프레임워크를 제공한다.