시간 도메인 일반화를 위한 Koopman 연산자 기반 모델 파라미터 궤적 식별

본 논문은 시간에 따라 변화하는 데이터 분포, 즉 시간적 도메인 드리프트(Temporal Domain Drift) 상황에서 모델 파라미터가 어떻게 진화하는지를 정량적으로 분석하고 예측하는 새로운 방법론인 KOMET(Koopman Operator identification of Model parameter Evolution under Temporal drift)을 제안한다. 기존의 도메인 일반화(Domain Generalization) 연구는 도메인 간 순서를 무시하고 정적 혹은 무작위적인 변화를 가정한다. 반면, 시간적 도메인 일반화(Temporal Domain Generalization, TDG)는 도메인 순서 자체가 중요한 정보를 제공한다는 점에 주목한다. 현재까지 TDG 분야에서는 DRAIN, Koodos, SLA‑TE 등 여러 접근법이 제시되었지만, 이들은 주로 파라미터를 직접 예측하거나 저차원 연속 모델을 학습하는 방식이며, 파라미터 변화의 근본적인 동역학 법칙을 밝히지는 못한다. KOMET은 이러한 한계를 극복하기 위해 파라미터 시퀀스를 비선형 동적 시스템의 상태 궤적으로 보고, Koopman 연산자 이론을 적용한다. Koopman 연산자는 비선형 시스템의 관측 함수를 선형 연산자로 전환시켜 전역적인 선형화를 가능하게 한다. 실제 구현에서는 확장 동적 모드 분해(Extended Dynamic Mode Decomposition, EDMD)를 이용해 유한 차원의 근사 연산자 A를 데이터 기반으로 추정한다. KOMET 파이프라인은 두 단계로 구성된다. 1️⃣ Phase 1 – Warm‑Start Sequential Training 각 타임스텝 t마다 현재 데이터 D_t를 사용해 모델 f_θ를 Adam 옵티마이저로 학습한다. 중요한 점은 이전 타임스텝에서 사용된 파라미터 θ_{t‑1}와 Adam의 1차·2차 모멘트(m_{t‑1}, v_{t‑1})를 그대로 초기값으로 전달한다(워밍‑스타트). 이는 학습 속도를 약 9배 가속시키고, 파라미터 궤적을 부드럽게 만든다. 또한 손실에 λ_s‖θ_t−θ̂_{t‑1}‖² 형태의 스무딩 항과 λ_{wd}‖θ_t‖² 형태의 L2 정규화를 추가해 급격한 변동과 무한 성장(특히 softmax 출력의 스케일 불변성)을 억제한다. 결과적으로 얻어지는 파라미터 행렬 W=