이중선형 잔차 신경망으로 동역학 시스템 식별 및 예측

본 논문은 대규모 관측·시뮬레이션 데이터가 풍부해진 현대 과학·공학 분야에서, 전통적인 ODE 기반 물리 모델을 보완하거나 대체할 수 있는 데이터‑드리븐 접근법을 모색한다. 저자들은 먼저 Runge‑Kutta 적분 스킴을 그래프 모델로 재해석하여, 동일한 연산 블록 F를 네 번 반복하는 4‑layer 잔차 신경망 구조를 제안한다. 이때 각 레이어는 Runge‑Kutta의 가중치 α_i와 β_i를 그대로 사용하거나 학습하도록 설계될 수 있다. 핵심 설계는 ‘이중선형(bilinear) 레이어’이다. 전통적인 완전 연결 레이어와 비선형 활성화 함수만으로는 물리 시스템에서 흔히 나타나는 변수 간 곱셈 형태의 비선형성을 충분히 표현하기 어렵다. 따라서 저자는 입력을 두 개의 선형 변환(F C1, F C2)으로 매핑한 뒤, 이 두 변환의 원소별 곱을 수행하고, 다시 선형 변환(F C3)과 결합해 최종 출력을 만든다. 이렇게 하면 2차 다항식 형태의 비선형성을 네트워크 내부에 직접 내재시킬 수 있다. 필요에 따라 더 높은 차수의 다항식 레이어도 확장 가능하도록 설계되었다. 학습 단계에서는 주어진 시간 스텝 dt에 대해 한 스텝 예측 오차(RMSE)를 최소화하는 손실 함수를 사용한다. 블록 F의 파라미터는 모든 레이어에서 공유되도록 하드 제약을 두어, 실제 Runge‑Kutta와 동일한 구조적 제약을 유지한다. 초기에는 1‑block(Euler) 구조로 시작해, 점진적으로 블록 수를 늘리는 ‘증분 전략’을 적용해 고차 적분 스킴을 구현한다. 실험은 세 가지 대표적인 동역학 시스템을 대상으로 수행되었다. 1. **Lorenz‑63**: 3차원 혼돈 시스템으로, σ=10, ρ=28, β=8/3의 파라미터를 사용한다. 시간 스텝 dt=0.01. 2. **Oregonator**: 화학 진동 시스템으로, α=77.27, β=8.375·10⁻⁶, σ=0.161, dt=0.1. 3. **Lorenz‑96**: 40차원 대기‑해양 모형, A=9, dt=0.05. 각 시스템에 대해 50,000 스텝을 학습 데이터, 1,000 스텝을 테스트 데이터로 사용하였다. 평가 지표는 h, 4h, 8h(시간 스텝 배수)까지의 RMSE이며, 평균값을 보고한다. 비교 대상은 다음과 같다. - **SR (Sparse Regression)**: 이중선형 상태를 포함한 스파스 회귀 모델. - **AF (Analog Forecasting)**: 최근접 이웃 기반의 로컬 선형 예측. - **MLP**: 일반 다층 퍼셉트론, 단일 스텝 예측. - **MLP‑SL(4)**: 4‑block 구조이지만 bilinear 대신 전통적인 MLP 블록 사용. 결과는 표 1에 요약된다. Lorenz‑63에서는 Bi‑res‑NN‑SL(4)가 h 단계에서 RMSE 1.37e‑5, 4h에서 4.79e‑5, 8h에서 8.17e‑5를 기록해, 기존 방법들보다 1~2 orders of magnitude 낮은 오류를 보였다. Oregonator에서는 MLP와 AF가 10⁺ 수준의 큰 오류를 보인 반면, Bi‑res‑NN‑SL(4)는 0.035~0.071 수준으로 크게 개선되었다. Lorenz‑96에서도 40차원 고차원 시스템에서 Bi‑res‑NN‑SL(4)가 h 단계에서 0.012, 4h에서 0.035, 8h에서 0.064의 RMSE를 기록, 특히 장기 예측에서 MLP(0.147~0.752)보다 월등히 우수했다. 모델 식별 측면에서는 Lorenz‑63 파라미터(σ, ρ, β)를 직접 추정하는 실험을 수행하였다. SR은 MSE 0.0387, Bi‑NN(1)은 0.2570, Bi‑res‑NN‑SL(4)은 0.0239를 기록해, 고차 블록 구조가 파라미터 복원 정확도를 크게 향상시킴을 확인했다(표 2). 또한 저자는 5차원 관측 데이터가 선형 매핑 H를 통해 3차원 잠재 Lorenz‑63 상태에 연결된 경우, Bi‑NN(1)을 이용해 잠재 동역학을 성공적으로 복원하였다. 복원된 궤적은 실제 궤적과 회전 행렬 차이를 제외하고 거의 일치했으며, 이는 고차원 관측에서 저차원 물리 모델을 추출하는 데 큰 가능성을 시사한다. 결론적으로, 이 논문은 (1) 수치 적분 스킴을 딥러닝 구조와 연결하는 새로운 이론적 프레임워크, (2) 물리적 비선형성을 네트워크 설계 단계에서 명시적으로 반영하는 bilinear 레이어, (3) 장기 예측 및 파라미터 식별에서 기존 데이터‑드리븐 방법들을 크게 능가하는 실험적 증거를 제공한다는 점에서 중요한 기여를 한다. 향후 연구는 (a) 더 높은 차수의 다항식 레이어와 비정상적인 시간 스텝 적용, (b) 실제 관측 노이즈와 불완전한 데이터에 대한 강인성 강화, (c) 물리 제약(예: 보존 법칙)과 결합한 하이브리드 모델 개발 등에 초점을 맞출 수 있다.