제약 만족 문제로 보는 RNN 훈련 혁신

1. 서론 인공 신경망, 특히 순환 신경망(RNN)은 시계열 데이터와 순차적 의존성을 모델링하는 데 강력한 도구로 자리 잡았다. 그러나 RNN의 학습은 비선형 손실 함수의 복잡한 지형 때문에 지역 최소에 빠지기 쉽고, 초기 가중치 선택에 크게 좌우된다. 기존의 해결책으로는 전역 탐색 능력을 갖춘 유전 알고리즘(GA), 입자 군집 최적화(PSO) 등이 제안되었지만, 계산 비용이 높고 수렴 보장이 약하다. 본 논문은 이러한 문제점을 극복하기 위해 신경망 훈련을 제약 만족 문제(CSP)로 변환하고, 이를 해결하기 위한 궤적 기반 방법인 Quotient Gradient System(QGS)을 적용한다. 2. 제약 만족 문제로의 변환 훈련 데이터 집합 D={(xᵢ, yᵢ)}₁ᴺ을 고려한다. RNN의 파라미터 θ(가중치와 편향)와 네트워크 동역학을 통해 각 입력 xᵢ에 대한 출력 ŷᵢ(θ) 를 얻는다. 전통적인 손실 함수 L(θ)=∑ᵢ‖ŷᵢ(θ)−yᵢ‖² 대신, 논문은 다음과 같은 제약식들을 정의한다.  Fᵢ(θ)= ŷᵢ(θ)−yᵢ = 0, i=1,…,N 이때, 모든 Fᵢ가 동시에 0이 되는 θ 를 찾는 것이 바로 CSP이다. 제약식은 비선형이지만 연속적이며, 해가 존재한다면 이는 손실이 0인 최적 해와 동치가 된다. 3. Quotient Gradient System(QGS) 소개 QGS는 제약식 벡터 F(θ)와 라그랑주 승수 λ를 포함한 확장 상태 z=