시간 지연 신경망에서 역전파는 확산 과정으로 해석된다

본 논문은 역전파(Backpropagation)의 생물학적 타당성을 재검토하고, 이를 시간 지연을 포함한 신경망 모델에서 발생하는 확산 과정으로 해석한다. 서론에서는 기존 역전파가 “시간을 없앤” 정적 모델에 기반한다는 점과, 신경계에서 입력이 급격히 변하고 오류 신호가 즉시 전파된다는 가정이 생물학적으로 부적절함을 지적한다. 특히 “가중치 전달 문제”(weight transport problem)와 “오류 전파 속도”에 대한 비판을 언급하며, 최근의 무작위 피드백 가중치 제안이나 에너지 기반 평형 전파(Equilibrium Propagation)와 같은 대안이 시간 역학을 충분히 반영하지 못한다는 점을 강조한다. 핵심 이론은 “Backprop Diffusion”이라는 개념이다. 저자들은 L층 피드포워드 네트워크를 이산 시간 t에 따라 동작하도록 모델링한다. 각 층 l 의 출력은 xₜ₊₁,ₗ₊₁ = σ(Wₗ xₜ,ₗ) 이라는 지연 방정식으로 정의되며, 이는 입력이 한 층당 한 시간 단위씩 전파되는 “전파 파동”을 만든다. 오류 δₜ,ᴸ는 출력층에서 시작해 역방향으로 전파되며, δₜ₊₁,ᴸ₋₁ = σ′ₗ₋₁ Wᵀₗ₋₁ δₜ,ᴸ 와 같은 형태로 전파된다. 전·후방 파동이 만나게 되는 층 l 에서의 가중치 변화는 gₜ,ₗ = δₜ,ₗ · xₜ,ₗ₋₁ = (전파 연산)·(후방 연산)으로 표현된다. 이는 전·후방 파동의 곱으로 나타나는 로컬 확산 방정식이며, 물리학에서의 확산 현상과 구조적으로 동일하다. 동기화 분석에서는 네트워크 깊이 L이 홀수일 때 중앙 층 l* = (L+1)/2 에서 전·후방 파동이 정확히 맞물려 기울기를 완전하게 복원한다는 것을 보인다. 입력 uₜ 가 너무 빠르게 변하면 파동 동기화가 깨져 근사 오차가 발생하지만, 입력 변화가 네트워크 깊이에 비해 충분히 느릴 경우(Δt ≥ τₛ/(L‑1)) 동기화가 유지되어 기울기 근사가 정확한다. 실험적 그림 1·2·3은 정적 입력, 느린 변화, 빠른 변화 상황에서 파동 전파와 동기화 정도를 시각화한다. 다음으로 저자들은 이 파동‑확산 메커니즘을 일반 그래프 구조로 확장한다. 뉴런 i와 j 사이의 가중치 wᵢⱼ와 출력 xᵢ를 변수로 두고, 각 뉴런에 대해 제약식 Gⱼ(x,W)=0을 정의한다. 입력 뉴런은 외부 신호 eⱼ(t)와 일치하도록, 내부 뉴런은 σ(wⱼₖ xₖ)와 일치하도록 제약한다. 이러한 제약식은 시간‑의존적이며, 전체 학습은 “최소 인지 행동 원리”(Principle of Least Cognitive Action)라는 변분 원칙에 따라 라그랑주 승자를 도입해 오일러‑라그랑주 방정식으로 기술된다. 수식 (5)–(10)에서는 라그랑주 함수 A(x,W)=∫½(mₓ|ẋ|²+m_W|Ẇ|²) γ(t) dt + F(x,W)와 제약식 Gⱼ=0을 결합한다. 여기서 γ(t)는 양의 가중치 함수이며, F는 손실 함수와 정규화 항을 포함한다. 라그랑주 승자 λⱼ(t)와 제약식의 야코비안이 전부 풀랭크임을 증명함으로써, 피드포워드 네트워크에서는 제약식을 순차적으로 풀어 x를 W의 함수로 표현할 수 있음을 보인다. 결과적으로 연속 시간 동역학은 Ẍ + θ Ẋ = ‑∇_W V 형태의 2차 미분 방정식으로 귀결되고, θ→∞와 mₓ→0 한계에서 전통적인 경사 하강법 Ẇ = ‑γ⁻¹∇_W V 로 수렴한다. 이는 역전파가 시간 연속적인 확산 과정의 이산화임을 수학적으로 입증한다. 마지막으로 저자들은 이론적 결과를 신경과학적 관점에서 해석한다. 실제 뇌에서는 전위가 축삭을 따라 전파되고, 시냅스 후에는 화학적 확산이 일어나며, 오류 신호가 역방향으로 전파되는 메커니즘이 존재한다는 점과 일치한다. 따라서 역전파가 요구하는 “즉시적인 전역 오류 전달”은 파동‑확산 메커니즘으로 자연스럽게 구현될 수 있다. 논문은 이와 같은 관점이 기존의 무작위 피드백, 균형 전파, 그리고 역전파 자체의 생물학적 타당성 논쟁을 새로운 물리‑수학적 프레임워크 안에서 통합한다는 점에서 의의가 크다고 결론짓는다.