깊은 순환 신경망 설계 방법

본 논문은 “깊은 순환 신경망(Deep RNN)”이라는 개념을 재정의하고, 기존의 단층 RNN이 가지고 있는 구조적 얕음 문제를 세 가지 핵심 변환(입력‑숨김, 숨김‑숨김, 숨김‑출력)에서 찾아낸다. 저자들은 먼저 RNN을 수식적으로 정의하고, 전통적인 RNN이 시간에 따라 펼쳐질 때는 여러 비선형 레이어를 거치지만, 각 시간 단계 내부에서는 입력‑숨김, 숨김‑숨김, 숨김‑출력 변환이 모두 단일 선형 변환 뒤에 비선형 활성화만 존재하는 얕은 구조임을 강조한다. 이러한 관찰을 바탕으로 논문은 세 가지 “깊이”를 도입한다. 1. **Deep Input‑to‑Hidden (DI‑RNN)**: 입력을 다층 퍼셉트론(MLP)으로 변환한 뒤 숨김 상태에 전달한다. 이는 입력 차원을 고차원 특징 공간으로 매핑함으로써, 이후 시간적 관계를 학습하기 위한 더 풍부한 표현을 제공한다. 기존 연구에서 입력 전처리(feature extraction)와 유사하지만, 여기서는 전체 네트워크와 공동으로 학습한다는 점이 차별점이다. 2. **Deep Hidden‑to‑Output (DO‑RNN)**: 숨김 상태를 여러 비선형 레이어를 거쳐 출력에 매핑한다. 이 구조는 숨김 표현을 압축하고, 복잡한 출력 분포(특히 고차원 이진 벡터)를 더 효과적으로 모델링한다. 논문에서는 이를 “Deep Output RNN”이라고 명명하고, 기존의 출력 레이어를 대체한다. 3. **Deep Transition (DT‑RNN)**: 가장 혁신적인 제안으로, 숨김‑숨김 전이 함수를 다층 MLP로 대체한다. 전통적인 h_t = φ(W h_{t‑1}+U x_t) 형태를 L개의 은닉층을 가진 네트워크로 일반화한다. 이렇게 하면 새로운 입력과 이전 요약을 결합하는 과정이 고차원 비선형 매핑이 되며, 급변하는 입력 모드에 빠르게 적응하면서도 과거 정보를 유지할 수 있다. 다만, 깊은 전이는 역전파 시 그래디언트 경로가 길어져 장기 의존성 학습이 어려워질 수 있다. 이를 해결하기 위해 **shortcut 연결**을 도입한 DT(S)‑RNN을 제안한다. shortcut은 중간 레이어를 건너뛰는 직접 경로를 제공해 그래디언트 흐름을 개선한다. 또한, 기존에 널리 사용된 **stacked RNN**(다중 층을 쌓아 각 층이 다른 시간 스케일을 학습하도록 하는 방식)과의 차이점을 명확히 한다. stacked RNN은 각 층의 전이가 여전히 얕기 때문에 복잡한 전이 함수를 표현하는 데 한계가 있다. 반면, DT‑RNN은 전이 자체를 깊게 만들어 표현력을 크게 확장한다. 두 접근법은 **orthogonal**하므로, 다층 DT‑RNN을 쌓아 stacked‑DT‑RNN 형태로 결합할 수 있지만, 논문에서는 이 조합을 다루지 않는다. 연산자 기반 프레임워크에서는 “플러스 연산자 ⊕”와 “예측 연산자 B”를 미리 정의된 MLP로 구현한다. ⊕는 입력과 이전 숨김을 결합해 새로운 숨김을 만들고, B는 숨김을 출력으로 변환한다. 이 시각은 DT‑RNN, DO‑RNN, stacked RNN을 모두 동일한 연산자 집합으로 표현할 수 있음을 보여주며, 새로운 RNN 구조 설계 시 모듈식 접근을 가능하게 한다. 실험에서는 두 가지 대표적인 시퀀스 모델링 과제, **폴리포닉 음악 예측**과 **언어 모델링**을 사용한다. 데이터셋은 Boulanger‑Lewandowski et al. (2012)의 폴리포닉 음악 데이터와 대규모 텍스트 코퍼스이다. 실험 설정은 동일한 학습률, 배치 크기, 정규화 기법을 적용해 각 모델을 공정하게 비교한다. 결과는 다음과 같다. - **DT‑RNN**은 전통적인 단층 RNN 대비 로그우도와 퍼플렉시티에서 평균 5~10% 개선을 보였다. - **DO‑RNN**은 출력 차원이 높은 폴리포닉 음악 데이터에서 특히 큰 이점을 보여, 출력 레이어를 깊게 만든 것이 복잡한 음계 관계를 더 잘 포착함을 확인했다. - **DT(S)‑RNN**은 shortcut 연결을 통해 장기 의존성 학습이 더 안정적이며, 학습 초기에 급격한 손실 감소를 보였다. - **stacked RNN**은 시간 스케일을 다루는 데는 유리하지만, 전이와 출력의 깊이를 추가한 모델에 비해 전반적인 성능이 낮았다. 종합적으로, 논문은 “깊이”가 단순히 층 수가 아니라, **어디에** 깊이를 삽입하느냐가 시퀀스 모델링 성능에 결정적인 영향을 미친다는 핵심 주장을 실험적으로 입증한다. 또한, 연산자 기반 프레임워크를 통해 다양한 깊이 조합을 모듈식으로 설계할 수 있음을 제시한다. 마지막으로, 저자들은 향후 연구 방향으로 (1) 깊은 전이와 깊은 출력을 동시에 스택화한 구조, (2) 다른 종류의 연산자(예: 컨볼루션, 어텐션)와의 결합, (3) 장기 의존성 학습을 위한 새로운 최적화 기법 개발 등을 제시한다. 이 논문은 RNN 설계에 대한 새로운 시각을 제공하며, 특히 복잡한 시계열 데이터에 대한 모델링 효율성을 크게 향상시킬 수 있는 실용적인 가이드를 제시한다.