적응형 구조 학습을 적용한 LSTM 기반 딥빌리프 네트워크의 비디오 예측 혁신

본 논문은 딥러닝 모델의 구조를 학습 과정에서 자동으로 최적화하는 ‘적응형 구조 학습(Adaptive Structural Learning)’ 방법을 Deep Belief Network(DBN)에 적용하고, 이를 Long Short‑Term Memory(LSTM) 개념과 결합하여 시계열 영상 예측에 활용한다. 연구 배경으로는 기존 딥러닝 모델이 고정된 네트워크 구조(은닉 뉴런 수·층 수) 때문에 데이터 복잡도에 따라 과소·과잉 학습이 발생한다는 점을 들며, 이를 해결하기 위해 RBM 단계에서 뉴런 생성·소멸 알고리즘과 DBN 단계에서 층 생성 알고리즘을 도입한다. ① **뉴런 생성·소멸 알고리즘**: RBM의 은닉 뉴런을 ‘Walking Distance(WD)’라는 파라미터 변동량을 기준으로 모니터링한다. WD가 일정 임계값을 초과하면 현재 은닉 뉴런이 데이터의 복잡성을 충분히 표현하지 못한다는 신호로 해석하고, 기존 뉴런의 가중치를 복제·조정한 새로운 뉴런을 삽입한다. 반대로, 활성도가 낮고 기여도가 적은 뉴런은 소멸시켜 모델을 경량화한다. 이 과정은 학습 중에 반복되며, 최적의 은닉 뉴런 수를 자동으로 탐색한다. ② **층 생성 알고리즘**: DBN은 여러 RBM을 순차적으로 쌓아 만든다. 각 RBM의 학습이 진행되는 동안 전체 WD와 에너지 함수 값을 관찰한다. 두 값이 모두 충분히 감소하지 않을 경우, 현재 DBN의 표현력이 부족하다고 판단하고 새로운 RBM 층을 추가한다. 이렇게 층을 동적으로 늘리면 모델은 데이터의 복잡도에 따라 깊이를 자동으로 조절한다. ③ **LSTM과의 융합**: 전통적인 RNN‑RBM 구조에 시간 의존 파라미터(b(t), c(t), u(t))를 도입해 시계열 컨텍스트를 유지한다. 여기서 u(t)는 이전 시점의 은닉 상태와 현재 입력을 결합한 컨텍스트 벡터이며, 이를 통해 장기 의존성을 학습한다. 이후 위에서 설명한 뉴런·층 자동 조정 메커니즘을 그대로 적용해 ‘Adaptive RNN‑RBM’을 만든 뒤, 층 생성까지 포함한 ‘Adaptive RNN‑DBN’으로 확장한다. 결과적으로 모델은 LSTM의 장기·단기 메모리 기능과 DBN의 깊이·폭 자동 탐색 능력을 동시에 갖춘다. ④ **실험 설계**: 평가 데이터는 Moving MNIST(10 k 샘플, 각 샘플은 20프레임, 64×64 그레이스케일)이다. 입력으로 첫 10프레임을 제공하고, 이후 10프레임을 순차적으로 예측한다. 평가 지표는 (1) 교차 엔트로피, (2) 평균 제곱 오차(MSE), (3) 프레임별 예측 정확도(픽셀 일치 비율)이다. 비교 대상은 기존 논문