시간 컨볼루션과 양방향 LSTM을 결합한 딥 음성 모델

본 논문은 자동 음성 인식(ASR) 분야에서 기존의 딥 뉴럴 네트워크(DNN)와 컨볼루션 신경망(CNN)이 시간적 종속성을 충분히 모델링하지 못한다는 문제점을 지적하고, 이를 해결하기 위해 TC‑DNN‑BLSTM‑DNN이라는 새로운 아키텍처를 제안한다. 전체 구조는 네 단계로 이루어진다. 첫 번째 단계는 시간 컨볼루션(Time Convolution, TC)과 2층 ReLU DNN을 이용해 원본 fMLLR 40차원 특징을 고차원(예: 2048)으로 변환한다. 이 과정은 입력 신호의 짧은 시간 윈도우 내 로컬 패턴을 강조하고, LSTM이 보다 풍부한 표현을 학습하도록 돕는다. 두 번째 단계는 양방향 LSTM(BLSTM)으로, 전방과 후방 두 방향에서 각각 128~1024개의 셀을 사용해 시퀀스를 순회한다. BLSTM은 각 프레임에 대해 전·후방 정보를 결합한 컨텍스트 벡터 c를 생성한다. 셀 활성값을 3으로 클리핑하고, 편향과 피플홀 연결을 생략함으로써 구현을 단순화하고 학습 안정성을 확보한다. 세 번째 단계는 또 다른 2층 ReLU DNN으로, BLSTM이 만든 컨텍스트를 비선형적으로 변환한다. 이 후처리 DNN은 BLSTM 출력이 직접 소프트맥스에 연결될 때보다 더 높은 분류 정확도를 제공한다는 실험 결과가 있다. 마지막 단계는 소프트맥스 레이어로, 3431개의 HMM 상태에 대한 posterior 확률을 출력한다. 학습은 단일 GPU에서 미니배치 128, 초기 학습률 0.1을 매 epoch마다 0.5배 감소시키는 기하학적 스케줄을 적용한 SGD로 진행한다. 모멘텀은 성능 저하를 일으켜 사용하지 않았으며, DNN 가중치는 정규분포(N(0,0.001)), LSTM 가중치는 균등분포 U(−0.01,0.01)로 초기화했다. 이러한 설정은 높은 학습률에서도 기울기 폭발 없이 안정적으로 수렴하도록 만든다. 실험은 WSJ 데이터셋(si284 훈련, dev93 검증, eval92 테스트)을 사용했으며, 기존 Kaldi s5 레시피 기반 DNN(시그모이드 + DBN 사전학습)과 ReLU DNN(프리트레이닝 없이 4층 2048 유닛) 두 베이스라인을 비교하였다. 베이스라인 DNN은 각각 3.81%와 3.79%의 WER를 기록했다. 이후 BLSTM 단일층(셀 크기 1024) 모델은 4.06%의 WER로 DNN보다 약간 뒤처졌다. 깊은 BLSTM(2층)도 파라미터 수를 동일하게 맞추면 약간의 개선이 있었지만, 전반적으로 BLSTM만으로는 DNN 수준을 넘기지 못했다. 다음으로 DNN‑BLSTM, BLSTM‑DNN, DNN‑BLSTM‑DNN 순서로 각 모듈을 추가한 실험을 수행했다. DNN‑BLSTM(전처리 DNN만)에서는 3.92% WER, BLSTM‑DNN(후처리 DNN만)에서는 3.84% WER를 달성해 각각 24~26%의 상대 개선을 보였다. DNN‑BLSTM‑DNN(전·후처리 DNN 모두)에서는 3.76% WER로 추가적인 2~3% 개선이 있었다. 최종적으로 시간 컨볼루션을 포함한 TC‑DNN‑BLSTM‑DNN 모델은 3.47% WER를 기록했으며, 이는 기존 DNN 대비 8% 이상의 상대 개선이며, 시퀀스 트레이닝 없이 달성한 최고 성능이었다. 또한, 학습 시간을 단축하기 위해 4 GPU(1 파라미터 서버, 3 워커) 환경에서 비동기 SGD(ASGD)를 적용했다. ASGD는 17 epoch → 14 epoch, 51.5시간 → 16.8시간으로 학습 속도를 크게 높였지만, 테스트 WER가 3.47% → 3.72%로 약간 악화되었다. 이는 작은 데이터셋에서 비동기 업데이트가 일반화에 미치는 영향을 시사한다. 결론적으로, 본 논문은 시간 컨볼루션을 통한 로컬 특징 강화, 고차원 DNN 전처리, 양방향 LSTM을 이용한 장기 컨텍스트 학습, 그리고 후처리 DNN을 결합함으로써 각 단계가 서로의 약점을 보완하고, 전체 시스템의 표현력을 크게 향상시킨다. 특히, 복잡한 시퀀스 학습을 위해 별도의 CTC나 시퀀스 트레이닝 기법을 도입하지 않았음에도 불구하고, 기존 최첨단 DNN 기반 모델 대비 의미 있는 성능 향상을 달성한 점이 학계 및 산업 현장에 중요한 시사점을 제공한다.