RNN에서 DNN으로 지식 전이: 임베디드 ASR을 위한 효율적 모델 압축

**1. 연구 배경 및 목적** 음성 인식 분야에서 DNN‑HMM 하이브리드 모델은 높은 정확도를 제공하지만, 모델 규모가 커짐에 따라 임베디드 디바이스에 적용하기 어려워졌다. 최근 RNN, 특히 LSTM 기반 모델이 시간적 의존성을 효과적으로 포착해 DNN보다 우수한 성능을 보였지만, 연산량과 메모리 요구사항이 더욱 높다. 따라서 저자들은 “큰 모델이 가진 지식”을 “작은 모델”에 전달하는 지식 전이(knowledge distillation) 방식을 채택해, 경량 DNN이 임베디드 환경에서도 실용적인 WER를 달성하도록 목표를 설정하였다. **2. 대규모 RNN 모델 설계** 논문은 TC‑DNN‑BLSTM‑DNN 구조를 채택하였다. 입력 특징은 fMLLR 변환을 거친 스펙트럼이며, 먼저 시간 컨볼루션(TC) 레이어가 지역적 시간 패턴을 추출한다. 이어서 2048 유닛의 DNN 레이어가 차원을 확대하고, 양방향 BLSTM(각 방향 256 셀)으로 장기 의존성을 모델링한다. 마지막 DNN‑softmax 레이어는 3,431개의 음소 상태에 대한 posterior를 출력한다. 이 모델은 WSJ eval92에서 3.47%의 WER를 기록, 기존 대형 DNN(3.79%)보다 약간 앞선다. **3. 소형 DNN 설계** 임베디드 적용을 위해 2개의 은닉층(각 512 ReLU 유닛)과 동일한 3,431‑클래스 softmax를 갖는 소형 DNN을 구축하였다. 연산 복잡도는 기존 2048‑유닛 4‑층 DNN 대비 약 128배 감소한다. 초기에는 전통적인 GMM‑HMM 강제 정렬을 라벨로 사용했으며, 이때 4.54%의 WER를 기록했다. **4. 정렬(Alignment) 전략** - **Hard GMM 정렬**: 기존 방식, 각 프레임당 단일 상태에 확률 1을 할당. - **Hard RNN 정렬**: RNN의 top‑1 상태만 추출. 실험 결과 dev93에서는 약간 개선되었지만 eval92에서는 성능 저하(4.63%). - **Soft RNN 정렬**: RNN이 출력한 전체 확률 분포 중 누적 98%를 차지하는 상태 집합만 저장하고 재정규화. 이 방법은 저장 용량을 크게 절감하면서도 대부분의 정보(98% 확률 질량)를 유지한다. - **Soft DNN 정렬**: 대형 DNN의 소프트 정렬을 동일하게 활용. **5. 학습 목표 및 손실 함수** 소형 DNN은 RNN(또는 대형 DNN)에서 얻은 소프트 정렬을 목표 분포 P로, 자신의 출력 Q로 두고 KL‑다이버전스 D_KL(P‖Q)를 최소화한다. KL‑다이버전스는 교차 엔트로피와 동일하게 구현 가능하며, 미분 시 ∂J/∂a_i = Q_i − P_i 형태의 간단한 그래디언트를 제공한다. **6. 실험 결과** | 정렬 종류 | dev93 WER | eval92 WER | |----------|-----------|------------| | Hard GMM | 8.00% | 4.54% | | Hard RNN | 7.83% | 4.63% | | Soft RNN | 7.38% | 3.93% | | Soft DNN | 7.43% | 4.27% | Soft RNN 정렬을 사용한 경우, eval92에서 3.93%의 WER를 달성해 GMM‑hard 대비 13% 이상의 상대 개선을 보였다. 또한, 대형 DNN의 Soft 정렬보다 일반화가 더 우수했으며, 이는 RNN이 시간적 컨텍스트를 더 정확히 반영한 결과로 해석된다. **7. 교차 엔트로피(CSE) 분석** CSE를 GMM‑hard 라벨에 대해 측정한 결과, 대형 RNN이 가장 낮은 CSE를 기록했고, 소형 DNN은 Soft 정렬을 사용할 때 CSE가 감소하였다. 이는 Soft 라벨이 학습 신호로서 더 풍부하고, 모델이 과적합 없이 효율적으로 최적화될 수 있음을 의미한다. **8. 결론 및 향후 과제** 본 연구는 (1) 대규모 RNN이 제공하는 확률적 정보를 효율적으로 압축해 소형 DNN에 전달하는 방법, (2) 임베디드 환경에서도 경쟁력 있는 ASR 성능을 달성할 수 있음을 실증하였다. 향후 연구에서는 (a) 온‑디바이스에서 실시간으로 Soft 정렬을 생성하는 경량 RNN 설계, (b) 다양한 언어·도메인에 대한 일반화 검증, (c) 양자화·프루닝과 결합한 하이브리드 압축 기법을 탐색할 계획이다.