CHiME 4 챌린지를 위한 최신 원거리 음성 인식 시스템 구축

본 논문은 CHiME‑4 챌린지의 6채널 트랙에서 높은 성능을 달성한 단일 시스템 베이스라인을 제시한다. 기존 베이스라인은 BeamformIt 기반 Delay‑and‑Sum 빔포머와 DNN+sMBR 음향모델, RNNLM을 사용했으나, 복잡한 시스템 결합과 다중 모델 융합에 의존했다. 저자들은 이러한 복잡성을 배제하고, 하나의 파이프라인으로도 최첨단 성능을 얻을 수 있음을 증명한다. 시스템 구성은 크게 네 단계로 나뉜다. 1. **데이터 증강**: 6개의 마이크 채널 전체와 BLSTM 마스크 기반 GEV 빔포머로 생성된 강화 데이터를 모두 학습에 포함한다. 이는 원본 데이터의 다양성을 확대하고, 모델이 다양한 잡음 환경에 적응하도록 돕는다. 2. **BLSTM 마스크 기반 GEV 빔포머**: BLSTM 네트워크가 시간‑주파수 마스크를 예측하고, 이를 이용해 음성 및 잡음의 PSD 행렬을 추정한다. 이후 일반화된 고유값 문제를 풀어 최적 빔포밍 필터를 얻는다. 이 방법은 기존 BeamformIt보다 잡음 억제와 음성 보존에서 우수하며, 다채널(2채널·6채널) 상황에서 PESQ·STOI·eSTOI·SDR 등 네 가지 객관적 지표에서 개선된 결과를 보인다. 3. **TDNN 기반 LF‑MMI 음향모델**: 서브샘플링 TDNN 구조에 LF‑MMI 목표함수를 적용한다. LF‑MMI는 음소 시퀀스를 디노미네이터로 사용해 계산량을 크게 줄이며, 학습 효율과 일반화 성능을 동시에 향상시킨다. 데이터 증강과 결합했을 때, 특히 6채널 전체와 강화 데이터를 모두 사용하면 WER이 크게 감소한다. 4. **LSTM 언어모델 재점수화**: 기존 RNNLM을 대체해 LSTM 기반 언어모델을 훈련한다. 중요도 샘플링과 자동 정규화 손실을 도입해 학습 속도를 높였으며, 5‑gram LM과 결합해 n‑best 리스트를 재점수화한다. 이 단계에서 추가적인 WER 감소가 관찰된다. 실험에서는 각 단계별 성능 향상을 정량적으로 평가했다. 6채널 실험에서 ‘only 5th channel + DNN+sMBR + BeamformIt + RNNLM’ 구성은 5.79 % WER을 보였지만, 제안된 ‘TDNN + LF‑MMI + BLSTM‑GEV + LSTM‑LM’ 구성은 1.90 %(dev)·2.10 %(test)로 크게 개선되었다. 2채널 및 1채널 실험에서도 동일한 추세가 나타났으며, 특히 1채널에서는 BLSTM 마스크만 적용했을 때 오히려 WER이 악화되는 현상이 있었지만, 강화 데이터를 추가함으로써 성능 회복이 가능했다. 이는 강화된 음성 품질 지표와 ASR 성능 사이에 직접적인 상관관계가 없음을 시사한다. 또한, 제안된 시스템은 공식 베이스라인 대비 76 % 상대적 WER 감소를 달성했으며, 2위 결과(2.24 %)와 근소한 차이(2.74 %)를 보였다. 가장 큰 차이는 다중 모델 융합 대신 단일 파이프라인으로도 높은 성능을 얻을 수 있다는 점이다. 마지막으로, 모든 스크립트와 모델은 Kaldi 레시피와 GitHub(https://github.com/kaldi-asr/kaldi/pull/2142)에서 공개되어 재현 가능성을 보장한다. 이는 향후 연구자들이 새로운 빔포밍, 음향모델, 언어모델 기법을 손쉽게 시험하고, 다른 데이터셋이나 실제 서비스에 적용할 수 있는 기반을 제공한다. 향후 연구에서는 TDNN 및 LSTM 구조의 다양화, 더 정교한 마스크 추정, 그리고 실시간 적용 가능성 등을 탐구할 계획이다.