음성인식 혁신을 이끈 LAS의 구조·학습 최적화 비법

본 논문은 기존 LAS(L​isten‑Attend‑Spell) 모델이 음성 인식 분야에서 보여준 잠재력을 바탕으로, 대규모 실사용 음성 검색 시나리오에 적용 가능한 수준으로 성능을 끌어올리는 일련의 구조적·학습적 개선 방안을 제시한다. **1. 연구 배경 및 목표** 전통적인 ASR 시스템은 음향 모델(AM), 발음 모델(PM), 언어 모델(LM)을 별도로 학습·조합한다. LAS는 이 세 요소를 하나의 엔코더‑어텐터‑디코더 네트워크에 통합해 학습 파이프라인을 단순화한다. 그러나 기존 연구에서는 주로 딕테이션 같은 제한된 도메인에서만 경쟁력 있는 결과를 보였으며, 대규모 어휘와 잡음이 혼재한 음성 검색(voice search)에서는 아직 한계가 있었다. 따라서 저자들은 LAS가 현재 최첨단 HMM‑DNN 기반 시스템을 능가하도록 구조와 최적화 기법을 동시에 강화하고자 했다. **2. 구조적 개선** - **단어 조각(word‑piece) 출력**: 기존 그라프heme(문자) 기반 출력 대신, BPE‑유사 방식으로 학습된 서브워드 단위인 word‑piece를 도입했다. 이는 토큰당 정보량을 늘리고, 디코더 LSTM이 더 긴 컨텍스트를 기억하도록 돕는다. 실험에서는 WPM 적용만으로도 2.2% 상대 WER 감소를 확인했다. - **다중 헤드 어텐션(MHA)**: Transformer에서 영감을 얻은 MHA를 LAS에 적용해 4개의 독립적인 어텐션 헤드를 사용했다. 각 헤드는 입력 시퀀스의 서로 다른 영역에 집중함으로써, 특히 초기 배경 잡음 구간이나 발음이 불명확한 구간을 효과적으로 구분한다. MHA 적용 시 11.1%의 상대 WER 개선을 기록했다. **3. 최적화 기법** - **동기식 학습**: 여러 GPU 복제본이 매 스텝마다 파라미터를 동기화하도록 하여 그래디언트 분산을 감소시켰다. 학습 초기에 학습률을 0에서 선형적으로 상승시키고, 그래디언트 노름 트래커로 급격한 변동을 억제함으로써 안정적인 수렴을 달성했다. - **스케줄드 샘플링**: 교사 강제(teacher forcing) 비율을 점진적으로 감소시켜, 모델이 자체 예측을 입력으로 사용하는 상황에 익숙해지게 했다. 이는 추론 시 발생하는 exposure bias를 완화해 7.8% 상대 WER 감소를 가져왔다. - **라벨 스무딩**: 정답 레이블을 균일 분포와 혼합해 과신을 방지하고 일반화 능력을 향상시켰다. 실험에서는 5.6%의 추가 개선을 확인했다. - **최소 단어 오류율(MWER) 훈련**: 기대 단어 오류 수를 직접 최소화하도록 손실 함수를 설계하고, N‑best 리스트에 대해 확률 가중 평균을 적용했다. CE 손실과 혼합(λ)함으로 안정성을 확보하면서도 13.4%의 큰 상대 개선을 얻었다. **4. 2‑패스 재스코어링** LAS 디코더 자체도 언어 모델 역할을 하지만, 학습 데이터에 한정된 어휘와 문맥을 갖는다. 이를 보완하기 위해 5‑gram 외부 LM을 N‑best 리스트에 로그 선형 결합하였다. 길이 보정(term γ)도 함께 적용해 삭제 오류를 억제했다. 이 단계에서 3.4% 추가 WER 감소를 달성했다. **5. 실험 설정** - 데이터: 12,500시간(≈15M utterances) 음성 검색 데이터, 잡음·리버버레이션을 인위적으로 추가해 평균 SNR 12dB 확보. 테스트 셋은 14.8K 음성 검색 utterance와 15.7K 딕테이션 utterance. - 특징: 80‑dim log‑Mel, 3‑frame stacking, 30 ms 프레임 레이트. - 인코더: 5‑layer LSTM, 단방향(1,400 hidden) 및 양방향(1,024 per direction) 옵션. 본 논문에서는 스트리밍을 위해 주로 단방향 사용. - 디코더: 2‑layer LSTM, 1,024 hidden per layer. - 어텐션: additive attention, single‑head vs 4‑head MHA. - 학습: TensorFlow, cross‑entropy 초기화 후 MWER fine‑tuning, 비동기/동기식 SGD 비교. **6. 결과** | 실험 ID | 구성 | WER | 상대 개선 | |--------|------|-----|-----------| | E1 | 그라프heme, single‑head | 9.2% | - | | E2 | Word‑piece, single‑head | 9.0% | 2.2% | | E3 | Word‑piece + MHA | 8.0% | 11.1% | | E4 | E3 + 동기식 학습 | 7.7% | 3.8% | | E5 | E4 + 스케줄드 샘플링 | 7.1% | 7.8% | | E6 | E5 + 라벨 스무딩 | 6.7% | 5.6% | | E7 | E6 + MWER | 5.8% | 13.4% | 최종 모델은 5.6% WER(음성 검색)와 4.1% WER(딕테이션)을 달성했으며, 기존 베이스라인(6.7%/5.0%)보다 각각 16%·18% 정도 더 낮았다. **7. 의의 및 향후 과제** - **실시간 스트리밍**: 단방향 LSTM 인코더와 MHA 구조가 실시간 처리에 충분히 가벼우면서도 높은 정확도를 유지한다는 점에서 서비스 적용 가능성이 크다. - **모델 일반화**: Word‑piece와 MWER 훈련은 다른 언어·도메인에도 그대로 확장 가능할 것으로 기대된다. - **추가 연구**: 더 많은 헤드 수, Transformer‑style 인코더, 그리고 대규모 멀티모달 데이터와의 결합이 향후 성능을 더욱 끌어올릴 수 있다.