다국어 음성인식 시퀀스투시퀀스 모델 설계와 전이학습 및 언어모델 통합

본 논문은 저자원 언어를 대상으로 한 자동음성인식(ASR)에서 최근 각광받고 있는 시퀀스‑투‑시퀀스(seq2seq) 접근법을 다국어 환경에 적용하고, 전이학습 및 언어 모델 통합을 통해 성능을 극대화하는 방법을 제시한다. 기존 DNN‑HMM 기반 시스템은 발음 사전과 정렬 정보를 필요로 하지만, seq2seq 모델은 이러한 전처리 없이 직접 음성‑문자 매핑을 학습한다. 그러나 정렬과 언어 모델링을 동시에 수행해야 하므로 대규모 학습 데이터가 요구되는 단점이 있다. 이를 보완하고자 저자들은 10개의 BABEL 언어(총 약 600시간)로 사전 학습된 다국어 모델을 구축하고, 이를 4개의 저자원 목표 언어(Assamese, Tagalog, Swahili, Lao)로 전이학습하는 3단계 실험을 설계하였다. **1. 모델 아키텍처** - **인코더**: VGG‑Net 초기 6계층을 차용한 2‑D CNN을 사용해 80차원 Mel‑filterbank 입력을 시간‑주파수 차원에서 압축한다. 이후 5개의 BLSTM 레이어(각 320 유닛)와 320 차원의 프로젝션 레이어를 거쳐 인코더 출력 hₜ를 생성한다. - **디코더**: 위치‑인식 어텐션(Location‑Aware Attention)을 적용해 이전 어텐션 가중치를 컨볼루션으로 변환, 정렬 안정성을 높인다. 디코더는 단일 LSTM 레이어(300 유닛)와 300 차원의 프로젝션을 사용한다. - **CTC**: 인코더 출력에 직접 CTC 손실을 적용해 단조로운 정렬을 보장한다. - **다중목표 손실**: 전체 손실 Lₘₒ𝑑 = λ·log p_ctc + (1‑λ)·log p_att 로 정의하며, λ와 α(디코딩 가중치)는 실험에 따라 조정한다. **2. 다국어 학습 단계** - **Stage 0 (Naïve Multilingual)**: 10개 언어의 훈련 데이터를 모두 결합해 단일 모델을 학습한다. 문자 집합은 모든 언어의 문자와 공백을 포함하도록 구성한다. 이 단계에서 모델은 언어 간 공통 음향 특성을 학습하고, 저자원 언어에 대한 기본 일반화를 제공한다. - **Stage 1 (Decoder‑Only Fine‑tuning)**: 목표 언어에 대해 CTC와 어텐션 디코더(소프트맥스 층)만을 재학습한다. 인코더는 고정하고, SGD(초기 학습률 1e‑4)와 검증 성능에 따른 학습률 감소 전략을 사용한다. 이 단계는 언어‑특화 문자 분포에 맞추는 역할을 한다. - **Stage 2 (Encoder‑Decoder Joint Fine‑tuning)**: Stage 1에서 얻은 모델을 초기값으로 삼아 인코더와 디코더를 동시에 미세조정한다. 초기 학습률 1e‑2, 검증 기반 감소를 적용한다. 이 과정은 인코더와 디코더 사이의 분포 차이를 해소하고, 전체 시스템의 일관성을 높인다. 각 단계별 실험 결과는 다음과 같다. Stage 0에서 다국어 모델은 monolingual BLSTMP 대비 평균 5.0% 절대 CER 향상을 보였으며, VGG‑BLSTM 인코더를 사용하면 평균 8.8%까지 개선된다. Stage 1에서는 단순 디코더 재학습만으로는 오히려 성능이 저하되는 경우가 있었지만, Stage 2에서 인코더‑디코더를 공동 미세조정하면 전체 4개 목표 언어에서 평균 4.3% 절대 CER 향상이 관측되었다. 또한, 훈련 데이터 양을 5시간, 10시간, 20시간, 전체(≈60시간)로 나누어 실험했을 때, 5~10시간 구간에서 가장 큰 성능 향상이 나타났으며, 데이터가 늘어날수록 수렴 속도가 빨라졌다. **3. 다국어 RNNLM 통합** - 문자 기반 RNNLM을 10개 언어의 텍스트 데이터로 공동 학습시켰으며, 디코딩 시 로그 확률을 α·log p_ctc + (1‑α)·log p_att + β·log p_RNNLM 형태로 결합한다. - RNNLM을 포함한 최종 시스템은 %CER는 약간 개선되지만, %WER에서는 2~3%포인트의 뚜렷한 감소를 보였다. 이는 단어 경계와 문맥 정보를 외부 언어 모델이 보강함으로써 실현된 효과이다. **4. 결론 및 의의** - 다국어 CTC‑Attention seq2seq 모델은 저자원 언어에 대한 사전 지식 전이와 데이터 효율성을 크게 향상시킨다. - 단계적 전이학습(디코더‑전용 → 인코더‑디코더 공동) 전략은 언어 간 분포 차이를 효과적으로 조정한다. - 다국어 RNNLM 통합은 전통적인 언어 모델의 장점을 신경망 기반 ASR에 자연스럽게 연결시켜, WER 측면에서 현저한 이득을 제공한다. - 전체적으로, 본 연구는 “두 배 규모의 데이터로 학습한 모델에 필적하는 성능”을 적은 양의 목표 언어 데이터만으로 달성함으로써, 저자원 언어 ASR 연구에 중요한 벤치마크와 실용적인 방법론을 제시한다.