다국어 스택드 보틀넥 특징을 활용한 시퀀스‑투‑시퀀스 음성인식 혁신

본 논문은 전통적인 HMM 기반 다국어 음성인식 기술을 최신 CTC‑Attention 기반 시퀀스‑투‑시퀀스(Seq2Seq) 모델에 적용함으로써, 저자원 언어에서의 성능 향상을 목표로 한다. 연구는 크게 네 부분으로 구성된다. 첫 번째는 다국어 스택드 보틀넥(SBN) 특징 추출이다. SBN은 두 단계의 신경망으로 이루어지며, 첫 단계는 24개의 로그 멜 필터뱅크와 기본 주파수(F0) 특징을 11프레임(≈110 ms) 단위로 스택하고 DCT 변환을 통해 222 차원의 입력을 만든다. 이 단계는 4개의 은닉층(각 1500유닛)과 80개의 선형 병목층을 갖는다. 두 번째 단계는 첫 단계의 출력 중 21프레임을 샘플링하여 입력으로 사용하고, 병목층은 30개의 뉴런으로 구성된다. 두 단계는 공동 학습되며, 최종 병목 출력은 “Mult11‑SBN”이라는 이름으로 특징 벡터로 활용된다. 이러한 특징은 GMM‑HMM 정렬 정보를 내포하고 있어, 기존 HMM 시스템의 강점을 유지한다. 두 번째는 Seq2Seq 모델 설계이다. 입력은 80차원 fbank 특징이며, 인코더는 양방향 LSTM(BLSTM)으로 구성된다. 디코더는 위치‑기반 어텐션 메커니즘을 사용하고, CTC 손실을 보조적으로 적용한다. 전체 손실은 λ·log p_ctc + (1‑λ)·log p_att 형태로 다중 과제 학습을 수행한다. 디코딩 단계에서는 CTC와 어텐션 점수를 α·log p_ctc + (1‑α)·log p_att 로 가중합해 빔 서치를 수행한다. 세 번째는 다국어 모델 학습 및 평가이다. Babel 데이터셋의 10개 언어(칸토니즈, 벵골어, 파슈토어, 터키어, 베트남어, 아이티크리올, 타밀, 쿠르드어, 토크피신, 조지아어)를 사용했으며, 각각 훈련·평가 스피커와 시간량이 제시된다. “Train” 언어와 “Target”(보지 않은) 언어를 구분해 실험을 진행했다. 다국어 특징 기반 모델은 동일한 Seq2Seq 구조에 Mult11‑SBN 특징을 입력함으로써, 훈련 데이터 양이 감소할 때도 CER 상승 폭이 작았다. 예를 들어, 50시간 전체 데이터에서 fbank 기반 모델은 평균 34.8% CER를 기록했으나, SBN 특징을 사용한 모델은 26.4%~33.2% 수준으로 1.6%~5.0% 절대 향상을 보였다. 다국어 전체 모델 자체를 학습한 경우, 문자 집합이 겹치지 않는 언어를 직접 디코딩하면 약 20%의 발화에서 잘못된 언어의 문자가 출력되는 문제가 있었다. 이를 해결하기 위해 두 가지 전략을 적용했다. 첫 번째는 “fine‑tuning”으로, 목표 언어 데이터만 몇 epoch 동안 전체 네트워크를 재학습시켜 문자 집합 불일치를 제거했다. 이 방법은 목표 언어가 학습 언어에 포함된 경우에만 효과적이었다. 두 번째는 “언어 전이 학습”으로, 목표 언어의 문자 집합이 학습 언어와 다를 때 출력층(softmax)만 새롭게 초기화하고, 그 층만 학습한 뒤 전체 네트워크를 미세조정했다. 실험 결과, 출력층만 재학습하는 조합이 가장 낮은 CER(예: Swahili 27.4% vs. 28.6% baseline)를 달성했다. 전체적인 비교에서는 다국어 특징 기반 모델이 다국어 전체 모델보다 일관적으로 우수했으며, 이는 HMM 기반 정렬 정보를 포함한 SBN 특징이 Seq2Seq 학습을 안정화시키고, 언어 간 파라미터 공유에 따른 부정확성을 최소화하기 때문이다. 또한, 다국어 모델은 데이터가 충분할 경우에도 baseline fbank 모델보다 1.6%~5.0% 절대 CER 개선을 보여, 대규모 다국어 데이터에서도 경쟁력을 갖는다. 결론적으로, 저자들은 (1) 기존 HMM 기반 다국어 특징을 Seq2Seq에 그대로 적용해도 큰 이점을 얻을 수 있음을, (2) 다국어 전체 모델보다 다국어 특징이 현재의 End‑to‑End 구조에서 더 효율적임을 입증했다. 향후 연구에서는 이러한 특징 기반 접근법을 더 많은 언어와 대규모 데이터에 확장하고, 언어 식별 모듈을 통합해 다국어 모델의 직접 디코딩 성능을 향상시키는 방안을 제시한다.