도메인에 강인한 특징 추출로 저자원 언어 ASR 빠르게 구축하기

본 논문은 저자원 언어의 자동음성인식(ASR) 시스템을 신속히 구축하면서도, 훈련 데이터와 실제 서비스 환경 간에 발생하는 도메인 불일치 문제를 해결하고자 한다. 기존 연구에서는 데이터 증강, i‑vector 기반 적응, 비지도 도메인 적응 등 다양한 방법이 제안되었지만, 이들 방법은 테스트 환경에 대한 사전 정보가 필요하거나 복잡한 파이프라인을 요구한다는 한계가 있었다. 저자들은 이러한 제약을 극복하기 위해, 영어로 사전 학습된 ASpIRE 체인 모델을 “도메인 정규화 특징 추출기”로 활용한다. ASpIRE 모델은 영어 Fisher 데이터에 잡음·리버베이션 증강을 적용해 훈련된 5‑layer TDNN(시간 지연 신경망) 기반 모델이다. 입력으로는 40‑dim MFCC와 100‑dim i‑vector를 사용하며, 각 층은 서로 다른 시간적 컨텍스트를 갖는다. 저자들은 특히 TDNN3 층의 활성값을 추출해 새로운 특징으로 사용한다. TDNN3은 얕은 층이면서도 충분히 추상화된 음향 정보를 담고 있어, 도메인 특성(채널, 스피커, 배경소음 등)을 효과적으로 정규화한다는 것이 실험을 통해 확인되었다. 시각화(PCA) 결과는 TDNN3 출력이 대화, 방송, 스크립트 등 서로 다른 터키어 코퍼스 사이에서 거의 겹치는 분포를 보이며, 전통적인 필터뱅크+피치 특징이 도메인에 따라 크게 달라지는 것과 대조적이다. 따라서 이 특징은 “도메인 불변”이라고 부를 수 있다. 모델 아키텍처는 기존 베이스라인과 동일하게 6‑layer Bi‑LSTM(각 방향 360 셀)이며, 입력만 TDNN3 특징으로 교체한다. CTC 손실과 WFST 디코딩 파이프라인을 그대로 유지함으로써, 언어‑특정 전처리나 추가 어휘·언어 모델 구축 없이도 빠른 프로토타이핑이 가능하다. 실험에 사용된 데이터는 터키어 대화 데이터(≈80 시간, Babel 코퍼스), 스크립트 데이터(소량, 테스트 전용), 그리고 방송 뉴스 데이터(≈130 시간, LDC)이다. 대화와 방송 각각을 학습 데이터로 사용하고, 나머지 두 코퍼스를 테스트에 활용해 도메인 교차 성능을 평가하였다. 베이스라인은 40‑dim 필터뱅크 + 1차·2차 미분 + 3‑dim 피치를 사용했으며, PER은 대화 34.5 %, 방송 5.8 %를 기록했다. 반면, TDNN3 특징을 사용한 모델은 동일 도메인 테스트에서 PER이 각각 5.5 %와 15.5 % 정도 개선되었다. 특히 도메인 교차 실험에서는 대화→방송에서 29 % PER 감소, 방송→스크립트에서 47.8 % PER 감소 등, 평균 25 %~50 % 수준의 상대적 향상이 관찰되었다. 추가 진단 실험에서는 TDNN1, TDNN2, TDNN5 층의 특징을 사용했을 때 성능이 낮아, 중간 층인 TDNN3이 가장 적합함을 확인하였다. 이는 얕은 층은 도메인 특성을 충분히 반영하지 못하고, 깊은 층은 목표 언어·도메인에 과도하게 특화되기 때문으로 해석된다. 결론적으로, 저자들은 사전 학습된 다중 도메인 영어 모델의 중간 층 출력을 활용함으로써, 별도의 데이터 증강이나 비지도 적응 없이도 저자원 언어의 ASR을 빠르게 구축하고, 다양한 실사용 환경에 강인하게 만들 수 있음을 입증하였다. 이 접근법은 기존의 복잡한 파이프라인을 단순화하고, 언어마다 대규모 라벨링 작업 없이도 기존 강인 영어 모델을 재활용함으로써 개발 비용과 시간을 크게 절감한다는 실용적 의미를 가진다.