어린이 음성인식 향상을 위한 성인‑어린이 전이학습 전략

본 논문은 어린이 자동음성인식(ASR)의 성능 저하 요인인 높은 음향 변동성과 발음·언어 변동을 해결하기 위해, 성인 음성 모델을 기반으로 한 전이학습(Transfer Learning) 접근법을 제안한다. 기존 연구에서는 GMM‑HMM 기반 모델에 VTLN, fMLLR, i‑vector 등 전처리·적응 기법을 적용해 왔지만, 대규모 데이터가 부족한 어린이 말뭉치에서는 한계가 있었다. 최근 딥러닝 기반 DNN‑HMM 모델이 성인 음성 인식에서 뛰어난 성능을 보이면서, 이를 어린이 음성에 어떻게 효과적으로 적용할 것인가가 핵심 과제로 떠올랐다. 논문은 먼저 어린이 음성의 변동성을 두 가지 차원으로 구분한다. (1) 음향 스펙트럼 변동: 어린이의 성대와 구강 구조가 성인보다 작고 발달 단계에 따라 크게 달라지므로, 기본 주파수(F0)와 포먼트가 높고 변동 폭이 크다. (2) 발음·언어 변동: 어린이는 어휘·문법 지식이 제한되고, 발음 오류와 비유창성이 성인보다 빈번하다. 이러한 두 변동을 각각 DNN의 저층과 고층이 담당한다는 가설을 세우고, 전이학습 전략을 설계한다. 전이학습 설계는 세 가지 주요 시나리오로 구성된다. ① **음향 변동 전이**: 성인 DNN 모델의 모든 은닉층을 고정하고, 입력에 가장 가까운 저층(또는 입력층)만을 어린이 데이터로 재학습한다. 이는 저층이 스펙트럼 특성을 직접 학습하므로, 어린이의 높은 주파수 대역과 변동성을 효과적으로 보정한다. 또한 MFCC에 i‑vector를 결합해 화자·연령 정보를 저차원 특징으로 제공함으로써 적은 데이터에서도 안정적인 적응을 가능하게 한다. ② **발음 변동 전이**: 고층(출력에 가까운 층)만을 어린이 데이터로 재학습한다. 고층은 음소·단어 수준의 추상화된 표현을 담당하므로, 어린이의 발음 오류와 언어 모델 차이를 직접 반영한다. 이 경우 저층은 성인 모델의 일반적인 음향 특성을 그대로 유지한다. ③ **음향·발음 복합 전이**: 저층과 고층을 동시에 혹은 교대로 재학습한다. 두 가지 하위 방식이 제안되는데, (a) 저층과 고층을 동시에 업데이트해 전체 파라미터를 조정하는 방식과, (b) 저층과 고층을 번갈아가며 학습해 각 단계마다 파라미터 수를 제한하고 과적합을 방지하는 방식이다. 실험은 다섯 개의 어린이 말뭉치(CU Prompted & Read, CU Read & Summarized, OGI, ChIMP, CID)와 성인 TED‑LIUM 코퍼스를 사용했다. 어린이 코퍼스는 총 91.6시간, 연령 6~14세로 구성되며, CID는 테스트 전용으로 남겨두었다. 성인 코퍼스는 205.8시간으로, 성인 DNN 모델을 사전 학습하는 데 활용하였다. 베이스라인으로는 GMM‑HMM 모델과 동일한 특징(MFCC+Δ+ΔΔ, LDA, MLLR, fMLLR)으로 훈련된 시스템을 사용했으며, DNN 모델은 5개의 은닉층(각 1024 유닛)으로 구성하였다. 전이학습 실험에서는 적응 데이터 양을 2시간, 5시간, 10시간, 20시간, 30시간으로 변형해 파라미터 수와 성능 간 관계를 분석하였다. 주요 결과는 다음과 같다. - **DNN vs GMM‑HMM**: 전반적으로 DNN 기반 시스템이 WER에서 12%~18% 개선을 보였으며, 특히 긴 발화와 복잡한 어휘가 포함된 테스트에서 차이가 크게 나타났다. - **음향 전이**: 저층만 재학습했을 때, 적은 데이터(≤5시간)에서도 평균 9%의 WER 감소를 달성했다. 이는 저층이 어린이의 스펙트럼 변동을 빠르게 보정함을 의미한다. - **발음 전이**: 고층만 재학습했을 경우, 8~10세 구간에서 발음 오류가 빈번한 점을 반영해 평균 7%의 WER 감소가 관찰되었다. 12~14세에서는 효과가 다소 감소한다. - **복합 전이**: 저층·고층을 동시에 학습한 경우, 적응 데이터가 20시간 이상일 때 전체 연령대에서 가장 큰 개선(최대 15% WER 감소)을 보였다. 교대로 학습한 방식은 10시간 이하에서도 안정적인 성능을 유지했으며, 파라미터 수를 제한해 과적합 위험을 낮췄다. - **데이터 양 효과**: 5시간 이하에서는 저층 전이가 가장 효율적이며, 10시간 이상에서는 고층 전이와 복합 전이가 비슷한 수준으로 상승한다. 30시간을 초과하면 연령 의존 전이와 연령 독립 전이 간 차이가 거의 사라진다. - **연령 의존 vs 독립 전이**: 연령 의존 전이는 6~8세와 12~14세 구간에서 각각 별도 변환을 학습해 미세한 스펙트럼 차이를 보정한다. 그러나 구현 복잡도와 추가 데이터 요구가 크므로, 데이터가 충분히 많고 연령 구분이 명확한 경우에만 권장된다. 논문은 이러한 실험 결과를 바탕으로 실용적인 가이드라인을 제시한다. 1) **저데이터 상황(≤5시간)**: 저층 전이와 i‑vector 결합이 가장 효율적이며, 추가적인 고층 적응은 필요하지 않다. 2) **중·고데이터 상황(10~30시간)**: 복합 전이(동시 또는 교대)를 적용해 음향·발음 변동을 모두 보정한다. 3) **연령별 적용**: 6~8세 어린이는 저층 전이와 연령 의존 변환을, 12~14세는 고층 전이와 연령 독립 변환을 우선 적용한다. 4) **시스템 구현**: 기존 성인 DNN 모델을 그대로 재사용하고, 전이 학습 단계에서 파라미터 고정/해제 전략만 변경하면 되므로, 비용 효율적인 전이 파이프라인을 구축할 수 있다. 마지막으로, 향후 연구 과제로는 (a) 초저음성량(≤1시간) 상황에서의 메타‑학습 기반 전이, (b) 다국어·다방언 어린이 데이터와의 멀티태스크 전이, (c) 실시간 서비스 적용을 위한 경량화 모델 설계 등을 제시한다. 이러한 방향은 어린이 친화형 음성 인터페이스의 보편화를 촉진할 것으로 기대된다.