다국어와 무감독 하위단어 모델링으로 제로리소스 언어를 정복한다

본 논문은 제로리소스 언어, 즉 전사나 사전·발음 사전과 같은 언어 자원이 전혀 없는 상황에서 음성 신호를 하위단어 수준으로 모델링하는 방법들을 체계적으로 비교·평가한다. 연구는 크게 두 가지 접근을 제시한다. 첫 번째는 목표 언어의 비지도 음성 데이터만을 이용하는 방법으로, 전통적인 음성 길이 정규화(VTLN)와 최근 제안된 대응 자동인코더(cAE)를 결합한다. VTLN은 화자마다 다른 음성 스펙트럼을 주파수 축을 변형시켜 보정함으로써 화자 간 변동성을 감소시킨다. cAE는 무감독 용어 탐지(UTD) 시스템이 제공하는 동일 단어 후보 쌍을 이용해, 프레임 단위 입력과 목표를 매핑하는 딥 뉴럴 네트워크를 학습한다. 두 방법은 서로 다른 변동성을 억제한다는 점에서 보완적이며, 실험에서는 VTLN을 사전 처리와 cAE 학습 모두에 적용했을 때 평균 정밀도(AP) 점수가 가장 크게 향상되는 것을 확인했다. 두 번째 접근은 고리소스 언어의 라벨링된 데이터를 활용하는 것이다. 연구팀은 GlobalPhone 코퍼스에 포함된 1~10개의 언어로 병목 특성(bottleneck features, BNF)을 학습하고, 이를 목표 언어에 그대로 적용하였다. 흥미롭게도 단일 외국어(예: 영어)로 학습한 BNF조차 목표 언어 전용 VTLN·cAE 조합보다 높은 성능을 보였으며, 다국어(2~10개)로 확장할 경우 성능 향상이 더욱 두드러졌다. 이는 단순히 데이터 양을 늘린 것이 아니라, 서로 다른 언어의 음성 구조를 공유함으로써 보다 일반화된 음소 수준 표현을 얻을 수 있음을 시사한다. 실험은 두 가지 평가 방식을 사용한다. 첫 번째는 동일‑다른(same‑different) 과제로, 두 음성 구간이 동일 단어인지 여부를 판별하는 과제에서 AP와 ABX 오류율을 측정한다. 여기서 VTLN·cAE 결합은 기존 MFCC 기반보다 현저히 높은 점수를 기록했으며, 다국어 BNF는 가장 낮은 ABX 오류율을 달성했다. 두 번째는 비지도 단어 분할·클러스터링 과제로, Kampér et al. (2017)의 시스템을 사용해 전체 음성 스트림을 단어 단위로 분할하고 클러스터링한다. 이 과제에서도 다국어 BNF 기반 시스템이 가장 높은 군집 품질과 정확한 경계 탐지를 보이며, 목표 언어 전용 방법들을 크게 앞섰다. 또한, BNF를 cAE의 입력으로 사용했을 때는 UTD 기반의 약한 단어 쌍보다 인간이 라벨링한 고품질 단어 쌍을 이용했을 때만 추가적인 성능 향상이 관찰되었다. 이는 BNF가 이미 화자·채널 변동성을 충분히 억제했기 때문에, 저품질의 UTD 쌍은 오히려 노이즈를 도입할 수 있음을 의미한다. 결론적으로, (1) VTLN과 cAE의 결합이 목표 언어만으로도 강력한 특징을 만든다는 점, (2) 고리소스 언어의 다국어 병목 학습이 제로리소스 상황에서도 일관된 이점을 제공한다는 점, (3) 특징 추출 단계에서의 품질이 이후 비지도 상위 작업에 직접적인 영향을 미친다는 점을 실험적으로 입증한다. 이러한 결과는 제로리소스 언어 연구뿐 아니라 저자원 언어를 위한 실용적인 음성 시스템 설계에도 중요한 지침을 제공한다.