다중 화자 음성 인식을 위한 순수 엔드투엔드 시스템

본 논문은 단일 채널에서 여러 화자의 음성을 동시에 인식하는 다중 화자 음성 인식(Multi‑speaker Speech Recognition) 문제에 대해, 기존의 ‘분리‑인식’ 2단계 파이프라인을 완전히 배제하고 순수 엔드투엔드 모델을 제안한다. 서론에서는 다중 화자 인식의 필요성을 강조하고, 기존 연구들이 주로 Deep Clustering(DPCL)이나 Permutation‑Invariant Training(PIT)과 같은 별도의 소스 분리 모듈을 사용하거나, 깨끗한 소스 신호·senone 정렬 등 추가 라벨이 필요함을 지적한다. 이러한 의존성을 없애고자 저자는 단일 스펙트로그램 입력을 바로 다중 텍스트 시퀀스로 매핑하는 구조를 설계한다. 먼저, 단일 화자용 엔드투엔드 ASR의 기본 모델을 소개한다. Attention‑based Encoder‑Decoder 구조에 CTC 손실을 보조 목표로 결합한 joint CTC/Attention 방식을 채택한다(Section 2). CTC는 프레임‑레벨 정렬을 제공해 학습을 안정화하고, Attention은 자유로운 디코딩을 가능하게 한다. 두 손실은 λ 파라미터로 가중합해 최종 손실 L_mtl을 만든다. 다중 화자 처리를 위해 인코더를 세 단계로 분리한다. ① Mixture Encoder는 입력 혼합 O를 공통 특성 맵 H 로 변환한다. ② Speaker‑Differentiating (SD) Encoder는 화자 수 S 만큼 독립적인 파라미터를 갖고 H 를 각각 H_s 로 변환한다. ③ Recognition Encoder는 각 H_s 를 고차원 표현 G_s 로 압축한다. 이렇게 화자별 경로를 명시적으로 구분함으로써, 네트워크 내부에서 암묵적인 소스 분리를 학습하도록 유도한다. 다중 출력과 레퍼런스 간 순열 불확실성을 해결하기 위해 permutation‑free 학습을 적용한다(Section 3.1). 모든 가능한 순열에 대해 손실을 계산하는 전통적인 방법은 계산량이 O(S!)으로 급증한다. 저자는 CTC 손실만을 이용해 최적 순열 ˆπ 를 먼저 찾고, 동일한 순열을 Attention 손실에도 적용함으로써 전체 연산을 크게 줄인다(Section 3.3). 이는 CTC가 제공하는 강력한 monotonic alignment 특성을 활용한 효율적인 설계이다. 또한, 다중 화자 출력이 서로 유사한 가설을 생성하는 퇴화 현상을 방지하기 위해 새로운 contrastive loss L_KL 을 도입한다(Section 3.4). 각 화자별 은닉 벡터 G_s 의 평균 분포 간 KL‑divergence 를 최대화하도록 설계했으며, 이는 네트워크가 서로 다른 화자에 대해 구별된 표현을 학습하도록 강제한다. 실험에서는 이 손실을 적용했을 때 83.1 %의 상대적 CER 감소를 기록, 즉 기존 모델 대비 현저히 높은 구분 능력을 입증한다. 실험은 영어와 일본어 두 언어의 자연스러운 대화 데이터(두 화자 혼합)에서 수행되었다. 모델은 화자 수 S=2 로 고정했으며, 별도의 클린 소스 신호·senone 정렬 없이도 학습이 가능했다. 평가 결과, 제안 모델은 DPCL‑PIT 기반 시스템(예: Settle et al., 2018)과 비슷하거나 약간 우수한 WER/CER 를 달성했다. 특히, 별도의 분리 모듈이 없으므로 파이프라인 복잡도가 낮고, 라벨링 비용이 크게 절감된다. 논문의 주요 기여는 다음과 같다. 1) 소스 분리 없이 다중 화자 인식을 수행하는 순수 엔드투엔드 프레임워크 제시, 2) joint CTC/Attention 구조를 활용한 효율적인 permutation‑free 학습 방법 제안, 3) 은닉 표현 간 차이를 강화하는 contrastive loss 도입으로 출력 다중성을 보장. 한계점으로는 화자 수가 사전에 정의된 상한을 초과하거나, 화자 간 음성 특성이 매우 유사할 경우 혼동이 발생할 가능성이 있다. 향후 연구에서는 동적 화자 수 추정, 화자‑독립적인 디코더 설계, 그리고 대규모 실시간 서비스 적용을 위한 최적화가 필요하다.