다중 스트림 엔드투엔드 음성 인식

본 논문은 엔드투엔드(End‑to‑End, E2E) 자동 음성 인식(ASR) 분야에서 최근 각광받고 있는 joint CTC/Attention 모델에 다중 스트림(multi‑stream) 구조를 도입함으로써, 다양한 정보원을 효과적으로 활용하는 새로운 프레임워크를 제안한다. 기존의 hybrid ASR은 딥 뉴럴 네트워크(DNN) 기반 음향 모델, 발음 사전, 언어 모델을 별도로 학습하고 결합하는 복잡한 파이프라인을 필요로 했으며, 비전문가가 시스템을 구축하기 어렵다는 한계를 가지고 있었다. 반면, E2E 접근법은 음성 → 문자(또는 단어) 변환을 하나의 신경망으로 통합해 학습과 추론을 단순화한다. 현재 E2E ASR에서는 크게 CTC, 어텐션 기반 인코더‑디코더, 그리고 RNN‑Transducer가 사용되는데, 각각 장단점이 존재한다. CTC는 프레임‑레벨 정렬을 자동으로 수행해 단조성을 보장하지만, 라벨 간 독립성을 가정해 표현력이 제한된다. 어텐션은 라벨 간 의존성을 자유롭게 모델링하지만, 정렬이 비단조적일 위험이 있다. 이를 보완하기 위해 joint CTC/Attention 모델이 제안되었으며, CTC와 어텐션을 다중 과제 학습(MTL) 방식으로 동시에 최적화하고, 디코딩 시 두 스코어를 가중합해 최종 후보를 선택한다. 이 논문은 위 구조에 두 개 이상의 인코더를 병렬로 배치하는 ‘멀티 스트림’ 개념을 도입한다. 각 인코더는 서로 다른 입력 특성(예: 서로 다른 해상도, 서로 다른 마이크 배열)이나 서로 다른 네트워크 아키텍처(CNN‑RNN vs. BLSTM)를 사용해 동일 음성 데이터를 다양한 관점에서 인코딩한다. 이렇게 얻어진 N개의 인코더 출력 h_i(t) (i=1…N)는 각각 별도의 CTC 네트워크에 연결되어, 스트림별 단조성 정렬을 독립적으로 학습한다. 스트림 간 정보를 결합하기 위해 계층적 어텐션 네트워크(Hierarchical Attention Network, HAN)를 적용한다. 첫 단계에서는 각 인코더 내부에서 전통적인 content‑based 어텐션을 사용해 문자‑별 컨텍스트 벡터 r_i^l 를 계산한다. 두 번째 단계에서는 ‘스트림 어텐션’ 가중치 α_i^l 를 학습해, 현재 디코더 상태와 각 스트림의 컨텍스트 벡터를 종합한다. 이 과정은 디코더가 “어떤 스트림이 현재 토큰 예측에 가장 도움이 되는가”를 동적으로 판단하도록 하며, 잡음이 심한 스트림이나 품질이 낮은 마이크 배열의 기여도를 자동으로 감소시킨다. 논문에서는 두 가지 구체적 구현을 제시한다. 첫 번째는 Multi‑Encoder Multi‑Resolution (MEM‑Res) 모델이다. 여기서는 동일 음성에 대해 서로 다른 시간 해상도와 구조를 가진 두 인코더를 사용한다. 하나는 전통적인 BLSTM 인코더이며, 다른 하나는 CNN‑RNN 인코더로, CNN 레이어에서 맥스‑풀링을 통해 시간적 서브샘플링을 수행한다. 두 인코더는 서로 보완적인 스펙트럼·시간 정보를 제공한다. 두 번째는 Multi‑Encoder Multi‑Array (MEM‑Array) 모델이다. 이 모델은 여러 마이크 배열에서 얻은 beamformed 신호를 각각 동일 구조의 인코더에 입력한다. 각 배열은 서로 다른 SNR·음향 조건을 가지므로, 스트림 어텐션이 배열 간 품질 차이를 자동 보정한다. 학습 단계에서는 전체 손실 L_MTL = λ·log p_ctc + (1‑λ)·log p_att 로 정의하고, 각 스트림에 대해 별도 CTC 손실을 포함한다. 디코딩 시에는 라벨‑동기식 빔 서치를 수행하며, CTC 프리픽스 확률과 어텐션 스코어, 그리고 외부 RNN‑LM 스코어를 가중합한다. 실험은 WSJ, CHiME‑4, AMI, DIRHA 등 다양한 데이터셋에서 수행되었다. WSJ eval92에서는 MEM‑Res 모델이 3.6%의 최고 WER를 기록했으며, 기존 single‑encoder 모델 대비 18%~32%의 상대적 개선을 보였다. CHiME‑4의 잡음 환경에서도 유사한 수준의 향상이 확인되었다. MEM‑Array 모델은 AMI와 DIRHA의 다중 배열 시나리오에서 각각 3.7%와 9.7%의 상대적 WER 감소를 달성했으며, 전통적인 배열 선택(최고 SNR)이나 라티스 투표 방식보다 일관되게 우수했다. 특히, 스트림 어텐션 가중치를 시각화한 결과, 잡음이 심한 배열이나 저해상도 스트림에 낮은 가중치가 할당되는 것을 확인할 수 있었다. 결론적으로, 이 논문은 (1) 멀티 스트림 인코더를 통한 정보 다양성 확보, (2) 스트림별 CTC를 통한 정렬 안정성 강화, (3) 계층적 어텐션을 통한 동적 스트림 선택이라는 세 가지 핵심 기법을 결합함으로써, E2E ASR의 정확도와 견고성을 동시에 향상시켰다. 향후 연구에서는 스트림 수를 더 확대하거나, 비동기식 스트림(예: 영상·텍스트와의 멀티모달)과의 결합, 그리고 실시간 적용을 위한 경량화 방안 등을 탐색할 여지가 있다.