하이브리드 CTC 어텐션 기반 서브워드 단위 종단형 음성 인식

본 논문은 음성 인식 분야에서 최근 각광받고 있는 종단형(end‑to‑end) 모델에 서브워드 단위를 적용한 새로운 접근법을 제시한다. 전통적인 LVCSR(Large Vocabulary Continuous Speech Recognition) 시스템은 GMM/DNN‑HMM 기반 음향 모델, 발음 사전, 외부 언어모델 등 복잡한 파이프라인을 필요로 하며, 구축과 유지에 높은 전문 지식이 요구된다. 이러한 복잡성을 탈피하고자 최근에는 CTC와 어텐션 기반 디코더를 결합한 하이브리드 구조가 제안되었으며, 본 연구는 이 구조에 서브워드 단위를 도입함으로써 두 가지 주요 문제—OOV(Out‑of‑Vocabulary)와 장기 컨텍스트 학습—를 동시에 해결하고자 한다. 먼저, 서브워드 단위는 바이트‑페어 인코딩(Byte‑Pair Encoding, BPE) 알고리즘을 사용해 생성한다. 초기 사전은 모든 문자와 단어 경계 기호(‘ ’)로 구성되며, 가장 빈번한 문자 쌍을 반복적으로 병합해 지정된 병합 횟수만큼 서브워드 사전을 확장한다. 이 과정에서 모든 원시 문자는 사전에 남아 있기 때문에 희귀 단어도 서브워드 조합으로 표현 가능하다. 논문에서는 500개와 1000개의 서브워드 사전을 각각 실험했으며, 500개 사전이 가장 좋은 성능을 보였다. 서브워드 시퀀스는 문자 시퀀스보다 길이가 짧아 디코딩 효율을 높이고, 동시에 단어 수준의 의미 단위도 포함하므로 언어적 종속성을 학습하는 데 유리하다. 모델 아키텍처는 크게 세 부분으로 구성된다. (1) 8층의 양방향 LSTM(BLSTM) 인코더는 입력 음성의 40차원 필터뱅크(Fbank) 특징을 받아 고차원 표현 h를 생성한다. 각 BLSTM 층 뒤에는 배치 정규화가 적용되어 학습 안정성을 높이며, 상위 두 층은 2배 다운샘플링을 수행해 시간 축을 압축한다. (2) CTC 손실은 인코더 출력에 바로 적용되어 프레임‑레벨 정렬 정보를 제공한다. CTC는 블랭크 심볼을 도입해 라벨 간 독립성을 가정하지만, 전방‑후방 알고리즘을 통해 모든 가능한 경로를 합산함으로써 정렬을 학습한다. (3) 어텐션 디코더는 단방향 LSTM 한 층으로 구성되며, 위치 기반 어텐션 메커니즘을 위해 10개의 100폭 1‑D 컨볼루션 필터를 사용한다. 디코더는 이전 출력과 컨텍스트 벡터 cᵤ를 입력받아 현재 라벨 yᵤ를 예측한다. 두 손실은 가중치 λ를 통해 결합되어 전체 손실 L_hybrid = λ·L_CTC + (1−λ)·L_Attention 로 정의된다. 실험에서는 λ=0.2가 최적으로 확인되어, CTC가 제공하는 정렬 신호가 전체 학습에 20% 정도 기여함을 의미한다. 실험은 LibriSpeech 1000시간 데이터셋을 사용했으며, 개발 셋(dev clean, dev other)으로 학습 과정을 모니터링하고 테스트 셋(test clean, test other)에서 WER를 평가했다. 모든 실험은 외부 사전이나 언어모델 없이 진행되었으며, 이는 모델 자체의 언어적 일반화 능력을 직접 검증할 수 있게 한다. 결과는 다음과 같다. 문자 기반 하이브리드 모델(λ=0.2)은 test clean에서 7.8% WER, test other에서 21.9% WER를 기록했다. 서브워드 기반 500개 모델은 test clean에서 6.8% WER, test other에서 19.5% WER를 달성했으며, 이는 문자 기반 대비 각각 12.8%와 2.6%의 상대적 개선을 의미한다. 1000개 서브워드 모델은 약간 성능이 떨어져 test clean 7.6% WER를 보였으며, 이는 서브워드 수가 증가함에 따라 사전 크기와 학습 난이도가 상승함을 시사한다. 또한, 순수 CTC(λ=1.0)와 순수 어텐션(λ=0.0) 모델은 각각 20.9%/39.8%와 10.5%/30.9%의 WER를 보이며, 하이브리드 구조가 두 접근법의 장점을 효과적으로 결합함을 확인할 수 있다. 본 연구의 의의는 크게 세 가지로 정리할 수 있다. 첫째, 서브워드 단위를 도입함으로써 OOV 문제를 근본적으로 해결하고, 희귀 단어에 대한 인식 정확도를 크게 향상시켰다. 둘째, 하이브리드 CTC‑Attention 구조가 CTC의 정렬 안정성과 어텐션의 언어 모델링 능력을 동시에 활용해, 외부 언어모델 없이도 경쟁력 있는 성능을 달성했다. 셋째, 실험 설정이 ESPnet 및 Chainer와 같은 공개 툴킷을 기반으로 구현되어 재현성이 높으며, 향후 다양한 언어와 도메인에 쉽게 확장할 수 있는 기반을 제공한다. 향후 연구에서는 동적 서브워드 분할(예: GRAM‑CTC)과의 결합, 혹은 트랜스포머 기반 인코더와의 통합을 통해 더욱 높은 인식 정확도와 효율성을 추구할 수 있을 것으로 기대된다.