노이즈 환경에서 훈련 없이 인식 가능도 기반 관측합성(OA) 기법

본 논문은 소음이 많은 환경에서 자동 음성 인식(ASR)의 성능 저하 문제를 해결하기 위해, 기존의 관측합성(Observation Addition, OA) 기법을 개선한 ‘인식 가능도 기반 OA’를 제안한다. 전통적인 SE(음성 강화) 전처리는 잡음을 억제하지만, 인공적인 아티팩트가 발생해 ASR 성능을 오히려 악화시키는 경우가 많다. OA는 원본 noisy 신호 y와 SE가 만든 enhanced 신호 ĥx를 선형적으로 결합해(식 1) 두 신호의 장점을 동시에 활용한다. 핵심은 결합 가중치 S′ 를 어떻게 정하는가인데, 기존 연구는 SNR, DNSMOS와 같은 신호‑레벨 품질 지표나, CER/WER 라벨을 이용해 학습된 신경망 예측기에 의존했다. 이러한 방법은 (1) SE가 만든 아티팩트를 반영하지 못하거나, (2) 전사본이 필요하고 추가 학습·배포 비용이 발생한다는 한계가 있다. 이에 저자들은 백엔드 ASR 자체가 제공하는 ‘신뢰도(confidence)’ 점수를 활용해 S′ 를 직접 계산하는 훈련‑프리 방식을 제안한다. 구체적으로, Whisper, Parakeet, wav2vec2‑CTC 등 세 종류의 ASR에서 각각 로그‑확률, 토큰‑레벨 확률, Tsallis 엔트로피 기반 신뢰도를 추출한다. utterance‑level 신뢰도는 각 토큰·세그먼트의 확률을 기하 평균하거나, 로그‑확률을 지수화해 구한다. 그런 다음 S′ = conf(y) / (conf(y)+conf(ĥx)) (식 3) 로 정규화한다. 이 과정은 전혀 학습이 필요 없으며, SE와 ASR가 고정된 상태에서도 실시간으로 적용 가능하다. 제안 방법 외에도 두 가지 대안도 검토한다. 첫째, ‘Conf‑Switch’(식 6)는 신뢰도가 더 높은 신호만 선택하는 하드 스위칭 방식이다. 둘째, 프레임‑레벨 OA는 wav2vec2‑CTC의 프레임‑별 신뢰도를 이용해 S′ₜ 를 계산, 시간적으로 더 세밀한 결합을 시도한다. 하지만 실험 결과 프레임‑레벨은 전체 WER 감소 효과가 제한적이었다. 실험은 두 데이터셋, VoiceBank‑DEMAND(내부 도메인)와 CHiME‑4(외부 도메인)에서 수행되었다. SE 모델은 시간‑도메인 Demucs와 시간‑주파수‑도메인 GR‑KAN‑MP‑SENet을 사용했으며, ASR는 Whisper‑large, Parakeet‑tdt‑0.6b‑v2, wav2vec2‑large를 적용했다. 표 1·2에서 다양한 OA 방법을 비교했을 때, ‘WER‑OA’(식 2, 실제 WER을 알 수 있는 이상적인 경우)는 가장 낮은 WER을 기록했으며, 실용적인 ‘Conf‑OA’는 모든 실험 조건에서 기존 SNR‑OA, DNSMOS‑OA, Classifier‑OA보다 우수했다. 특히 CHiME‑4 실험에서는 평균 23 %~30 % 절대 WER 감소를 달성했다. ‘Conf‑Switch’는 경우에 따라 성능이 뒤떨어졌으며, 특히 ‘Mis‑calibrated’(신뢰도가 실제 WER보다 높게 평가된 경우) 상황에서 OA가 크게 앞섰다. 표 3의 상세 분석에서는 ‘Mis‑calibrated & OA wins’가 전체 사례의 절반 이상을 차지함을 보여, 신뢰도 기반 가중치가 과대·과소 평가에 강인함을 입증한다. 프레임‑레벨 OA(표 4)는 이론적으로 더 정교한 보정이 가능하지만, 실제 WER 개선 효과는 미미했다. 이는 프레임‑별 신뢰도 추정이 잡음 변동에 민감하고, 급격한 가중치 변동이 음성 신호의 연속성을 해칠 수 있기 때문이다. 따라서 현재 실용적인 관점에서는 utterance‑level Conf‑OA가 가장 효율적이다. 논문의 가장 큰 기여는 ‘training‑free’라는 점이다. 별도 신경망을 학습하거나 SNR·DNSMOS 추정기를 구축할 필요 없이, ASR가 제공하는 신뢰도만으로 즉시 적용 가능하다. 이는 새로운 SE 모델이나 ASR 모델이 추가될 때마다 재학습 없이 바로 활용할 수 있어 배포 비용을 크게 절감한다. 또한, 다양한 SE‑ASR 조합과 데이터셋에서 일관된 성능 향상을 보여, 실제 서비스 환경에 적용하기에 충분히 견고한 방법임을 증명한다. 전체적으로 이 논문은 인식 가능도 기반 OA가 노이즈 환경에서 ASR 성능을 향상시키는 가장 간단하면서도 강력한 접근법임을 실험적으로 입증한다.