음성 객체 탐지를 위한 SpeechYOLO

본 논문은 이미지 분야에서 성공적으로 활용된 YOLO(You Only Look Once) 객체 검출 알고리즘을 음성 인식 영역에 적용한 SpeechYOLO 시스템을 제안한다. 기존 자동 음성 인식(ASR) 시스템은 전체 문장을 전사하는 데 초점이 맞춰져 있어, 특정 키워드의 존재 여부와 정확한 시간 위치를 동시에 파악해야 하는 응용(예: “Hey Siri”, “OK Google”, 의료용 발음 분석 등)에는 부적합한 경우가 많다. 이러한 문제를 해결하고자 저자들은 음성 신호를 “음성 객체”로 정의하고, 각 객체를 키워드와 그 시작·종료 시점으로 구성된 튜플(e = (k, t_start, t_end))로 모델링하였다. 시스템은 먼저 입력 음성을 고정된 길이 T = 1 초로 패딩하거나 잘라낸 뒤, 이를 C = 6개의 동등한 시간 셀로 나눈다. 각 셀은 해당 구간에 최대 하나의 키워드가 존재할 수 있다는 가정을 두고, 셀당 B = 2개의 타이밍 박스를 할당한다. 셀 i는 (1) 키워드 k가 존재할 확률 p_c_i(k)와 (2) 각 박스 j가 예측하는 중심 시점 t_j와 지속 시간 Δt_j, 그리고 해당 박스의 신뢰도 p_b_i,j를 출력한다. 최종 이벤트는 p_c_i(k)·p_b_i,j가 사전 정의된 임계값 θ를 초과하는 경우에만 선택되며, 이는 이미지 YOLO에서 “confidence score”와 “class probability”를 곱하는 방식과 동일하다. 모델 아키텍처는 VGG19를 기반으로 한 16계층 컨볼루션 네트워크와 두 개의 완전 연결층으로 구성된다. 초기 컨볼루션 층은 Google Command 데이터셋으로 사전 학습(pre‑training)하여 음성 특성에 대한 기본 표현을 학습하고, 이후 LibriSpeech 데이터에 맞게 최종 레이어를 재구성한다. 출력 차원은 C × (L + 3·B)이며, 여기서 L은 키워드 수, 3·B는 각 박스가 예측하는 (t, Δt, confidence) 세 값을 의미한다. 손실 함수는 네 가지 주요 항목으로 구성된다. 첫 번째와 두 번째 항목은 각각 중심 시점과 지속 시간에 대한 L2 회귀 손실이며, 이는 실제 라벨(t₀, Δt₀)과의 차이를 최소화한다. 세 번째와 네 번째 항목은 존재하는 키워드에 대해 박스 신뢰도와 1 사이의 차이, 존재하지 않는 키워드에 대해 박스 신뢰도와 0 사이의 차이를 최소화한다. 마지막 항목은 셀 전체에 대한 클래스 확률 p_c_i(k)와 실제 라벨(키워드 존재 여부) 사이의 L2 손실이다. λ₁, λ₂, λ₃을 통해 각 항목의 가중치를 조절한다. 실험은 크게 두 파트로 나뉜다. 첫 번째 파트에서는 1000개의 가장 빈번한 단어(L = 1000)를 대상으로 단어 검출 및 정확한 위치 추정 능력을 평가한다. LibriSpeech의 test‑clean과 test‑other 두 세트에서 VGG19*와 VGG11* 두 모델을 비교했으며, VGG19*가 정밀도 0.836, 재현율 0.779, F1 0.807(테스트 클린) 등에서 우수한 성능을 보였다. 두 번째 파트에서는 기존 약한 지도 학습 기반 PSC(Palaz et al.)와의 비교를 수행했다. PSC는 멜 필터뱅크를 입력으로 10계층 컨볼루션을 사용해 단어별 스코어를 출력하지만, 정렬 정보를 직접 학습하지 않는다. SpeechYOLO는 F1 0.807 vs. 0.767, Actual accuracy 0.774 vs. 0.692, 평균 IoU 0.843 vs. 0.300 등에서 PSC를 크게 앞섰다. 또한, 모델의 일반화 능력을 검증하기 위해 TIMIT 코퍼스에 대해 MF‑A와 비교하였다. SpeechYOLO는 훈련에 사용되지 않은 TIMIT 데이터에서도 높은 IoU를 기록했으며, 이는 정렬 라벨을 직접 학습한 덕분에 가능한 결과이다. 논문의 주요 기여는 다음과 같다. 1) 음성 신호를 이미지와 동일한 객체 검출 프레임워크로 재구성함으로써, 키워드 검출과 정확한 시간 정렬을 동시에 수행하는 새로운 방법을 제시했다. 2) 단순 L2 기반 회귀 손실이 음성 도메인에서도 효과적임을 입증했다. 3) 사전 학습된 대규모 CNN을 활용해 키워드 스팟팅과 정렬을 하나의 엔드‑투‑엔드 모델로 통합함으로써 별도의 강제 정렬 단계가 필요 없게 만들었다. 4) 경량 셀·박스 설계와 셀당 최대 하나 이벤트 가정으로 실시간 추론이 가능하도록 설계하였다. 향후 연구에서는 다중 라벨 상황(동시 다중 키워드)이나 더 복잡한 음성 이벤트(음소, 발음 변이)에도 적용할 수 있도록 셀 및 박스 구조를 확장하는 방향이 제시된다.