효율적인 키워드 탐지를 위한 확장 합성곱과 게이팅

본 논문은 저전력 디바이스에서 실시간으로 동작해야 하는 Wake‑Word 탐지 문제를 해결하기 위해, 상태를 유지하지 않는(end‑to‑end) 시계열 모델링 접근법을 제안한다. 기존의 HMM 기반 혹은 DNN 기반 키워드 스포팅은 지역적인 특징만을 활용하거나, 장기 의존성을 모델링하기 위해 LSTM과 같은 순환 신경망(RNN)을 사용한다. 그러나 RNN은 내부 상태가 지속적으로 누적되어 포화(saturation) 현상이 발생하고, 주기적인 상태 초기화가 필요해 구현 복잡도가 높아진다. 이에 저자들은 최근 텍스트‑투‑스피치와 음성 활동 검출에 성공적으로 적용된 WaveNet 구조를 차용한다. 핵심 아이디어는 (1) 딜레이트(확장) 인과 합성곱을 사용해 작은 파라미터 수로 넓은 수용 영역을 확보하고, (2) tanh와 sigmoid를 곱한 게이트 활성화로 정보 흐름을 조절하며, (3) 잔차와 스킵 연결을 통해 깊은 네트워크에서도 기울기 소실을 방지하고 학습을 안정화한다는 것이다. 구체적인 아키텍처는 20 차원 로그‑멜 필터뱅크(LFBE)를 10 ms 간격으로 입력받아, 첫 번째 3‑크기 인과 합성곱을 거친 뒤 24개의 딜레이트 합성곱 층을 쌓는다. 딜레이트 비율은 1, 2, 4, 8을 순환하며, 각 층은 3‑크기 필터와 16‑차원 잔차 투사, 32‑차원 스킵 투사를 사용한다. 최종 스킵 출력은 소규모 DNN에 전달되어 2‑클래스(키워드/배경) 소프트맥스 확률을 산출한다. 라벨링 전략은 기존의 전체 키워드 구간을 양성으로 표시하는 방식과 달리, 키워드가 끝나는 시점을 중심으로 ±160 ms(15프레임) 구간만을 양성 라벨(1)로 지정하고, 그 외 배경 프레임은 마스킹한다. 이 “엔드‑오브‑키워드” 라벨링은 VAD 기반 자동 생성이 가능하며, 모델이 키워드 전체를 듣기 전까지는 트리거되지 않도록 유도한다. 결과적으로, 키워드 시작 시점에 과도한 오탐을 방지하고, 잡음 환경에서도 강인한 성능을 보인다. 실험은 공개된 “Hey Snips” 데이터셋(2.2 K 화자, 11 K 양성, 86 K 음성)에서 수행되었다. 데이터는 5 dB SNR 잡음(음악·배경소음)으로 증강했으며, 테스트는 청정 및 잡음 두 조건에서 0.5 FA/h(시간당 허위 알람 0.5회) 기준으로 진행했다. 제안 모델은 파라미터 222 k, FLOPS 22 M으로 LSTM(257 k, 26 M)과 비슷한 규모지만, 청정 환경 FRR 0.12 %와 잡음 환경 FRR 1.60 %를 달성해 LSTM(2.09 %/11.21 %) 및 CNN(2.51 %/13.18 %)보다 각각 94 %·86 % 및 95 %·88 % 감소시켰다. DET 곡선에서도 전 범위에 걸쳐 우수함을 확인했다. Ablation 실험에서는 (1) 엔드‑오브‑키워드 라벨링을 제거하면 청정/잡음 FRR가 각각 0.36 %·1.33 % 상승, (2) 마스킹을 없애면 0.28 %·0.46 % 상승, (3) 게이트 활성화를 없애면 0.24 %·2.57 % 상승한다는 결과가 나왔다. 이는 라벨링이 특히 잡음에 강인한 성능을 보장하고, 게이팅이 잡음 억제에 크게 기여함을 의미한다. 잔차·스킵 연결을 동시에 제거하면 학습이 불가능함을 확인했으며, 최소 하나의 바이패스 경로가 깊은 네트워크 학습에 필수적임을 시사한다. 스트리밍 추론 측면에서, 딜레이트 합성곱은 새로운 프레임이 들어올 때마다 이전 중간 결과를 캐시해 재사용함으로써 연산량을 크게 줄인다. 이는 저전력 마이크로컨트롤러나 모바일 디바이스에 직접 탑재하기에 적합한 구조이다. 결론적으로, 본 연구는 딜레이트 합성곱과 게이트·잔차·스킵 연결을 결합한 경량 모델이 Wake‑Word 탐지에 있어 기존 RNN·CNN 기반 방법보다 뛰어난 정확도와 효율성을 제공함을 입증한다. 또한, 엔드‑오브‑키워드 라벨링이라는 새로운 타깃 설계가 데이터 정렬 없이도 높은 성능을 이끌어낼 수 있음을 보여준다. 향후 연구에서는 다양한 하드웨어·환경(멀티‑마이크, 원거리 음성 등)으로의 도메인 적응 및 모델 압축 기법을 적용해 실제 제품에 적용 가능한 수준으로 확장할 계획이다.