엣지스피치넷 초소형 음성인식 딥러닝 모델

본 논문은 온‑디바이스 음성 인식, 특히 제한 어휘(키워드 스포팅) 분야에서 딥러닝 모델의 실시간 적용을 가로막는 메모리·연산량 문제를 해결하고자 한다. 기존 연구들은 주로 인간이 직접 설계한 경량 네트워크(예: trad‑fpool13, tpool2, res15 등)를 제시했지만, 설계 공간 탐색이 거칠어 최적의 구조를 찾기 어려웠다. 이를 보완하기 위해 저자들은 ‘인간‑기계 협업 설계 전략’을 제안한다. 첫 단계인 인간‑주도 설계 프로토타이핑에서는 음성 신호를 30 ms 윈도우와 10 ms 시프트로 MFCC 변환해 2‑D 입력으로 만든 뒤, Residual Block(컨볼루션 + 배치 정규화 + 스킵 연결)들을 쌓아 깊은 특성 추출기를 구성한다. 마지막에는 평균 풀링, 전결합 레이어, 소프트맥스 순으로 출력한다. 이 구조는 기존 연구에서 입증된 잔차 학습의 장점을 그대로 차용하면서, 음성 데이터의 시간‑주파수 특성을 효율적으로 보존한다. 두 번째 단계인 기계‑주도 설계 탐색에서는 ‘Generative Synthesis’라는 자동화 기법을 적용한다. 이 기법은 초기 프로토타입을 씨드로 삼아, 성능 함수 U(정확도)와 설계 제약 1_r(검증 정확도 ≥ 95 %)를 동시에 만족하는 네트워크 집합을 생성하도록 제너레이터 G를 최적화한다. 최적화 과정은 여러 세대에 걸쳐 진행되며, 각 세대는 이전 세대의 설계 결과를 기반으로 새로운 구조 변형을 제안한다. 변형 대상은 커널 크기, 채널 수, 블록 깊이, 스킵 연결 위치 등 미세한 파라미터까지 포함한다. 이렇게 탐색된 결과물은 EdgeSpeechNet‑A, B, C, D 네 가지 변형으로 정리된다. 각 모델의 상세 아키텍처는 표 1·2에 제시된다. EdgeSpeechNet‑A는 107 K 파라미터와 343 M MACs, EdgeSpeechNet‑B는 43.7 K 파라미터와 126 M MACs, EdgeSpeechNet‑C는 30.3 K 파라미터와 83.5 M MACs, EdgeSpeechNet‑D는 80.3 K 파라미터와 24.5 M MACs를 가진다. 이들 모두 기존 최고 성능 모델인 res15(238 K 파라미터, 894 M MACs)보다 파라미터와 연산량이 크게 감소하였다. 성능 평가는 Google Speech Commands 데이터셋(65 K 샘플, 30 클래스)을 사용했으며, 5회 반복 실험 평균 정확도를 보고한다. EdgeSpeechNet‑A는 96.8 % 정확도로 res15보다 1 %p 상승했으며, 파라미터는 2.2배, MAC는 2.6배 감소했다. EdgeSpeechNet‑B는 96.3 % 정확도로 5.4배 적은 파라미터와 7.1배 적은 MAC를 달성했다. EdgeSpeechNet‑C는 96.2 % 정확도로 7.8배 적은 파라미터와 10.7배 적은 MAC를 기록했으며, EdgeSpeechNet‑D는 95.8 % 정확도로 36.5배 적은 MAC를 유지하면서 메모리 사용량을 1 MB 수준으로 축소했다. 모바일 실험에서는 1.4 GHz Cortex‑A53 기반 Motorola Moto E에서 TensorFlow Lite Mobile을 이용해 EdgeSpeechNet‑D를 실행했을 때 평균 예측 지연이 34 ms, 메모리 점유가 약 1 MB였다. 이는 기존 res15 대비 10배 빠른 응답 시간과 16.5배 작은 메모리 사용량을 의미한다. NetScore(성능·연산·크기 종합 지표)에서도 EdgeSpeechNet‑D는 기존 모델보다 20점 이상 높은 점수를 받아, 실용적인 효율성을 입증한다. 결론적으로, 인간이 정의한 고수준 설계 원칙과 자동화된 미세 구조 탐색이 결합될 때, 제한된 리소스 환경에서도 높은 정확도와 낮은 연산·메모리 요구량을 동시에 만족하는 DNN을 설계할 수 있음을 보여준다. 향후 연구에서는 이 협업 설계 프레임워크를 이미지 인식, 자연어 처리 등 다른 도메인에 적용해 더욱 다양한 경량 모델을 자동 생성하는 방향을 제시한다.