청각 스파이킹 신경망을 위한 효율적이고 인지 기반 청각 인코딩·디코딩

본 논문은 스파이킹 신경망(SNN)이 청각 인지 과업을 수행할 때 필수적인 청각 전처리(front‑end) 역할을 재조명하고, 인간 청각 시스템의 주요 메커니즘을 그대로 모사한 인코딩·디코딩 파이프라인을 제안한다. 기존 연구들은 주로 MFCC, 로그멜 스펙트럼 등 전통적인 디지털 신호 처리 기법을 사용했으며, 이러한 방법은 인간 청각이 실제로 무시하는 저주파·고주파 잡음까지 모두 코딩해 연산량과 메모리 부하를 증가시켰다. 저자들은 이를 극복하기 위해 ‘Biologically plausible Auditory Encoding(BAE)’이라는 새로운 프레임워크를 설계하였다. BAE는 크게 네 단계로 구성된다. 첫째, 코클리어 필터뱅크를 이용해 입력 음성을 인간이 인식하는 청각 주파수 대역(≈ 20 Hz–8 kHz)으로 분해한다. 둘째, 각 대역의 에너지를 내이 털세포(inner hair cell) 모델을 통해 전기적 전위 신호로 변환한다. 셋째, 청각 마스킹 효과를 적용한다. 여기서는 두 가지 마스크를 동시에 사용한다. (a) 동시 마스킹(simultaneous masking)은 주파수 영역에서 강한 성분이 인접한 약한 성분을 가리는 현상을 모델링하며, 절대 청각 역치와 주파수 마스크 곡선을 기반으로 불필요한 주파수 성분을 제거한다. (b) 시간 마스킹(temporal masking)은 한 주파수 대역 내에서 강한 피크가 그 뒤의 약한 신호를 청각적으로 가리는 현상을 반영한다. 이 두 마스크를 적용함으로써 인간이 실제로 들을 수 없는 에너지 성분을 효과적으로 차단한다. 넷째, 마스크된 스펙트럼을 ‘크로스‑앤‑파이어(cross‑and‑fire)’ 방식의 임계값 코딩에 투입한다. 일정한 간격으로 배치된 임계값 집합을 가진 뉴런 풀에 스펙트럼 에너지를 입력하고, 에너지가 해당 뉴런의 임계값을 초과할 때만 스파이크가 발생한다. 이 과정은 양자화와 유사하지만, 스파이크 발생 시점을 정확히 기록함으로써 시간 정보를 보존한다. 결과적으로 스파이크 시퀀스는 높은 차원의 희소 벡터가 되며, 불필요한 스파이크가 크게 감소한다. 제안된 BAE를 실제 데이터에 적용하기 위해 두 개의 스파이크 데이터셋을 구축하였다. 첫 번째는 기존 TIDIGITS 데이터베이스의 숫자 발화를 BAE로 변환한 ‘Spike‑TIDIGITS’이며, 두 번째는 연속 음성 데이터베이스인 TIMIT를 동일한 파라미터(64채널, 1 ms 프레임)로 변환한 ‘Spike‑TIMIT’이다. 두 데이터셋 모두 원본 음성 대비 평균 스파이크 레이트가 35% 감소했으며, 청각 마스크 적용 전후의 PESQ 점수는 각각 2.8→3.2, 2.9→3.3으로 향상되었다. 성능 검증을 위해 저자들은 BAE 기반 스파이크 데이터를 SNN에 입력하고, Tempotron, ReSuMe, SpikeProp 등 다양한 시간 기반 학습 규칙을 적용한 음성 인식 실험을 수행했다. 비교 대상으로는 전통적인 MFCC‑SVM 파이프라인과 기존 스파이크 인코딩(단순 레이턴시 코딩) 방식을 사용하였다. 결과는 BAE‑SNN이 Word Error Rate(WER)에서 MFCC‑SVM 대비 12%~18% 개선을 보였으며, 특히 연속 음성인 Spike‑TIMIT에서는 시간 마스크가 적용된 덕분에 장기 의존성을 더 잘 포착해 인식 정확도가 크게 상승했다. 또한, 스파이크 수가 감소함에도 불구하고 학습 수렴 속도는 기존 스파이크 인코딩 대비 1.5배 빠르게 진행되었다. 논문의 주요 기여는 다음과 같다. (1) 인간 청각 마스킹 메커니즘을 스파이크 코딩에 직접 적용해 효율적인 청각 전처리 모델을 제시하였다. (2) 스파이크 형태의 대규모 연속 음성 데이터셋(Spike‑TIMIT)을 공개함으로써 SNN 연구 커뮤니티에 표준 벤치마크를 제공한다. (3) BAE가 스파이크 희소성을 크게 향상시키면서도 시간적 정보를 보존함을 실험적으로 입증하였다. 저자들은 향후 연구에서 BAE를 다른 청각 기반 인지 과업(예: 화자 인식, 감정 인식)이나 멀티모달 SNN 시스템에 확장할 가능성을 제시한다.