다중음 이벤트 탐지를 위한 캡슐 신경망

본 논문은 인간이 주변 소리를 인지하고 해석하는 능력을 모방하고자 하는 사운드 이벤트 검출(Sound Event Detection, SED) 문제에 초점을 맞추며, 특히 여러 이벤트가 동시에 발생하는 다중음(polyphonic) 상황을 대상으로 한다. 기존 연구에서는 HMM, GMM, NMF, SVM 등 통계적 모델과, 최근에는 CNN, RNN, CRNN 등 딥러닝 기반 모델이 주로 활용되어 왔지만, 이들 방법은 고차원 스펙트로그램에서 중요한 지역 정보를 손실하거나, 데이터 양이 충분히 크지 않을 경우 과적합이 발생한다는 한계를 가지고 있다. 이러한 배경에서 저자들은 캡슐 신경망(CapsNet)의 핵심 아이디어인 “벡터 형태 캡슐”과 “동적 라우팅(dynamic routing)”을 SED에 적용한다. 캡슐은 단일 스칼라 뉴런이 아니라 다차원 벡터를 출력함으로써, 하나의 음향 이벤트가 갖는 주파수‑시간 패턴, 스펙트럼 형태, 지속 시간 등 다양한 속성을 동시에 인코딩한다. 동적 라우팅은 저층 캡슐이 고층 캡슐에 전달하는 연결 강도(α_ij)를 반복적으로 업데이트하면서, 저층 캡슐의 출력이 고층 캡슐의 예측과 얼마나 일치하는지를 측정한다. 이 과정은 “part‑whole” 관계를 학습하게 하여, 겹쳐 있는 여러 소리의 특징을 구분하고 각각의 존재 확률을 벡터 길이로 표현한다. 구현 측면에서 저자들은 16 kHz로 샘플링된 오디오를 40 ms 프레임, 20 ms 홉으로 STFT를 수행하고, 1024‑point FFT를 사용해 513개의 주파수 채널을 얻었다. 또한, 40개의 멜 필터를 적용한 Log‑Mel 스펙트로그램도 병행하여 실험하였다. 각 프레임은 256개의 연속된 시간 프레임(≈5 s)으로 구성된 컨텍스트 윈도우에 쌓여, 최종 입력 텐서는 (256 × F × C) 형태를 가진다(C는 채널 수, 1 또는 2). 입력 정규화 후, 초기 2~3개의 2‑D 컨볼루션 레이어를 거쳐 PrimaryCaps 레이어로 변환하고, 이후 ClassCaps 레이어에서 각각의 사운드 클래스에 대응하는 캡슐을 배치한다. 라우팅은 3회 반복하며, 저자는 시간적 연속성을 반영한 변형 라우팅을 제안해 인접 프레임 간의 합의를 강화하였다. 손실 함수는 클래스별 존재 여부를 나타내는 이진 크로스 엔트로피와 라우팅 과정에서의 재구성 손실을 결합한 형태이며, Adam 옵티마이저로 학습한다. 실험은 세 개의 공개 데이터셋(예: DCASE 2017‑2019, UrbanSound8K, ESC‑50)에서 수행되었으며, 비교 대상으로는 동일한 입력 특성을 사용한 표준 CNN, CRNN, 그리고 최근 제안된 Attention‑CRNN 모델이 포함되었다. 평가 지표는 프레임 기반 Error Rate(ER)와 F‑score이며, 다중음 상황에서 CapsNet은 ER을 평균 12 % 감소시키고, F‑score를 5‑7 % 향상시켰다. 특히, 겹침 비율이 높은 구간에서 기존 모델이 놓치는 이벤트를 캡슐이 효과적으로 복원함을 시각화된 라우팅 가중치와 함께 제시하였다. 단일음(모노포닉) 상황에서는 CNN과 비슷한 성능을 보였으며, 이는 캡슐이 추가적인 이점을 제공하기 위해서는 충분한 겹침 정보가 필요함을 의미한다. 한계점으로는 캡슐 네트워크가 CNN보다 파라미터 수가 약간 더 많고, 라우팅 연산이 반복적으로 수행돼 학습 및 추론 시간이 증가한다는 점을 들었다. 저자들은 향후 경량화된 라우팅 알고리즘과 하드웨어 가속을 통한 실시간 적용 가능성을 제시한다. 전체적으로 본 연구는 캡슐 신경망이 사운드 이벤트의 부분‑전체 관계를 학습함으로써 다중음 상황에서 기존 딥러닝 모델을 능가할 수 있음을 실험적으로 입증했으며, 음향 인식 분야에 새로운 모델링 패러다임을 제시한다.