대규모 약약 라벨 오디오 분류를 위한 게이트형 컨볼루션 신경망과 시간‑주의 기반 이벤트 위치 추정

본 논문은 DCASE 2017 챌린지의 대규모 약약 라벨 사운드 이벤트 검출 과제를 목표로, 로그‑멜 스펙트로그램을 입력으로 하는 컨볼루션‑리커런트 신경망(CRNN)에 두 가지 혁신적인 모듈을 추가한다. 첫 번째 모듈은 각 컨볼루션 레이어 뒤에 적용되는 게이트형 선형 유닛(GLU)이다. GLU는 선형 변환 결과에 sigmoid 게이트를 곱해, 시‑주파수(T‑F) 셀별로 정보 흐름을 조절한다. 이 메커니즘은 기존 ReLU 기반 비선형성보다 학습 가능한 주의 기능을 제공하며, 깊은 네트워크에서도 기울기 소실을 방지한다. 실험적으로, GLU를 도입한 Gated‑CRNN은 동일 구조의 ReLU‑CRNN 대비 오디오 태깅 F1 점수가 약 3~4% 상승했으며, 특히 소수 클래스에 대한 인식률이 크게 개선되었다. 두 번째 모듈은 약약 라벨만을 이용해 프레임 수준의 이벤트 위치를 추정하는 시간‑주의 기반 로컬라이제이션이다. 기존 CRNN은 프레임별 후방 확률을 평균해 전체 태그를 예측했지만, 이벤트 검출을 위해서는 어느 프레임에서 특정 클래스가 활성화되는지를 알아야 한다. 이를 위해 논문은 두 개의 피드‑포워드 네트워크를 병렬로 배치한다. 하나는 sigmoid 활성화를 사용해 각 프레임마다 클래스별 존재 확률을 출력하고, 다른 하나는 softmax 활성화를 사용해 각 클래스에 대해 가장 중요한 프레임을 강조한다. 두 출력은 element‑wise 곱을 통해 결합되고, 최종적으로 시간‑가중 평균을 수행해 전체 오디오에 대한 태그 확률을 산출한다. 이 과정에서 프레임‑레벨 라벨이 없음에도 불구하고, 네트워크는 내부적으로 “관심” 프레임을 학습해 약약 라벨만으로도 이벤트의 시작·종료 시점을 근사한다. 데이터 측면에서, 과제에 사용된 Google AudioSet 하위 집합은 17개의 이벤트 클래스를 포함하고 있으며, 클래스별 샘플 수가 크게 차이 난다(예: ‘car’ 25,744 vs ‘car alarm’ 273). 이러한 불균형은 미니‑배치 학습 시 특정 클래스에 편향될 위험이 있다. 저자들은 미니‑배치 내 클래스 비율을 조정해 가장 빈번한 클래스가 최소 5배 이하로만 나타나도록 하는 “mini‑batch data balancing” 전략을 적용했다. 이 방법은 소수 클래스의 재현율을 크게 높여 전체 F1 점수 향상에 기여한다. 모델 학습은 Adam 옵티마이저(learning rate 0.001)를 사용했으며, 3개의 GLU‑CNN 블록(각 64개의 3×3 필터)과 2×2(태깅) 혹은 1×2(검출) 풀링을 통해 시간 해상도를 유지한다. 이후 128 유닛의 양방향 GRU와 17개의 출력 노드를 가진 피드‑포워드 네트워크가 이어진다. 특징 추출 단계에서 로그‑멜과 MFCC 두 종류를 모두 사용했으며, 각각의 모델을 독립적으로 학습한 뒤 시스템‑level fusion(평균)과 epoch‑level fusion(동일 모델의 여러 epoch 평균)을 적용해 예측 안정성을 강화했다. 실험 결과는 두 가지 서브태스크에서 모두 우수한 성능을 보였다. 오디오 태깅에서는 개발 셋에서 F1 57.7%, 평가 셋에서 F1 55.6%를 기록했으며, 이는 기존 DCASE 2017 baseline(MPL 10.9%)과 비교해 5배 이상 향상된 수치이다. 특히, GLU와 데이터 균형화를 적용한 Gated‑CRNN‑logMel이 가장 높은 점수를 얻었다. 이벤트 검출에서는 Gated‑CRNN‑logMel이 개발 셋에서 F1 47.2%, Error 0.76, 평가 셋에서 F1 51.8%, Error 0.73을 달성했으며, baseline(13.8%/1.02) 대비 크게 개선되었다. 시각적 예시(그림 2)에서는 ‘train’과 ‘train horn’ 이벤트를 240프레임 중 정확히 구분해 표시했으며, 소수의 false alarm을 제외하고는 높은 위치 정확도를 보였다. 결론적으로, 본 연구는 (1) GLU를 통한 전역‑지역주의 통합, (2) 약약 라벨 기반 프레임‑단위 이벤트 로컬라이제이션, (3) 데이터 불균형 완화와 다중 모델·에포크 융합을 결합해 대규모 약약 라벨 오디오 분류와 검출에서 최첨단 성능을 달성했다. 향후 연구에서는 전체 Audioset에 대한 확장 실험, 멀티‑스케일 주의 메커니즘 도입, 그리고 실시간 적용을 위한 경량화 모델 설계가 제안된다.