소형 발자국을 위한 약한 라벨 다중 인스턴스 학습 기반 오디오 이벤트 탐지

본 연구는 강한 라벨(시간‑레벨)이 없는 대규모 음성 데이터에 대해 실시간 및 저전력 환경에서 동작 가능한 오디오 이벤트 탐지(AED) 시스템을 설계하고자 한다. 기존의 최첨단 AED는 강한 라벨이 전제된 CNN‑RNN 구조를 사용해 높은 정확도를 얻지만, 라벨링 비용과 모델 복잡도 때문에 실제 적용에 제약이 있다. 이를 해결하기 위해 저자들은 두 가지 핵심 전략을 도입한다. 첫째, 다중 인스턴스 학습(MIL)이라는 약한 라벨 학습 패러다임을 적용한다. 오디오 클립을 1 초 길이의 세그먼트(인스턴스)로 나누고, 전체 클립을 bag으로 간주한다. MIL의 기본 가정에 따라 “양성 bag은 최소 하나의 양성 인스턴스를 포함한다”는 원칙을 사용해, 각 클래스별 최대 점수를 내는 인스턴스만을 역전파에 활용한다. 이렇게 하면 인스턴스‑레벨 분류기가 학습되며, 실시간으로 개별 세그먼트에 대한 예측이 가능해 실시간 경보 시스템에 적합하다. 둘째, 사전 학습된 CNN으로부터 추출한 오디오 임베딩을 피처로 사용한다. 저자들은 VGG‑16 기반의 CNN을 1 초 로그‑멜 스펙트로그램에 적용해, penultimate layer의 512 차원 벡터를 임베딩으로 추출한다. 이 임베딩은 원시 스펙트로그램보다 더 풍부한 음향 정보를 담고 있어, MIL 과정에서 최대 풀링에 의해 선택되는 인스턴스가 보다 의미 있는 특성을 반영한다. 임베딩을 사용함으로써 초기화 문제와 잡음에 대한 민감성을 크게 완화한다. 시스템 구성은 두 단계로 이루어진다. (1) 임베딩 CNN: VGG‑16 앞부분을 차용하고, 추가 FC 레이어(512 차원)를 통해 임베딩을 생성한다. 클립‑레벨 검증 정확도가 가장 높은 모델을 선택해 최종 임베딩을 만든다. (2) MIL‑DNN: 임베딩을 입력으로 하는 4‑layer 완전 연결 신경망(512‑512‑256‑128)이며, 각 레이어에 ReLU와 배치 정규화를 적용한다. 클래스별 sigmoid 출력에 대해 binary cross‑entropy 손실을 사용하고, 클래스 불균형을 보정하기 위해 역빈도 가중치를 부여한다. 최대 풀링은 각 클래스별 인스턴스 점수 중 최댓값을 선택해 bag‑level 예측을 만든다. 실험은 DCASE 2017에서 제공한 AudioSet 서브셋(17 클래스, 51 172 클립, 약 142 시간)을 사용했다. 베이스라인은 DCASE에서 제시한 MLP(파라미터 13 K)이며, F1 점수는 10.9 %에 불과했다. MIL‑CNN(파라미터 29 M)으로 22.4 %의 F1를 달성했으며, 임베딩을 도입한 MIL‑DNN(파라미터 0.7 M)으로 31.4 %까지 끌어올렸다. 이는 파라미터 수가 40배 이상 감소하면서도 성능이 크게 개선된 사례다. 또한 3‑layer Bi‑LSTM을 교체했을 때 성능 차이가 미미함을 확인해, 순환 구조가 반드시 필요하지 않음을 입증했다. 모델 앙상블(가중치 투표)로 F1 = 35.3 %를 기록했으며, AudioSet‑8M에서 사전 학습된 임베딩을 사용하면 최종적으로 46.5 %까지 상승한다. 논의에서는 모델 복잡도와 실시간 처리 능력을 강조한다. DNN 기반 MIL은 GPU에서 초당 2 500 샘플을 처리해 RNN 대비 5배 빠른 추론 속도를 보이며, 인스턴스‑레벨 예측이 가능해 차량용 실시간 경보 시스템 등에 적합하다. 또한 임베딩과 분류기를 분리 학습함으로써 대규모 약한 라벨 데이터에서 전이 학습을 손쉽게 적용할 수 있다. 다만 임베딩 CNN의 선택이 최종 성능에 큰 영향을 미치며, 모든 임베딩이 동일한 효과를 보이지 않는 점은 향후 연구 과제로 남는다. 결론적으로, 이 논문은 “작은 발자국” 모델을 목표로 약한 라벨 데이터와 사전 학습 임베딩을 결합한 MIL 프레임워크를 제시함으로써, 높은 정확도와 낮은 연산량을 동시에 달성한다는 중요한 교훈을 제공한다.