약한 라벨만으로 강한 라벨을 학습하는 스택형 CNN‑RNN 기반 사운드 이벤트 검출

본 논문은 약한 라벨(음향 이벤트가 존재한다는 태그)만 제공되는 대규모 오디오 데이터에서, 각 이벤트의 시작·종료 시점을 나타내는 강한 라벨을 학습하는 새로운 방법을 제안한다. 기존에는 강한 라벨을 얻기 위해 수작업 어노테이션이 필요했으나, 이는 비용이 많이 들고 규모 확장이 어렵다. 저자들은 이러한 문제를 해결하기 위해, 스택형 컨볼루션 신경망(CNN)과 양방향 게이트 순환 유닛(Bi‑GRU)으로 구성된 네트워크에 두 개의 예측 레이어를 순차적으로 배치한다. 첫 번째 레이어는 프레임 단위 강한 라벨을 예측하고, 두 번째 레이어는 강한 라벨을 압축해 전체 오디오에 대한 약한 라벨을 출력한다. 입력 특징은 10 초 길이 오디오를 40 ms 해밍 윈도우와 50 % 오버랩으로 나누어 얻은 로그 멜밴드 에너지(mbe)이며, 40개의 멜 밴드가 0–22050 Hz 범위에 걸쳐 있다. 10 초 오디오는 500개의 프레임으로 변환되어 T × 40(=500 × 40) 형태의 행렬이 된다. 네트워크는 3개의 3 × 3 CNN 레이어(각 64필터)와 주파수 축에만 적용되는 max‑pooling(1 × 5, 1 × 4, 1 × 2)으로 구성돼, 시간 해상도를 유지하면서 주파수 차원을 점차 축소한다. 이후 2개의 Bi‑GRU(각 128유닛)와 32‑유닛 전결합 층을 거쳐, 시간‑분산(Dense) 레이어를 통해 T × C(강한 라벨)와 C(약한 라벨) 출력을 만든다. 여기서 C는 17개의 사운드 이벤트 클래스이다. 마지막 sigmoid 활성화는 다중 라벨을 독립적으로 예측하도록 한다. 훈련 단계에서 강한 라벨이 존재하지 않으므로, 약한 라벨을 프레임 수(T)만큼 복제해 ‘가짜’ 강한 라벨을 만든다. 강한 라벨과 약한 라벨 각각에 대해 이진 교차 엔트로피 손실을 계산하고, α와 β라는 가중치를 곱해 합산한다. 손실 가중치를 조절함으로써 네트워크가 어느 쪽 라벨에 더 집중하도록 할 수 있다. 실험에서는 α = β = 1이 가장 좋은 결과를 보였으며, 강한 라벨 손실에 더 높은 가중치를 주면 강한 라벨의 Error Rate(ER)이 약간 개선되는 현상도 관찰되었다. 데이터는 DCASE 2017 챌린지에서 제공된 YouTube 기반 AudioSet 서브셋으로, 총 155 시간, 17개의 사운드 클래스가 포함된다. 훈련 세트는 51 172개의 10 초 녹음, 테스트 세트는 488개이며, 테스트에는 실제 강한 라벨이 제공된다. 평가 지표는 약한 라벨에 대해 Precision, Recall, F‑score, 강한 라벨에 대해 1 초 세그먼트 기반 F‑score와 Error Rate(ER)이다. 베이스라인은 2개의 은닉층(각 50유닛)과 20 % dropout을 갖는 완전 연결망이며, 약한 라벨 복제 방식을 동일하게 적용한다. 제안 모델은 약 21만 개 파라미터를 갖고, 베이스라인 대비 강한 라벨 ER을 1.02에서 0.84로 22 % 감소시키고, 약한 라벨 F‑score를 13.1 %에서 43.3 %로 크게 향상시켰다. 드롭아웃 비율 실험에서는 0.15가 최적이며, 가중치 조합 실험에서도 동일 가중치(α = β = 1)가 가장 안정적인 성능을 보였다. 이 연구는 약한 라벨만으로도 강한 라벨 정보를 효과적으로 학습할 수 있음을 증명한다. CNN‑RNN 구조가 시간‑주파수 특성을 잘 포착하고, 두 단계 예측 설계가 멀티태스크 학습에 유리함을 보여준다. 그러나 복제된 강한 라벨이 실제와 차이가 있기 때문에, 라벨 노이즈에 대한 민감도가 존재한다. 향후 연구에서는 실제 강한 라벨을 일부 포함한 반지도학습(semi‑supervised) 접근이나, 멀티‑인스턴스 러닝(MIL)과 결합해 라벨 품질을 보강하는 방안을 탐색할 수 있다.