딥러닝과 전통 특징 융합을 통한 환경음 인식 향상

본 논문은 환경음(Acoustic Scene) 인식 분야에서 최근 두드러진 흐름인 딥러닝 기반 자동 특징 학습과 전통적인 손수 설계된 저수준 오디오 특징을 활용한 머신러닝을 동시에 적용한 하이브리드 시스템을 제안한다. 연구 동기는 기존의 손잡이 특징 기반 방법이 높은 도메인 전문지식과 설계 비용을 요구하는 반면, 딥러닝 기반 방법은 대규모 라벨링 데이터와 복잡한 모델 설계가 필요하다는 점에서 각각의 한계를 보완하고자 한다. 시스템은 크게 세 부분으로 구성된다. 첫 번째는 로그‑멜 스펙트로그램을 입력으로 하는 2‑계층 CNN이다. 입력 신호는 10초 길이의 녹음을 1.5초(75프레임) 구간으로 나누어 75×128 크기의 패치로 변환한다. 첫 번째 컨볼루션 레이어는 네 가지 서로 다른 세로형 필터(3×8, 3×32, 3×64, 3×90)를 병렬로 적용해 주파수 축의 다양한 패턴을 포착한다. 각 필터 집합은 48, 32, 16, 16개의 채널을 갖으며, 이후 배치 정규화와 ReLU 활성화를 수행한다. 5×5 풀링을 통해 시간‑주파수 차원을 축소하고, 두 번째 컨볼루션 레이어에서는 5×5 정사각형 필터 224개를 적용한다. 여기서도 배치 정규화와 ReLU를 적용하고, 전역 시간 풀링을 통해 최종 특징 맵을 1차원으로 펼친 뒤, 15개의 클래스에 대한 소프트맥스 출력을 얻는다. 네트워크는 사전 활성화(pre‑activation)를 도입해 입력 직후 배치 정규화와 ReLU를 적용함으로써 학습 초기의 불안정성을 감소시키고, L2 정규화(λ=10⁻⁵)를 적용해 과적합을 억제한다. 최적화는 Adam 옵티마이저(초기 학습률 0.002)를 사용하고, 검증 손실이 5 epoch 연속 감소하지 않을 경우 학습률을 절반으로 감소시키는 스케줄링을 적용한다. 조기 종료는 검증 손실이 15 epoch 동안 개선되지 않을 경우 발생한다. 두 번째는 Gradient Boosting Machine(GBM) 기반의 전통적인 특징 학습 파이프라인이다. 여기서는 Essentia 라이브러리의 FreesoundExtractor를 이용해 820차원의 프레임‑레벨 특징을 추출한다. 추출되는 특징에는 Bark 밴드 에너지, ERB 밴드 에너지, 멜 밴드 에너지, MFCC, 스펙트럼 특성, 피치, 침묵 비율, HPCP, GFCC 등이 포함된다. 각 10초 녹음은 7개의 비중첩 세그먼트(첫 6개는 1.5초, 마지막은 1초)로 나뉘며, 각 세그먼트에 대해 평균·분산·1차·2차 미분 평균·분산을 계산해 205×4 차원의 통계 벡터를 만든다. 고차원 특징의 중복성을 줄이고 과적합을 방지하기 위해 선형 판별 분석(LDA)을 적용해 차원을 64, 128, 256, 512 중 하나로 압축한다. LightGBM 구현을 선택해 학습 속도와 메모리 효율을 높였으며, 학습률, 최대 빈도(max_bins), 리프 수(num_leaves), 최소 샘플 수(min_data_in_leaf) 등 네 가지 하이퍼파라미터와 LDA 차원을 그리드 서치한다. 교차 검증은 개발 셋을 4‑fold로 나누어 수행한다. 최적 하이퍼파라미터 조합은 검증 정확도를 기준으로 선택된다. 세 번째 단계는 두 모델의 예측을 결합하는 late‑fusion이다. 각 모델은 개발 셋에 대해 클래스별 확률 분포를 출력한다. 결합 방법으로는 (1) 산술 평균, (2) 기하 평균, (3) 순위 평균 등 비학습 기반 방법과, (4) 검증 셋 확률을 입력으로 하는 메타‑분류기(예: 로지스틱 회귀) 등 학습 기반 방법을 실험한다. 실험 결과, 가장 간단한 기하 평균이 가장 높은 성능을 보였으며, 이는 두 모델이 제공하는 확률 분포가 서로 보완적이라는 점을 확인시켜준다. 성능 평가에서는 TUT Acoustic Scenes 2017 데이터셋을 사용한다. 개별 CNN은 61.2% 정확도, 개별 GBM은 66.5% 정확도를 달성했으며, 두 모델을 기하 평균으로 융합한 최종 시스템은 72.8% 정확도를 기록했다. 이는 기존 베이스라인(≈61%) 대비 11.8%p 향상된 수치이며, 특히 복잡한 딥러닝 모델을 사용하지 않으면서도 높은 성능을 달성한 점이 주목할 만하다. 본 연구의 주요 기여는 다음과 같다. 첫째, 얕은 CNN이라도 필터 형태를 다양화함으로써 스펙트럼 구조를 효과적으로 학습할 수 있음을 보였다. 둘째, 전통적인 저수준 특징과 강력한 트리 기반 앙상블 모델이 딥러닝이 놓치기 쉬운 전역 통계 정보를 보완한다는 점을 실증했다. 셋째, 복잡한 다중 스케일 네트워크보다 설계가 간단한 두 모델을 적절히 결합하는 것이 실용적인 환경음 인식 시스템 구축에 유리함을 제시했다. 향후 연구에서는 더 다양한 필터 형태와 심층 네트워크를 결합하거나, 멀티모달(영상·위치) 정보를 포함한 확장된 융합 전략을 탐색할 수 있다.