전이학습 기반 데이터 효율적 새소리 분류

본 논문은 새소리 자동 분류에 있어 대규모 라벨링 데이터 확보가 어려운 현실을 극복하고자, 이미지 분야에서 널리 사용되는 전이학습(Transfer Learning) 기법을 음향 스펙트로그램에 적용한 연구이다. 저자들은 먼저 브라질 쿠리티바 지역에서 수집된 2 814개의 새소리 녹음을 ‘SoundNet’이라는 베이스 데이터셋으로 구성하고, 이를 46개의 종으로 라벨링하였다. 이 데이터는 Xeno‑Canto 플랫폼에서 공개된 자료를 기반으로 하며, 각 오디오는 22.05 kHz로 재샘플링 후 FFT 기반 스펙트로그램으로 변환되었다. 스펙트로그램은 프레임 길이 1024 샘플, 87.5 % 오버랩, Hann 윈도우를 사용해 계산하고, 로그 스케일 변환 후 0‑1 정규화하였다. 최종 이미지 크기는 256 × 256 픽셀로 리사이즈하여 기존 ImageNet 이미지와 동일한 입력 형태를 만든다. 목표 데이터셋은 호주 퀸즐랜드 주에서 흔히 관찰되는 10종의 새소리를 351개 샘플(각 종 최소 20개)로 구성하였다. 이 역시 41 kHz 샘플링된 오디오를 동일한 스펙트로그램 처리 파이프라인을 거쳐 256 × 256 그레이스케일 이미지로 변환한다. 추가적으로, 새소리와 무관한 16 930개의 환경 소리를 ‘Negative’ 데이터셋으로 활용해 모델이 비새소리를 구분하도록 돕는다. 모델은 Keras‑TensorFlow 구현의 ResNet‑50을 기반으로 한다. 사전 학습된 ImageNet 가중치를 그대로 로드한 뒤, 첫 번째 1 × 1 컨볼루션 레이어를 삽입해 단일 채널 스펙트로그램을 3채널 RGB 형태로 변환한다. 기존 ImageNet 분류 레이어(1 000 클래스)는 제거하고, 8 × 8 × 2048 형태의 특징 맵에 전역 최대 풀링(Global Max Pooling)을 적용한다. 이후 0.5 드롭아웃을 거쳐 최종 Fully Connected 레이어를 연결하고, 시그모이드 활성화 함수를 사용해 각 클래스별 확률을 출력한다. 베이스 데이터셋에서는 46개 종과 1개의 ‘Negative’ 클래스를 포함해 총 47개의 출력 뉴런을, 목표 데이터셋에서는 10개의 뉴런을 사용한다. 학습은 베이스 데이터와 Negative 데이터를 합쳐 전체 2 857개 샘플을 사용해 진행했으며, 데이터 증강으로는 무작위 크롭(256 × 256)과 회전 등을 적용하지 않았다. 최적화는 Adam 옵티마이저와 교차 엔트로피 손실 함수를 사용했으며, 학습률은 초기 1e‑3에서 점진적으로 감소시켰다. 모델은 5‑fold 교차검증을 통해 평가되었으며, 목표 데이터셋에 대한 평균 검증 정확도는 79 %를 기록했다. 이는 동일 ResNet‑50 구조를 무작위 초기화하여 학습한 경우보다 현저히 높은 성능이며, 전이학습이 소규모 음향 데이터에서도 효과적임을 입증한다. 논문은 또한 전이학습의 두 단계(이미지→스펙트로그램, 베이스→목표)에서 발생하는 도메인 차이를 상세히 논의한다. 첫 번째 단계에서는 이미지 도메인에서 학습된 저수준 에지·텍스처 필터가 스펙트로그램에서도 유용하게 작동함을 확인했으며, 두 번째 단계에서는 대규모 새소리 데이터(베이스)에서 학습된 고수준 종 특이적 특징이 소규모 목표 데이터에 효과적으로 전이됨을 보였다. 한계점으로는 목표 데이터셋이 작아 실제 현장 배포 시 발생할 수 있는 다양한 잡음·중첩 호출에 대한 견고성 검증이 부족하고, 베이스와 목표 데이터 간 종 차이에 대한 정량적 분석이 미흡하다는 점을 들었다. 또한, 전이학습이 없는 베이스 모델 혹은 전통적인 SVM, Random Forest와의 비교 실험이 없어 전이학습의 절대적 이점을 판단하기 어렵다. 그럼에도 불구하고, 이미지‑스펙트로그램 전이학습 파이프라인을 제시함으로써 소규모 음향 데이터에서도 딥러닝을 활용할 수 있는 실용적인 방법론을 제공한다는 점에서 학술적·실무적 의의가 크다.