데이터 기반 중간 수준 음악 특징 모델링

본 논문은 음악 인지 과학과 정보 검색을 연결하는 새로운 연구 흐름을 제시한다. 저자는 음악을 ‘저수준(기본 음향·리듬·화성)’·‘중간 수준(인간이 직접 인지하는 복합 개념)’·‘고수준(감정·장르·스타일)’의 세 단계로 구분하고, 특히 인간 청취자가 직관적으로 느끼는 ‘멜로디성, 조성·리듬 안정성, 조성(모드), 리듬 복잡성, 불협화음, 아티큘레이션’ 등 7가지 중간 특성을 정량화하고 자동화하는 방법을 탐구한다. 데이터 구축 과정은 두 단계로 이루어진다. 첫 번째는 100곡을 선정해 쌍대 비교 방식을 적용, 각 특성별 1~9 단계의 기준곡을 만든다. 두 번째는 5,000곡(각 15초 클립) 에 대해 전문가(음악 교육을 받은 크라우드워커)에게 기준곡과 비교하도록 하여 절대 평점을 부여한다. 각 특성별 크론바흐 알파는 0.72~0.80 정도로 전반적으로 높은 일관성을 보였으며, 리듬 복잡성은 0.27에서 0.47으로 개선되었지만 여전히 낮은 편이다. 특성 예측 모델은 멜스펙트로그램(299×299) 입력을 사용하고, 이미지 분류에 최적화된 Inception‑v3 네트워크를 채택했다. 사전학습 단계에서 Jamendo 데이터셋을 이용해 일반 음악 특성을 학습한 뒤, 중간 특성 라벨에 대해 미세조정하였다. 실험 결과, 멜로디성(ρ≈0.88), 불협화음(ρ≈0.84), 조성 안정성(ρ≈0.79) 등에서 높은 상관관계를 얻었으며, 리듬 복잡성은 상대적으로 낮았다. 응용 실험으로는 두 가지 고수준 과제에 중간 특성을 적용했다. 첫 번째는 Soundtracks 데이터셋(영화 음악)에서 감정 차원(Valence, Arousal, Tension)과 5가지 기본 감정(행복, 슬픔, 분노, 두려움, 성향)을 선형 회귀 모델에 입력해 예측했으며, 기존 저수준 피처만 사용한 모델보다 높은 피어슨 상관계수를 기록했다. 특히 ‘멜로디성’과 ‘주조(메이저)’는 긍정적 감정과, ‘불협화음’과 ‘스태카토 아티큘레이션’은 부정적 감정과 강하게 연결되었다. 두 번째는 MIREX Mood 클러스터(5가지 감정 클러스터) 예측에 7가지 중간 특성만을 사용해 SVM 분류기를 학습, 평균 가중 F1 점수 0.54를 달성했다. 이는 기존 98개 멜로디 피처와 비교해 경쟁력 있는 결과이며, 중간 특성만으로도 충분히 의미 있는 감정 구분이 가능함을 보여준다. 논문의 주요 기여는 다음과 같다. (1) 인간 인지에 기반한 중간 수준 음악 특성 정의와 대규모 라벨링 데이터셋 공개, (2) 멜스펙트로그램 기반 딥러닝 모델을 통한 자동 예측 파이프라인 구축, (3) 감정 인식·클러스터링 등 고수준 MIR 과제에의 실용적 적용 및 성능 향상 입증. 또한, ‘비교‑기준곡’ 방식은 주관적 특성을 객관화하는 새로운 라벨링 전략으로, 향후 다른 문화·장르 특성에도 확장 가능성을 제시한다. 한계점으로는 일부 특성(리듬 복잡성, 조성 안정성)의 낮은 일관성, 15초 클립에 국한된 평가가 전체 곡 구조를 충분히 반영하지 못함, 그리고 현재는 스펙트로그램 기반 CNN에만 초점을 맞춘 점을 들 수 있다. 향후 연구에서는 장시간 시퀀스 모델(LSTM, Transformer)과 가사·악보 등 멀티모달 정보를 결합해 시간적 변동성을 포착하고, 실시간 음악 추천·자동 작곡 시스템에 적용하는 방향이 기대된다.