템포에 강건한 오디오‑악보 검색을 위한 주의 메커니즘

본 논문은 오디오와 악보 사이의 교차 모달 검색을 위한 임베딩 학습에서 템포 변화가 초래하는 문제를 해결하고자 한다. 기존 연구에서는 컨볼루션 신경망(CNN)을 이용해 고정된 크기의 오디오 윈도우(예: 84프레임)를 입력으로 사용했으며, 이는 템포가 빠르면 동일한 시간 안에 더 많은 음표가, 느리면 적은 음표가 포함돼 임베딩 품질에 편향을 일으켰다. 특히, 악보 이미지의 음표 밀도는 템포와 무관하게 일정하므로, 오디오와 악보 사이의 매핑이 비대칭적으로 작동한다는 한계가 있었다. 이를 극복하기 위해 저자들은 소프트 어텐션 메커니즘을 도입한다. 어텐션 레이어 h는 입력 스펙트로그램 A의 각 프레임에 대해 softmax를 적용해 가중치 a_t를 산출한다. 이후 가중치와 원본 프레임을 곱해 가중된 스펙트로그램을 오디오 임베딩 네트워크 g에 전달한다. 이 과정은 “필요한” 시간 구간을 강조하고, “불필요한” 구간을 억제함으로써 모델이 템포에 관계없이 핵심 음악 정보를 추출하도록 만든다. 어텐션은 학습 과정에서 자동으로 최적화되며, 별도의 라벨이 필요하지 않다. 실험은 클래식 피아노 데이터셋 MSMD를 사용해 수행되었다. 이 데이터셋은 479곡, 53명의 작곡가, 1,129 페이지의 악보와 15시간 이상의 오디오를 포함하며, 정밀한 음표‑노트 헤드 정렬 정보를 제공한다. 실험 설정은 세 가지 모델을 비교한다. (1) BL: 어텐션 없이 기존 구조, (2) BL+AT: 어텐션 적용, 입력 길이 84프레임, (3) BL+AT+LC: 어텐션 적용 + 입력 길이 168프레임(약 4초). 모든 모델은 동일한 32차원 임베딩 공간을 학습하고, CCA(정준 상관 분석)와 pairwise ranking loss를 이용해 교차 모달 정합성을 강화한다. 평가 지표는 Recall@k (k=1,5,25), Mean Reciprocal Rank (MRR), Median Rank (MR)이다. 결과는 다음과 같다. BL은 R@1 41.4%, R@5 63.8%, R@25 77.2%, MRR 0.518, MR 2. BL+AT는 각각 47.6%, 68.2%, 79.4%, 0.571, 2. BL+AT+LC는 55.5%, 77.1%, 85.8%, 0.651, 1. 즉, 어텐션을 도입한 모델이 전반적으로 성능을 끌어올렸으며, 특히 입력 길이를 늘린 BL+AT+LC가 가장 큰 향상을 보였다. 이는 어텐션이 더 넓은 시간적 컨텍스트에서 핵심 구간을 선택적으로 강조함을 의미한다. 어텐션 가중치 시각화(그림 2)에서도 직관적인 패턴이 확인된다. 빠른 템포 구간에서는 가중치가 짧은 구간에 집중되고, 느린 템포에서는 가중치가 넓게 퍼져 있다. 이는 모델이 “음표 밀도”라는 특성을 학습해, 템포가 변해도 악보 스니펫과 일치하는 오디오 구간을 적절히 선택한다는 증거다. 또한, 고정된 악보 이미지 크기(80×100 픽셀)와 달리 오디오 입력은 가변적이므로, 어텐션은 이러한 비대칭성을 보정하는 역할을 수행한다. 논문의 주요 기여는 다음과 같다. 첫째, 고정된 오디오 윈도우에 의존하지 않고, 어텐션을 통해 가변적인 시간 정보를 효율적으로 활용하는 방법을 제시했다. 둘째, 기존 CCA‑기반 임베딩 파이프라인에 최소한의 구조적 변경만으로 어텐션을 통합함으로써, 템포 불변성을 크게 향상시켰다. 셋째, 실제 클래식 피아노 데이터에서 정량적·정성적 평가를 통해 어텐션이 검색 성능을 실질적으로 개선함을 입증했다. 향후 연구 방향으로는 (1) 실제 연주 녹음과 같은 노이즈가 섞인 데이터에 대한 일반화 성능 검증, (2) 다중 헤드 어텐션이나 Transformer 기반 구조를 도입해 더 풍부한 시간‑주파수 상호작용 모델링, (3) 실시간 검색 시스템에 적용해 사용자 인터랙션을 고려한 효율적인 구현, (4) 악보 이미지의 다양한 해상도·표현 방식(예: 손글씨 악보)에도 강인한 임베딩 학습을 위한 확장 등을 제시한다. 전반적으로, 이 논문은 템포 변화에 강건한 교차 모달 음악 검색을 위한 중요한 발판을 제공한다.