음악 검색을 위한 오디오와 가사의 깊은 교차 모달 상관 학습

본 논문은 음악 검색 분야에서 오디오와 가사라는 두 개의 서로 다른 시계열 모달리티 간의 의미적·시간적 상관관계를 학습하는 새로운 프레임워크를 제시한다. 기존의 교차 모달 검색 연구는 주로 이미지‑텍스트, 비디오‑오디오 등 정적인 특성을 가진 데이터에 집중했으며, 오디오와 가사처럼 시간 축을 공유하는 데이터에 대한 연구는 미비했다. 저자들은 이러한 공백을 메우기 위해 두 개의 독립적인 딥 뉴럴 네트워크(오디오 브랜치와 가사 브랜치)를 설계하고, 각각의 출력 임베딩을 정준공분산 분석(CCA)의 비선형 확장인 Deep CCA(DCCA) 손실을 통해 공동 정규화된 의미 공간에 매핑한다. 가사 처리 파이프라인은 사전 학습된 Doc2vec 모델을 사용해 각 곡의 전체 가사를 고정 차원의 벡터로 변환한다. Doc2vec은 대규모 코퍼스에서 단어와 문맥을 학습한 뒤, 문서 수준 임베딩을 제공하므로 가사의 전반적인 의미를 압축하는 데 적합하다. 변환된 가사 벡터는 전결합(fully‑connected) 레이어를 거쳐 차원을 축소하고, 비선형 활성화 함수를 적용해 DCCA 입력 형태로 만든다. 오디오 브랜치는 두 가지 변형을 제시한다. 첫 번째는 공개된 음악 태깅용 CNN(예: VGG‑like 구조)을 사전 학습된 상태로 사용하고, 그 뒤에 전결합 레이어를 추가해 DCCA에 맞는 저차원 임베딩을 만든다. 두 번째는 ‘end‑to‑end’ 방식으로, mel‑spectrogram을 입력으로 하는 CNN을 무작위 초기화한 뒤 DCCA 손실과 동시에 학습한다. 이 경우 CNN 파라미터가 직접 DCCA 목표에 최적화되므로, 오디오의 시간‑주파수 패턴이 가사와의 상관관계에 더 민감하게 조정된다. DCCA 손실은 두 네트워크의 출력 임베딩 사이의 상관을 최대화한다. 구체적으로, 각 모달리티에 대한 비선형 매핑 ϕₓ, ϕᵧ를 학습하고, 정준 가중치 wₓ, wᵧ를 통해 선형 투영 후 코사인 상관을 계산한다. 최적화는 전체 네트워크(오디오 CNN + 전결합, 가사 전결합)와 정준 가중치를 동시에 업데이트하는 방식으로 진행된다. 이 접근법은 전통적인 CCA가 선형성에 제한되는 문제를 완화하고, 복잡한 비선형 관계를 포착한다. 실험은 두 가지 검색 시나리오를 포함한다. (1) 오디오 클립을 쿼리로 사용해 가장 관련성 높은 가사 텍스트를 반환하고, (2) 가사 구절을 쿼리로 사용해 해당 오디오를 찾는다. 데이터셋은 공개된 멀티모달 음악 코퍼스(예: Million Song Dataset와 연동된 가사 데이터)에서 추출했으며, 평가 지표는 평균 정밀도@k와 정규화된 상호 정보(NDCG) 등을 사용했다. 결과는 특히 end‑to‑end CNN + DCCA 조합이 사전 학습 CNN 대비 5~8% 정도의 MAP 향상을 보이며, 가사‑오디오 간의 시간적 정렬을 효과적으로 학습함을 입증한다. 논문은 다음과 같은 주요 기여를 제시한다. 첫째, 오디오와 가사 간의 교차 모달 상관 학습을 위한 최초의 딥 네트워크 기반 프레임워크를 제안한다. 둘째, 두 모달리티를 동일한 정규화된 의미 공간에 매핑하기 위해 DCCA를 손실 함수로 채택함으로써 비선형 상관을 효과적으로 학습한다. 셋째, 오디오 브랜치에서 사전 학습 CNN과 end‑to‑end 학습 두 가지 접근을 비교 분석하고, 후자가 더 나은 성능을 보임을 실증한다. 한계점으로는 가사 인코더가 Doc2vec에 의존해 문맥적 깊이가 제한적이며, 오디오 입력이 고정된 길이의 spectrogram으로 제한돼 곡 전체 구조를 완전히 포착하지 못한다는 점을 들 수 있다. 또한, 대규모 멀티모달 학습 시 계산 비용이 크게 증가한다는 실용적 제약도 존재한다. 향후 연구에서는 Transformer 기반 가사 인코더와 Temporal Convolutional Network 혹은 Self‑Attention 기반 오디오 인코더를 도입해 시계열 정합성을 더욱 정교하게 모델링하고, 멀티태스크 학습을 통해 장르·감정 등 부가적인 메타 정보를 동시에 학습하는 방향을 제시한다.