보컬과 반주 분리를 위한 최신 연구 동향 총정리

이 논문은 음악 신호에서 보컬(lead)과 반주(accompaniment)를 분리하는 문제를 포괄적으로 정리한다. 서론에서는 음악이 디지털화·스트리밍으로 급변한 현 상황에서 개별 오디오 객체에 대한 접근 필요성을 강조하고, 기존의 블라인드 소스 분리(blind source separation, BSS)와 음성 향상(speech enhancement) 기법이 음악에 그대로 적용되기 어려운 이유를 설명한다. 음악은 다중 악기와 비선형 믹싱, 동적 컴프레션 등으로 인해 ICA와 같은 전통적 가정(독립성, 채널 수 > 소스 수, 선형 혼합)이 깨진다. 따라서 음악 전용 모델이 요구된다. 논문은 크게 두 축으로 나눈다. 첫 번째는 ‘모델 기반(model‑based)’ 접근으로, 이는 사전에 정의된 물리·음악학적 가정을 이용해 보컬 혹은 반주를 모델링한다. 보컬 중심 방법은 보컬이 주로 조화적인 스펙트럼을 가진다는 점에 착안한다. 기본 주파수(F0) 추정, 조화 마스크, 소스‑필터 모델, 그리고 히든 마르코프 모델(HMM) 등을 이용해 보컬의 피치와 진동을 추적한다. 이러한 방법은 피치 변동, 비브라토, 트레몰로 등 보컬 특유의 시간‑주파수 변화를 정밀히 포착할 수 있지만, 피치 추정 오류가 마스크 품질에 직접적인 영향을 미친다. 반주 중심 방법은 반주가 다중 악기와 복합적인 텍스처를 포함하지만, 스펙트럼이 ‘중복성(redundancy)’이 높아 에너지 분포가 넓다는 점을 활용한다. 비조화성(Non‑harmonic) 성분을 강조하거나, 저주파 대역의 에너지 밀도를 이용해 보컬과 구분한다. 대표적인 기법으로는 비조화 마스크, 스펙트럼 차분, 그리고 비음성 전용 딥 네트워크가 있다. 두 모델을 결합한 ‘양측 결합(combined)’ 접근은 보컬의 조화 모델과 반주의 중복 모델을 동시에 적용해 마스크를 공동 최적화한다. 베이즈 규칙이나 확률적 그래프 모델을 이용해 두 마스크를 융합함으로써, 각각의 단일 모델이 갖는 한계를 보완한다. 특히 보컬이 강하게 비조화 악기와 겹칠 때 성능이 크게 향상된다. 두 번째 축은 ‘데이터 중심(data‑driven)’ 접근이다. 대규모 멀티트랙 데이터셋(예: MUSDB18, DSD100)의 등장과 함께, 딥러닝 기반 모델이 급부상했다. 논문은 데이터 확보의 어려움—저작권, 레이블링 비용, 고품질 보컬·반주 분리본의 부족—을 언급하고, 합성 데이터 생성, 데이터 증강, 반지도학(semi‑supervised) 방법을 통해 이를 완화하는 전략을 제시한다. 주요 딥러닝 아키텍처로는 U‑Net, Wave‑U‑Net, Conv‑TasNet, Transformer 기반 모델이 있다. 입력으로는 복소수 STFT, 로그 스펙트럼, 혹은 원시 파형이 사용되며, 출력은 직접적인 파형 복원 혹은 마스크 추정 형태이다. 이러한 모델은 대규모 파라미터와 비선형 매핑을 통해 전통적 마스크 기반 방법보다 높은 SDR(9~10 dB)과 SAR를 달성한다. 스테레오 신호 활용도 중요한 주제이다. 대부분의 상업 음악이 ‘센터‑패닝(center‑panned)’ 보컬을 갖는다는 가정 하에, 좌우 채널의 위상 차이와 레벨 차이를 이용한 마스크가 설계된다. 스테레오 기반 기법은 단일 채널 모델에 비해 보컬/반주 구분을 강화하지만, 비센터 패닝이나 과도한 컴프레션이 적용된 경우 성능이 저하될 수 있다. 평가 섹션에서는 BSS_Eval 지표(SDR, ISR, SAR, SIR)와 인간 청취 실험, PESQ, STOI 등 주관적 청취 품질 지표를 비교한다. 논문은 MUSDB18을 이용한 대규모 베이스라인 실험 결과를 제시하며, 현재 최고 성능 모델이 SDR 기준 9~10 dB 수준임을 밝힌다. 또한 평가 시 데이터셋의 다양성, 믹싱 방식, 그리고 메타데이터(피치, 템포 등)의 영향을 논의한다. 결론에서는 모델 기반과 데이터 중심 접근이 각각 장단점을 가지고 있음을 강조한다. 모델 기반은 물리·음악학적 해석 가능성을 제공하지만, 복잡한 음악 구조를 완전히 포착하기는 어렵다. 데이터 중심은 성능 면에서 우수하지만, 대규모 고품질 데이터와 연산 비용이 필요하다. 향후 연구는 두 접근을 융합한 하이브리드 모델, 멀티모달(가사, 악보) 정보 활용, 그리고 실시간 처리와 같은 응용 분야에 초점을 맞출 것을 제안한다.