독립적 깊이 학습 행렬 분석을 통한 다채널 오디오 분리

본 논문은 다채널 오디오 소스 분리 문제에 대해 새로운 효율적 방법인 Independent Deeply Learned Matrix Analysis(IDLMA)를 제안한다. 기존의 ICA 기반 블라인드 소스 분리 기법인 ILRMA는 소스의 통계적 독립성과 저‑랭크 시간‑주파수 구조를 가정하고, 주파수별 디밍 매트릭스를 추정한다. 그러나 ILRMA의 NMF 기반 스펙트럼 모델은 음악이나 음성처럼 복잡한 스펙트럼 변화를 충분히 포착하지 못한다. 반면, 딥 뉴럴 네트워크(DNN)는 충분한 학습 데이터를 이용해 각 음원의 스펙트럼을 정밀하게 모델링할 수 있다. 하지만 DNN만으로 공간(스페이셜) 모델을 학습하는 것은 마이크 위치, 방 특성 등 다양한 환경 변수 때문에 실용적이지 않다. 따라서 저자는 블라인드 방식으로 디밍 매트릭스(W_i)를 추정하고, 사전 학습된 DNN을 이용해 각 소스의 스펙트럼(분산 행렬 Σ_n)을 업데이트하는 하이브리드 접근법을 고안했다. 핵심 아이디어는 복소수 Student’s t‑분포를 일반화된 소스 생성 모델로 도입하는 것이다. 이 분포는 자유도 파라미터 ν에 따라 Gaussian(ν→∞)과 Cauchy(ν=1) 사이를 연속적으로 연결한다. ν를 조절함으로써 모델의 강건성을 제어할 수 있으며, 특히 ν가 작을수록 DNN이 제공하는 스펙트럼의 급격한 변동을 완화해 수치적 안정성을 높인다. 반대로 ν가 크면 Gaussian에 가까워져 빠른 수렴을 기대한다. 수식적으로는 복소수 Student’s t‑분포의 로그‑우도 L_t(·)를 기반으로 비용 함수를 정의하고, 이를 Majorization‑Minimization(MM) 기법을 이용해 상한 함수를 구성한다. 상한 함수는 기존 ILRMA에서 사용된 Iterative Projection(IP)과 유사한 형태로 변환되며, 디밍 필터 w_in은 식 (18)‑(21)로 업데이트된다. 여기서 가중치 c_ij^n은 σ_ij^n와 |y_ij^n|^2 사이를 ν:2 비율로 내부 분할하는 역할을 하여, 스펙트럼의 급격한 변동을 자연스럽게 평활한다. 또한, 백프로젝션 단계(식 23)를 통해 각 주파수 대역의 스케일을 정규화함으로써 DNN이 제공하는 스펙트럼과 일관된 스케일을 유지한다. DNN 부분은 사전에 학습된 네트워크 DNN_n을 사용한다. 입력은 혼합 신호의 magnitude 스펙트럼 |X̃|_1이며, 출력은 각 음원의 파워 스펙트럼 D_n = DNN_n(|X̃|_1)이다. 손실 함수는 제안된 로그‑우도 기반 형태(식 9·10)로 설계돼, DNN이 최대우도 추정과 동일한 목표를 갖도록 만든다. 네트워크는 4개의 은닉층(각 1024 유닛)과 ReLU 활성화 함수를 사용하며, 정규화와 ADAM 최적화를 통해 200 epoch 동안 학습한다. 학습 과정에서 작은 상수 δ와 정규화 파라미터 λ을 도입해 과적합을 방지한다. 실험은 DSD100 데이터셋을 이용해 베이스·드럼·보컬 3가지 음원을 각각 2채널 혼합 신호로 만든 뒤, 300 ms T60 리버브를 적용한 환경에서 수행되었다. 비교 대상은 (1) 전통적인 ILRMA, (2) DNN+Wiener 필터(DNN+WF), (3) Duong+DNN, (4) 제안된 IDLMA이다. ν 값을 1(Cauchy), 10, 100, 1000, ∞(Gaussian) 등으로 변형해 성능을 평가했다. 결과는 SDR(신호 대 왜곡 비율) 향상 측면에서 IDLMA가 모든 기존 방법을 능가했으며, 특히 ν=1000일 때 가장 높은 SDR을 기록했다. 또한, ν가 클수록 공간 모델 업데이트가 빠르게 수렴하지만, 최종 성능은 중간 ν(예: 100)에서 최고에 도달한다는 트레이드오프가 관찰되었다. 연산 시간도 ILRMA와 비슷하거나 약간 개선돼 실시간 적용 가능성을 시사한다. 결론적으로, IDLMA는 (1) 블라인드 디밍 매트릭스 추정과 사전 학습된 스펙트럼 모델을 자연스럽게 결합, (2) 복소수 Student’s t‑분포를 통해 모델 강건성을 조절, (3) MM 기반 효율적인 최적화 절차를 제공한다는 세 가지 핵심 기여를 한다. 이는 다양한 실환경 오디오 분리 과제—특히 복잡한 음악 신호나 다채널 녹음—에 적용 가능한 강력하고 유연한 프레임워크로 평가된다.