에코를 활용한 소리 분리 혁신

본 논문은 실내 음향 환경에서 흔히 발생하는 다중 경로(에코)가 오히려 소리 분리 성능을 향상시킬 수 있다는 역설적인 가설을 검증한다. 기존 연구들은 에코를 무시하거나 전체 방 응답을 복잡하게 추정하려 했지만, 저자는 ‘가상 마이크’라는 간단한 모델을 제안한다. 방의 벽면 위치를 알면, 각 벽에서 반사된 초기 에코를 가상 마이크 위치로 간주할 수 있다. 실제 마이크와 가상 마이크가 이루는 복합 배열은 마이크 간 전송 함수의 크기와 위상이 서로 다르게 만들어, 다채널 정보를 효과적으로 활용할 수 있게 된다. 논문은 먼저 이론적 모델을 정립한다. 각 소스 j와 마이크 m 사이의 방 응답 h_{jm}(t)는 직진 경로와 K개의 초기 에코(최대 6개)로 구성하고, 나머지 늦은 잔향은 오류 항 e_{jm}(t) 로 남긴다. 전송 함수 b_H_{jm}(ω) 는 이 K개의 에코만을 이용해 근사한다. 전파가 원거리(far‑field)라고 가정해 도착 시간 차이만을 사용하고, 반사 계수는 모든 벽을 동일하게 가정해 단순화한다. 이렇게 얻은 b_H는 복소수 형태이므로 magnitude‑only 알고리즘(MU‑NMF)과 magnitude+phase 알고리즘(EM‑NMF) 모두에 적용 가능하다. 다음으로 두 가지 기존 다채널 NMF 기반 분리 기법을 변형한다. MU‑NMF는 Itakura‑Saito 발산을 최소화하며, 전송 함수의 크기 Q_{jm}=|b_H_{jm}|^2 를 이용해 각 마이크의 스펙트럼을 모델링한다. 무에코 상황에서는 Q가 모든 마이크에 대해 동일해져, universal dictionary 를 사용할 경우 소스 구분이 불가능한데, 이는 실험 결과에서도 확인된다. 반면, 에코를 포함하면 Q가 마이크마다 달라져, dictionary 기반 활성화 추정이 의미 있게 된다. EM‑NMF는 복소 가우시안 모델을 사용해 전송 함수의 위상까지 고려한다. 무에코에서는 전송 행렬이 완전한 선형 시스템을 이루어 거의 완벽한 분리가 가능하지만, 실제 환경에서는 모델 오차가 성능을 저하시킨다. 저자는 b_H를 고정하고 EM 절차를 진행함으로써, 학습 기반 전송 행렬을 사용하는 경우와 동등하거나 더 나은 결과를 얻는다. 실험은 3개의 마이크가 삼각형 형태로 코너에 배치된 3‑D 방을 시뮬레이션했다. 40개의 스피커를 무작위 위치에 배치하고, 이미지 소스 모델(pyrroomacoustics)로 실제 RIR을 생성했다. 벽 흡수율 0.4(T60≈100 ms) 하에서 1~6개의 가장 가까운 에코만을 추출해 전송 함수를 구성하였다. 두 종류의 dictionary를 사용했는데, 보편적 dictionary(500 atom)와 화자‑특정 dictionary(각 화자당 20 atom)이다. 성능 평가는 SDR과 SIR을 사용했으며, 각 실험은 780개의 소스 쌍에 대해 반복 수행했다. 결과는 다음과 같다. MU‑NMF에서 보편적 dictionary 를 사용할 경우, 무에코 혹은 에코를 무시한 상황에서는 SIR이 0 dB 수준으로 거의 분리되지 않는다. 그러나 1개의 에코만으로도 평균 SDR이 약 2 dB, SIR이 5 dB 향상된다. 에코 수를 6개까지 늘리면 SDR이 추가로 2 dB, SIR이 5 dB 정도 더 개선된다. 화자‑특정 dictionary 를 사용할 경우, 에코 없이도 어느 정도 분리가 가능하지만, 에코를 포함하면 학습 기반 전송 행렬과 동등하거나 더 좋은 성능을 얻으며, 성능 변동성이 크게 감소한다. EM‑NMF에서는 무에코 상황이 거의 완벽하지만, 에코를 포함하면 학습 기반보다 최대 3 dB 정도 SDR이 개선되고, 1~3개의 에코만으로 포화 현상이 나타난다. 이러한 실험 결과는 ‘전송 함수를 완전히 추정할 필요 없이, 몇 개의 가상 마이크 위치만 알면 충분히 좋은 공간 다양성을 확보할 수 있다’는 중요한 통찰을 제공한다. 특히 magnitude‑only 알고리즘에서는 에코가 없을 때 발생하는 차원 축소 문제를 해결해 주며, phase‑aware 알고리즘에서도 모델 오차를 보완한다. 저자는 향후 실제 마이크 배열에 적용하거나, 에코 수를 자동 추정하는 블라인드 방법을 개발한다면, 실시간 음성 비서, 회의 시스템 등 다양한 실내 음성 처리 응용에 큰 도움이 될 것으로 기대한다.