음성 분리를 위한 성능 기반 손실 함수 설계

본 논문은 파형 기반(end‑to‑end) 단일채널 음성 분리 모델에 적용할 수 있는 새로운 손실 함수를 제안하고, 이를 실험적으로 검증한다. 기존의 대부분 연구는 STFT 기반의 스펙트로그램을 입력으로 사용하거나, 파형을 직접 다루는 경우에도 평균제곱오차(MSE) 혹은 L1 손실을 최소화하는 방식에 의존해 왔다. MSE는 신호 간 유클리드 거리를 최소화하지만, 인간 청각이 민감하게 느끼는 왜곡, 간섭, 인공음 등을 반영하지 못한다는 한계가 있다. ### 1. 네트워크 구조 - **프론트엔드**: 기존 STFT 분석·합성 블록을 1‑D 컨볼루션(분석)과 전치 컨볼루션(합성)으로 대체한 ‘Auto‑Encoder Transform (AET)’을 사용한다. - **스무딩 레이어**: 5‑sample 길이의 스무딩 컨볼루션을 통해 STFT magnitude와 유사한 ‘modulation spectrogram’ M을 얻는다. - **분리기**: 두 개의 전결합(Dense) 레이어와 softplus 활성화 함수를 거쳐 목표 스펙트럼을 예측한다. - **역변환**: AET의 합성 레이어를 통해 파형으로 복원한다. AET는 학습 과정에서 데이터에 최적화된 TF 기반을 자동으로 학습하므로, 전통적인 고정된 윈도우·FFT 파라미터에 얽매이지 않는다. ### 2. 손실 함수 설계 #### (a) BSS_Eval 기반 - **SDR (Source‑to‑Distortion Ratio)**: 전체 왜곡을 측정한다. 수식 전개를 통해 SDR를 최대화하는 것이 출력 x와 목표 y 사이의 내적을 최대화하면서 에너지를 최소화하는 것과 동등함을 보인다. - **SIR (Source‑to‑Interference Ratio)**: 목표와 간섭(z) 사이의 상관을 최소화한다. 즉, x와 y는 강하게, x와 z는 약하게 만든다. - **SAR (Source‑to‑Artifact Ratio)**: 인공음(artifact) 억제를 목표로 한다. y와 z가 서로 직교한다는 가정 하에, SAR는 x의 에너지와 y·z와의 상관을 동시에 최소화한다. #### (b) STOI 기반 - **STOI (Short‑Time Objective Intelligibility)**: 인간 청취자 수준의 이해도를 반영한다. 파형을 256‑sample Hanning 윈도우(50% 오버랩)로 STFT하고, 1‑3 옥타브 밴드(15개)로 집계한다. 이후 30‑프레임(≈0.5 s) 윈도우를 사용해 각 밴드별 정규화·클리핑 후 상관을 구하고, 전체 평균을 손실로 사용한다. #### (c) 복합 손실 - 논문에서는 SDR·STOI, SIR·SAR 등 두 개씩 가중합(0.75/0.25, 0.5/0.5 등)한 7가지 조합을 실험한다. 각 손실은 학습 전 1.0으로 정규화해 가중치가 직접 비교 가능하도록 했다. ### 3. 실험 설계 - **데이터**: TIMIT에서 남·여 15쌍을 무작위 선택, 10쌍은 학습(100 mixture), 5쌍은 테스트(50 mixture). 각 문장은 0 dB SNR로 혼합. - **평가**: 객관적인 BSS_Eval·STOI 지표 대신, Amazon Mechanical Turk 기반 청취자 평가(CAQE)를 사용했다. 180명 참여, 4가지 평가 항목(목표 보존, 간섭 억제, 인공음 억제, 이해도) 각각에 대해 5‑점 Likert 스케일을 적용. ### 4. 결과 및 분석 - **목표 보존**: SDR·STOI 조합(0.75 SDR + 0.25 STOI)이 가장 높은 중간값을 기록했으며, 순수 MSE보다 유의미하게 우수했다. - **간섭 억제**: SIR·SAR 조합(0.75 SIR + 0.25 SAR)이 가장 좋은 결과를 보였으며, 순수 SIR보다 인공음 억제까지 고려했을 때 청취자 만족도가 크게 상승했다. - **인공음 억제**: SAR 단독은 별다른 개선을 보이지 않았지만, SIR·SAR 복합 손실에서는 인공음이 현저히 감소했다. - **이해도**: STOI를 포함한 손실(특히 0.5 SDR + 0.5 STOI)에서 청취자 이해도 점수가 가장 높았다. 이는 STOI가 실제 청취 intelligibility와 높은 상관관계를 유지함을 실증한다. 전반적으로, 단일 손실(MSE, SDR)보다 복합 손실이 청취 품질 전반에서 우수했으며, 특히 “SDR + STOI”와 “SIR + SAR” 조합이 각각 왜곡·간섭·인공음·이해도 측면에서 균형 잡힌 성능을 제공한다는 결론을 얻었다. ### 5. 의의 및 한계 - **의의**: BSS_Eval·STOI를 직접 손실로 활용함으로써, 기존에 평가 전용으로만 사용되던 지표들을 학습 목표에 통합했다. 이는 모델이 인간 청각 특성을 직접 학습하도록 유도한다는 점에서 의미가 크다. 또한 AET 기반 전처리는 고정된 STFT 파라미터에 얽매이지 않아, 다양한 샘플 레이트·채널에 적용 가능하다. - **한계**: 1. 손실 함수가 복합적일수록 학습이 불안정해질 위험이 있다(가중치 선택에 민감). 2. STOI 계산에 필요한 STFT·밴드 변환이 추가 연산 비용을 초래한다. 3. 실험은 남·여 2인 혼합에 한정돼 있어, 다중 화자·배경음악 등 복잡한 시나리오에 대한 일반화는 검증되지 않았다. ### 6. 향후 연구 방향 - 가중치 자동 튜닝(예: 메타‑러닝)으로 최적 손실 조합을 탐색. - 실시간 적용을 위한 경량화된 STOI‑근사 손실 설계. - 다채널·다중 화자, 잡음·리버브가 포함된 데이터셋에 대한 확장 실험. **결론**: BSS_Eval와 STOI를 손실 함수로 직접 활용하면, 파형 기반 end‑to‑end 음성 분리 모델이 인간 청취 기준에 더 부합하는 결과를 도출한다. 복합 손실을 적절히 조합하면 MSE나 단일 SDR 대비 전반적인 청취 품질이 크게 향상됨을 실험적으로 입증하였다.