흐름·확산 브리지 모델을 재해석한 새로운 음성 향상 프레임워크

본 논문은 음성 향상(Speech Enhancement, SE) 분야에서 최근 각광받고 있는 흐름 매칭(Flow Matching, FM)과 확산 브리지(Schrödinger Bridge, SB) 기반 생성 모델을 하나의 통합 이론적 프레임워크로 재구성한다. 서론에서는 기존의 예측 기반 모델(노이즈를 직접 매핑)과 생성 기반 모델(조건부 확률 분포를 학습) 사이의 차이를 설명하고, 특히 FM·SB와 같은 최신 생성 모델이 복잡한 확률 흐름을 설계하면서도 실제 동작은 예측과 유사하다는 점을 지적한다. 관련 연구 파트에서는 점수 기반 확산 모델, SB(또는 DDBM) 모델, 그리고 FM 모델 각각의 수학적 배경을 정리한다. 점수 기반 확산 모델은 전방 SDE d xₜ = fₜ(xₜ, y) dt + gₜ dwₜ 로 시작해 역방향 SDE와 PFODE를 통해 샘플링한다. 여기서 fₜ와 gₜ는 OU, BB 등 다양한 형태로 정의될 수 있다. SB 모델은 경계 조건(노이즈·깨끗 음성이 Dirac) 하에 경로 측정 최적화를 수행하며, 전·후방 SDE와 확률 경로 pₜ(xₜ|s,y) = N(αₜ · s + \barαₜ · y, …) 로 표현된다. FM 모델은 ODE 형태 d xₜ = uₜ(xₜ|s,y) dt 로 정의되며, Gaussian 경로를 가정하면 uₜ는 평균·분산의 시간 미분을 이용해 명시적으로 구한다. 핵심 기여는 3.1절에서 제시된 “통합 프레임워크”이다. 저자는 확률 경로를 일반적인 Gaussian 형태 pₜ(xₜ|s,y)=N(µₜ,σₜ²I) 로 두고, 평균을 µₜ = aₜ s + bₜ y 로 파라미터화한다. 이를 바탕으로 ODE(식 13)와 SDE(식 14‑15)를 일반화된 형태로 도출하고, 기존 모델들의 aₜ, bₜ, σₜ 파라미터를 표 1에 정리한다. 이 과정에서 OUVE, BBED, SB‑VE, OT‑CFM 등 다양한 모델이 동일한 수식 체계 안에 포함됨을 보인다. 다음으로 3.2절에서는 “예측적 성질”을 이론적으로 증명한다. 데이터 예측 손실(즉, 네트워크가 직접 깨끗 음성 s 를 예측하도록 학습)으로 학습된 경우, 샘플링 단계에서 네트워크의 출력은 실제 깨끗 음성에 대한 추정치와 동일한 역할을 한다. 따라서 전체 샘플링 과정은 N개의 작은 예측 단계의 가중합으로 해석될 수 있다. 이 결과는 생성 모델이 복잡한 확률 흐름을 이용하더라도 본질적으로는 “예측 모델”과 동등함을 의미한다. 이론적 통합을 바탕으로 저자는 새로운 “향상된 브리지 모델”을 설계한다. 주요 설계 요소는 다음과 같다. (1) 고성능 백본: 최신 Conformer‑like 구조를 채택해 시간‑주파수 특성을 효과적으로 포착한다. (2) 시간 임베딩: t 를 sinusoidal 혹은 learnable embedding 으로 인코딩해 각 단계의 조건 정보를 강화한다. (3) 정제된 예측 손실: L2 손실에 더해 SI‑SNR, PESQ 기반 가중치를 결합해 음성 품질을 직접 최적화한다. (4) 파인튜닝 전략: 사전 학습된 모델을 기반으로 작은 학습률로 미세 조정해 최종 성능을 끌어올린다. 실험에서는 두 가지 대표적인 SE 태스크(노이즈 제거와 리버브 제거)를 대상으로, 공개 데이터셋(예: VoiceBank‑DEMAND, REVERB)에서 기존 최첨단 FM·SB·Diffusion 모델과 비교했다. 제안 모델은 파라미터 수가 30%~40% 감소하고, 연산량(FLOPs)도 유사하거나 낮음에도 불구하고 PESQ, STOI, SI‑SNR 등 모든 지표에서 우수한 성능을 기록했다. 특히 샘플링 스텝을 10 이하로 줄여도 성능 저하가 미미했으며, 이는 “예측적 성격”이 모델 효율성의 핵심임을 실증한다. 마지막으로 논문은 생성 프레임워크가 예측 손실에 크게 의존하기 때문에 근본적인 성능 상한이 존재한다는 한계를 제시한다. 즉, 현재 설계된 Gaussian 경로와 예측 손실만으로는 깨끗 음성의 완전한 복원을 보장할 수 없으며, 향후 연구에서는 비가우시안 경로, 다중 목표 최적화, 혹은 예측 손실 외의 새로운 학습 목표를 탐색해야 한다고 제언한다.