GAN 기반 스펙트럼 강화로 강인한 음성 인식 구현

본 논문은 자동 음성 인식(ASR) 시스템의 잡음 강인성을 향상시키기 위한 새로운 스펙트럼 기반 GAN 모델을 제안하고, 기존 방법들과의 비교 실험을 통해 그 효과와 한계를 상세히 분석한다. 1. **연구 배경 및 동기** - 기존 ASR 시스템은 잡음 및 잔향에 취약하며, 이를 보완하기 위해 전처리 단계에서 음성 강화가 널리 사용된다. - 최근 SEGAN(시간‑도메인 GAN) 연구는 잡음 억제와 청취 품질 향상에 성공했지만, ASR 성능 향상에 대한 검증은 부족했다. - 이미지‑투‑이미지 변환에서 성공한 pix2pix 구조를 차용해, 로그‑멜 스펙트럼을 직접 매핑하는 방법이 잡음과 잔향 모두에 더 효과적일 것이라는 가설을 세운다. 2. **모델 설계** - **SEGAN**: 1D 컨볼루션 기반의 11‑layer 인코더‑디코더 구조, latent vector z를 사용하지만 실제 실험에서는 z가 무시되는 현상을 발견하고 제거한다. - **FSEGAN**: 2D 컨볼루션 기반의 7‑layer 인코더‑디코더와 스킵 연결을 갖는 pix2pix‑형식 모델. 입력은 128×128 로그‑멜 스펙트럼, 출력은 동일 차원의 깨끗한 스펙트럼. 배치 정규화와 latent vector를 모두 배제해 결정론적 매핑을 구현한다. - 손실 함수는 L1 재구성 손실과 LS‑GAN 손실을 100:1 비율로 결합, 이는 스펙트럼의 전반적인 형태를 유지하면서도 세부적인 현실감을 부여한다. 3. **데이터 및 실험 설정** - **훈련 데이터**: WSJ 청음 코퍼스(81 h)와 YouTube·일상 생활에서 수집한 다양한 잡음(음악, 환경 소음)으로 구성된 멀티‑스타일 데이터. SNR은 0–30 dB, 평균 11 dB. - **잔향 시뮬레이션**: 방 시뮬레이터를 이용해 T₆₀, 방 크기, 스피커·마이크 위치를 무작위화, 훈련과 테스트에 서로 다른 방 설정을 사용. - **ASR 모델**: Listen‑Attend‑Spell(LAS) 구조, 2개의 컨볼루션 레이어 → 양방향 Conv‑LSTM → 3개의 양방향 LSTM → 어텐션 기반 디코더. 입력은 32 ms 윈도우, 10 ms hop, 128‑멜 로그 스펙트럼. - **비교 모델**: (1) Clean‑trained ASR (ASR‑Clean), (2) MTR‑trained ASR (ASR‑MTR), (3) SEGAN‑강화, (4) FSEGAN‑강화, (5) 재학습된 MTR 모델(노이즈+강화 입력), (6) 하이브리드 재학습(L1‑전용 강화 + 원본). 4. **주요 결과** - **SEGAN**: reverberant noise가 포함된 테스트 셋에서 ASR‑Clean의 WER을 80.7%까지 악화, additive noise만 있을 때는 21% 개선. 즉, SEGAN은 잔향 억제에 한계가 있다. - **FSEGAN**: ASR‑Clean에 적용했을 때 WER을 33.3%까지 54% 상대적으로 개선, 하지만 MTR 훈련된 ASR‑MTR(20.3%)보다 여전히 낮다. - **MTR 모델에 FSEGAN 적용**: 단순히 강화된 스펙트럼만 입력하면 성능이 25.4%로 감소, 이는 기존 MTR 모델이 이미 잡음에 강인하도록 학습돼 있어 추가 전처리가 오히려 왜곡을 초래함을 의미한다. - **재학습 실험**: * FSEGAN‑강화 특징만 사용해 재학습한 MTR 모델은 21.0% → 25.4% → 21.0%(재학습) → 17.6%(하이브리드)로 개선. * L1‑전용 강화 모델을 사용한 재학습은 21.4% → 18.0% → 17.1%(하이브리드)로, GAN 손실보다 L1 손실이 ASR에 더 유리함을 확인. - **시각화**: Fig. 3에서 FSEGAN이 잡음과 잔향을 동시에 억제하는 모습을 확인했지만, 판별기가 학습한 “리얼리즘”이 ASR에 필요한 정확한 스펙트럼 세부 정보를 보존하지 못해 MTR 모델에 왜곡을 유발한다는 가설을 제시. 5. **논의 및 한계** - GAN 기반 강화는 전통적인 L1 회귀보다 시각적으로 더 자연스러운 스펙트럼을 생성하지만, ASR 성능 향상에는 크게 기여하지 않는다. 이는 GAN이 “시각적 현실감”을 최적화하는 반면, ASR은 정확한 스펙트럼 값과 신호‑대‑잡음 비율을 더 중시하기 때문이다. - 기존 MTR 훈련이 이미 잡음에 대한 강인성을 확보하고 있기 때문에, 전처리 단계에서 추가적인 변환이 오히려 성능을 저하시킬 수 있다. 따라서 전처리와 모델 훈련을 동시에 고려하는 통합 학습이 필요하다. - 현재는 magnitude 스펙트럼만 사용했으며, phase 정보를 무시한다는 점이 한계다. 인버터블(phase 포함) 변환이나 복소수 스펙트럼을 직접 학습하는 방법이 향후 연구 방향이다. 6. **결론** - 논문은 시간‑도메인 SEGAN이 reverberant 환경에서 한계가 있음을 실증하고, 로그‑멜 스펙트럼 기반 FSEGAN이 보다 나은 성능을 보이지만, 단독 사용 시 MTR보다 뒤진다는 사실을 밝혀냈다. - 가장 효과적인 전략은 기존 MTR 모델에 FSEGAN‑강화 특징을 추가하고, 두 입력을 동시에 사용해 재학습하는 하이브리드 접근법으로, 이는 MTR 대비 7% 상대적 WER 감소를 달성한다. - 최종적으로, ASR 목적에는 GAN의 적대적 손실보다 단순 L1 회귀가 더 실용적이며, 향후 연구는 인버터블 스펙트럼 변환, 다중 목표 손실, 대규모 데이터셋을 활용한 GAN 안정화에 초점을 맞춰야 한다.