실시간 풍음 검출 및 저전력 신경망 기반 소음 억제 시스템

본 논문은 스마트 안경과 같은 착용형 디바이스에서 음성 인식(ASR) 성능을 저해하는 주요 원인인 풍음(바람 소음)을 실시간으로 검출하고, 저전력 멀티마이크 환경에 적합한 신경망 기반 복원 기법으로 보정하는 전체 시스템을 제안한다. 시스템은 두 개의 핵심 모듈, 즉 실시간 풍음 검출(RTWD)과 주의(attentive) 신경망 풍음 억제(ANWS)로 구성된다. 1. **실시간 풍음 검출(RTWD)** - **특징 설계**: 저차원 스펙트럼 중심(SSC)과 2채널 코히런스(MC)를 사용한다. SSC는 0–100 Hz 저주파 대역에서 FFT를 수행한 뒤 스펙트럼 중심을 계산하고, 500 ms 윈도우로 평활한다. 평활된 값에 역가우시안 변환을 적용해 잡음에 강인한 지표를 만든 뒤, 두 마이크 채널 중 최대값을 취한다. - **코히런스 기반 보완**: 코히런스는 두 채널 간 전력 전달 정도를 정량화한다. 풍음은 낮은 MC, 음성은 높은 MC를 보이며, 이를 평균값으로 계산한다. - **결합 및 임계값**: 변환된 SSC와 MC를 각각 임계값으로 이진화하고, 두 값이 모두 기준을 초과하면 풍음이 존재한다고 판단한다. 파라미터(평활 상수 α=0.8, 임계값 등)는 실험적으로 튜닝한다. - **연산 효율**: FFT와 간단한 통계 연산만 사용하므로 학습이 필요 없으며, 다양한 디바이스 형태에 파라미터만 조정하면 적용 가능하다. 2. **주의 신경망 풍음 억제(ANWS)** - **문제 정의**: 풍음은 주로 저주파 대역에 집중되므로 전체 스펙트럼을 복원할 필요가 없다. 저주파 영역만 선택적으로 복원함으로써 연산·메모리 요구량을 크게 낮춘다. - **네트워크 구조**: 얕은 피드포워드 NN(은닉층 150개)으로, 입력은 다채널 컨텍스트 확장 프레임(각 채널당 현재 프레임 ±3 프레임)이며, 특징은 로그 파워 스펙트럼이다. - **학습 데이터**: 5분 분량의 풍음이 섞인 음성/청정 음성 쌍만으로 충분히 학습한다. 이는 저전력 디바이스에 적합한 경량 모델을 만든다. - **복원 과정**: 네트워크는 저주파 영역(예: 0–200 Hz)에서 손상된 스펙트럼을 예측하고, 해당 영역만 교체한다. 나머지 고주파 영역은 원본 신호를 그대로 유지한다. - **장점**: (1) 적은 데이터와 저차원 입력으로도 효과적인 복원 가능, (2) 신호 왜곡 최소화, (3) 실시간 실행 가능. 3. **실험 설정 및 결과** - **플랫폼**: Cirrus DSP(5.5 MIPS)에서 구현, 200 ms 청크, 25 fps, 16 ms 프레임, 8 ms 오버랩. - **검출 성능**: 저풍(≈6 mph)에서 90 % 정확도, 중·강풍(≥10 mph)에서는 거의 100 % 정확도. 마이크 하나가 차단된 경우에도 검출이 유지되는 강인성을 보였다. - **억제 성능**: ASR 워드 오류율(WER)로 평가. 12 mph 풍속에서 ANWS 적용 시 WER를 50 % 이상 감소시켰으며, 15 mph 이상에서는 여전히 인간 청취자가 이해 가능한 수준을 유지했다. - **비교**: 기존의 전통적 스펙트럼 서브트랙션, 적응형 빔포밍(MVDR, GSC) 등은 풍음의 확산 특성 때문에 성능이 저조했으나, 제안된 시스템은 저전력 환경에서도 경쟁력 있는 성능을 달성했다. 4. **논의 및 향후 연구** - 현재 시스템은 사전 정의된 저주파 영역에만 주의를 두고 있으나, 데이터 기반으로 동적으로 주의 영역을 학습하면 다양한 잡음 유형에 대한 확장성이 높아질 것이다. - 노이즈 인식 훈련(noise‑aware training)과 멀티채널 입력 확장을 통해 더 복잡한 환경에서도 성능을 향상시킬 수 있다. - 궁극적으로는 “소음 분류‑억제” 파이프라인을 구축해, 풍음 외에도 교통 소음, 군중 소음 등 다양한 IoT 환경에서 활용 가능한 지능형 오디오 시스템을 구현하는 것이 목표이다. 본 논문은 제한된 연산·메모리 자원을 가진 착용형 디바이스에서 실시간 풍음 검출과 저전력 신경망 기반 복원을 성공적으로 구현함으로써, ASR 성능을 크게 향상시키고 인간 청취자에게도 유용한 음성 품질을 제공한다는 점에서 실용적이며 학술적인 기여가 크다.