현실적인 다중 마이크 데이터 시뮬레이션을 통한 원거리 음성 인식

본 논문은 원거리 음성 인식(DSR) 연구에 필수적인 현실적인 시뮬레이션 코퍼스 구축 방법을 제시한다. 저자들은 이탈리아 FBK 연구소와 DIRHA 프로젝트 협업을 통해 실제 아파트 환경을 대상으로 9,000여 개의 충격응답(IR)을 측정하였다. IR 측정에는 ESS(Exponential Sine Sweep) 신호와 고품질 Genelec 8030 스피커를 사용했으며, 이는 기존 MLS나 Linear Chirp 방식보다 높은 SNR과 왜곡 억제 효과를 제공한다. 동시에, 이미지‑소스 메서드(IM)를 변형해 직접성(directivity)까지 모델링한 합성 IR도 생성하였다. 시뮬레이션은 기본적인 컨볼루션 모델 y(t)=x(t)*h(t)+n(t) 를 따르며, 여기서 x(t)는 50‑60 dB SNR을 보장하는 고품질 클로즈‑톡 녹음, h(t)는 선택된 IR, n(t)는 배경 잡음이다. 논문은 잡음보다 reverberation에 초점을 맞추어, 다양한 마이크 배열(천장 6‑채널 배열, 하모닉 배열, 마이크 페어 등)에서 실험을 진행했다. 실험에 사용된 마이크는 Shure MX391/O 옴니디렉셔널 마이크이며, 48 kHz 24‑bit 동기식 녹음이 가능하도록 RME Octamic II 인터페이스에 연결되었다. 음성 인식 시스템은 Kaldi 툴킷 기반이며, MFCC 전처리 후 5단계의 GMM‑기반 모델(tri1‑tri4)과 6층 DNN 모델을 사용한다. GMM 모델은 2.5 k tied states와 15 k 가우시안을 갖고, LDA‑SAT를 적용해 음성 적응을 수행한다. DNN 모델은 2048 뉴런을 가진 6개의 은닉층, 19프레임 컨텍스트 윈도우, RBM 사전학습 및 교차 엔트로피 손실을 최소화하는 SGD 학습으로 구성된다. 실험은 두 종류의 데이터(실제 녹음 데이터와 시뮬레이션 데이터)를 동일한 화자와 문장으로 구성했으며, 각 화자는 아파트 내 여러 위치와 방향에서 272개의 WSJ 문장을 읽었다. 실측 IR과 동일한 위치·방향의 시뮬레이션 데이터를 생성함으로써, 두 데이터셋 간의 직접적인 성능 비교가 가능하도록 설계하였다. 훈련 데이터는 WSJ0(LDC93S6A)를 사용했으며, 여기에는 목표 방과 다른 위치에서 측정된 IR을 적용해 오염(Contaminated) 훈련을 수행하였다. 주요 결과는 다음과 같다. 1. **클로즈‑톡 기준**: 클로즈‑톡 녹음에 대해 DNN 모델은 3.7 % WER을 달성했으며, 이는 실험실 환경에서의 최상위 성능을 보여준다. 2. **단일 마이크 성능**: 원거리 마이크(LA6) 사용 시, GMM 기반 모델은 62‑65 % 수준의 높은 WER을 기록했으며, DNN 모델은 12 % 수준으로 크게 개선되었다. 실측 데이터와 시뮬레이션 데이터 모두에서 동일한 성능 추세가 관찰되었으며, 평균 상대 WER 차이는 6 %에 불과했다. 3. **딜레이‑앤‑섬 빔포밍**: 천장 6채널 배열에 GCC‑PHAT 기반 딜레이‑앤‑섬 빔포밍을 적용했을 때, DNN 모델 기준 실측 데이터 WER이 12 % 감소(10.7 %→7.2 %)했으며, 시뮬레이션 데이터에서도 13 % 감소(11.6 %→7.6 %)를 보였다. 이는 다중 마이크 처리에서도 시뮬레이션 데이터가 실측 데이터를 충분히 대변함을 의미한다. 4. **오라클 마이크 선택**: 각 문장마다 최적의 마이크를 선택하는 오라클 방식을 적용하면, DNN 모델 기준 실측 데이터 WER이 7.2 %까지 낮아졌다. 이는 빔포밍보다 채널 선택이 더 큰 잠재력을 가짐을 시사한다. 5. **IR 종류 비교**: 측정 IR을 사용한 시뮬레이션은 실측 데이터와 거의 동일한 성능 추세를 보였으며, 이미지‑소스 IR을 사용하면 전체적으로 2‑3 % 정도 WER이 상승했다. 이는 이미지‑소스 메서드가 방 내부의 복잡한 반사·흡음 구조를 충분히 모델링하지 못함을 보여준다. 결론적으로, 고품질 클로즈‑톡과 정확히 측정된 IR을 결합한 시뮬레이션은 실제 환경에서의 DSR 성능을 신뢰성 있게 예측한다. 이는 실제 녹음 없이도 다양한 마이크 배열, 음성 모델, 잡음·리버브 조건을 사전 평가할 수 있게 하여, 데이터 수집 비용을 크게 절감하고 연구 개발 주기를 단축한다. 향후 연구에서는 이미지‑소스 메서드에 방 내부 가구·흡음재 모델을 추가하거나, 딥러닝 기반 IR 추정 기술을 도입해 시뮬레이션 현실성을 더욱 향상시킬 수 있다.