비지도 적대 학습을 활용한 도메인 적응 기반 강인한 음성 인식

본 논문은 깨끗한 클로즈톡 음성으로 학습된 DNN‑HMM 기반 음향 모델을, 라벨이 없는 원거리·단일 마이크 녹음 데이터에 비지도 적대 학습을 적용해 도메인 적응을 수행하는 방법을 제안한다. 연구 배경으로는 far‑field 음성 인식이 환경 잡음·리버브 등으로 인해 정확도가 크게 저하되는 문제와, 다양한 녹음 환경을 모두 커버하는 데이터 수집이 현실적으로 어렵다는 점을 들었다. 기존에는 가중치 전이, 다중 작업 학습, 잡음 강화, 스피커 적응 등 여러 전이 학습 기법이 사용되었지만, 라벨이 없는 타깃 도메인에 대한 효과적인 적응 방법은 부족했다. 제안 방법은 두 개의 손실을 동시에 최적화하는 적대 다중 작업 학습 프레임워크에 기반한다. 첫 번째 손실 L_y는 소스 도메인(채널1)에서 라벨이 있는 데이터에 대해 센노(음소) 분류를 수행하는 교차 엔트로피 손실이며, 두 번째 손실 L_d는 도메인 판별기(소스/타깃)에서 소스와 타깃 데이터를 구분하는 교차 엔트로피 손실이다. 공유 특징층 θ_f 는 L_y에 대해 일반적인 경사 하강법으로 업데이트되지만, L_d에 대해서는 Gradient Reversal Layer(GRL)를 통해 기울기의 부호를 반전시켜 업데이트한다. 이 과정에서 λ라는 스칼라 계수를 도입해 L_d의 영향력을 조절한다. λ는 초기 0에서 시작해 점진적으로 증가시키는 스케줄(λ_e = min(e/10,1)·λ)을 사용함으로써, 초반에는 센노 분류가 안정적으로 학습되고 이후에 도메인 불변성을 강화한다. 실험은 독일 슈투트가르트 대학의 SPEECON 코퍼스를 활용한다. 이 코퍼스는 이탈리아어와 프랑스어 두 언어에 대해 4개의 마이크 채널(채널1~4)로 녹음된 데이터를 제공한다. 채널1은 클로즈톡 헤드셋, 채널4는 원거리 옴니디렉셔널 마이크로, 본 연구의 타깃 도메인에 해당한다. 베이스라인 모델은 8개의 은닉층(각 1024 유닛)과 9315개의 센노 클래스를 갖는 DNN‑HMM이며, 입력은 23‑밴드 로그 멜 필터뱅크 + Δ/ΔΔ, 양쪽 5프레임 스패이싱으로 구성된 759 차원이다. Adam 옵티마이저와 0.0001의 초기 학습률을 사용한다. 첫 번째 실험에서는 λ와 특징층 인덱스 f의 조합을 탐색했다. λ=2.0, f=2(두 번째 은닉층)에서 가장 낮은 WER 68.3%를 기록했으며, 이는 채널1‑4 전체를 사용해 지도식 학습한 모델(46.0%)과의 격차를 크게 줄인 결과다. 두 번째 실험에서는 적응 데이터 양을 125시간에서 5시간까지 감소시켜 성능 변화를 관찰했다. 30시간 정도까지는 WER가 71.8%에서 69.7% 정도로 큰 차이가 없었으나, 10시간 이하에서는 오히려 성능이 악화되어 λ와 f 조정이 충분히 이루어지지 않음을 보여준다. 세 번째 교차 언어 실험에서는 프랑스어 SPEECON 데이터를 타깃으로 사용했으며, 125시간 적응 시 WER가 74.5%로 12.6%의 상대 개선을 달성했다. 이는 언어 자체보다는 녹음 환경(채널4)의 도메인 차이가 주요 요인임을 시사한다. 적대 학습 기반 도메인 적응의 장점은 라벨이 전혀 없는 타깃 데이터를 활용해도 모델이 도메인 불변 특징을 학습한다는 점이다. 기존의 “첫 번째 패스 라벨링” 방식은 타깃 도메인에서 초기 모델의 정확도가 낮아 라벨이 신뢰할 수 없다는 한계가 있었지만, 본 방법은 그런 제약을 극복한다. 또한, λ와 f를 적절히 조정하면 적은 양의 타깃 데이터만으로도 실용적인 성능 향상이 가능함을 입증한다. 결론적으로, 이 논문은 (1) 비지도 적대 학습을 통한 도메인 불변 특징 학습 메커니즘, (2) Gradient Reversal Layer를 이용한 손실 균형 조절, (3) 적은 양의 타깃 데이터와 교차 언어 상황에서도 효과적인 적응을 가능하게 하는 세 가지 핵심 기여를 제공한다. 향후 연구에서는 더 깊은 네트워크 구조, 다양한 잡음·리버브 시뮬레이션, 실시간 적응 메커니즘을 결합해 저자원 언어 및 실제 서비스 환경에서의 적용 가능성을 확대할 수 있을 것으로 기대된다.