조건 강건한 무지도 도메인 적응을 위한 적대적 교사 학생 학습

본 논문은 무지도 도메인 적응에서 교사‑학생(T/S) 학습이 갖는 한계를 극복하고, 보다 조건‑강건한 음성 인식 모델을 만들기 위한 새로운 프레임워크를 제시한다. 기존 T/S 학습은 교사 모델이 제공하는 후행 확률(soft target)을 이용해 학생 모델을 학습함으로써 라벨이 없는 데이터에서도 적응이 가능하다는 장점이 있다. 그러나 교사 모델이 학습된 원천 도메인(청정 음성)과 목표 도메인(다양한 잡음·화자) 사이의 차이를 완전히 메우지는 못한다. 특히, 스피커와 환경이라는 두 주요 변동 요인이 복합적으로 작용할 때, 단순히 KL 발산을 최소화하는 것만으로는 충분한 로버스트성을 확보하기 어렵다. 이를 해결하기 위해 저자들은 두 가지 핵심 메커니즘을 도입한다. 첫 번째는 적대적 학습을 통한 조건 불변 특징 학습이다. 학생 모델을 두 부분, 즉 특징 추출기 M_f와 senone 분류기 M_y 로 분리하고, 별도의 조건 분류기 M_c를 연결한다. M_f는 입력 음성 프레임을 고차원 특징으로 변환하고, M_c는 이 특징을 이용해 현재 프레임이 속한 조건(예: 특정 잡음 환경 또는 화자)을 예측한다. 학습 목표는 두 가지 손실을 동시에 최적화하는 것이다. KL 발산 L_TS는 기존 T/S 학습과 동일하게 교사와 학생의 출력 분포 차이를 최소화한다. 반면, 조건 분류 손실 L_condition은 M_c가 정확히 조건을 예측하도록 학습하지만, M_f는 이 손실을 최대화하도록 역전파된다. 즉, M_f는 M_c가 구분하기 어려운, 즉 조건에 대해 불변한 특징을 학습하게 된다. 전체 손실은 L_total = L_TS – λ L_condition 형태이며, λ는 두 손실 간의 균형을 조절한다. 역전파 과정에서 gradient reversal layer를 사용해 M_f에 대한 L_condition의 기울기를 부호 반전시켜, 적대적 효과를 구현한다. 두 번째는 다중 요인 적대 학습(MF‑A T/S)이다. 화자와 환경이라는 두 독립적인 변동 요인을 동시에 억제하기 위해, 각각에 대해 별도의 조건 분류기 M_{rc} (r = 1…R)를 두고, 모든 분류기의 손실을 합산한다. M_f는 모든 요인에 대해 조건 불변성을 동시에 학습한다. 이때 각 요인의 손실 가중치를 동일하게 두어 구현을 단순화했으며, 필요에 따라 가중치를 조정할 수 있다. 실험 설정은 다음과 같다. 교사 모델은 Microsoft Cortana 음성 데이터(375시간, 청정)로 사전 학습된 4‑layer LSTM‑RNN이며, 출력은 5976개의 senone을 예측한다. 대상 데이터는 CHiME‑3의 실제 잡음 녹음으로, 5가지 환경(버스, 카페, 보행자 구역, 거리 교차점, 부스)과 청정 데이터가 포함된다. 실험은 무지도 적응을 전제로 하며, 병렬 데이터(청정‑잡음, 청정‑청정) 9137쌍을 사용한다. 1) 기본 T/S 학습 결과: 청정‑잡음만 사용했을 때 평균 WER 13.88%, 청정‑잡음 + 청정‑청정을 모두 사용했을 때 13.56%를 기록했다. 이는 원본 청정 모델(23.16%) 대비 40% 이상 개선된 것이다. 2) 적대적 T/S 학습(2‑환경 조건 분류기): 청정과 잡음 두 클래스를 구분하도록 설계한 M_c를 사용했을 때 평균 WER 13.15%를 달성, 기존 T/S 대비 3.02% 상대 개선, 원본 대비 43.22% 개선을 보였다. 3) 적대적 T/S 학습(6‑환경 조건 분류기): 5가지 잡음과 청정을 모두 구분하도록 확장한 M_c를 사용했을 때 평균 WER 13.12%를 기록, 개선 폭은 미미했지만 여전히 기존 T/S 대비 3.24% 개선을 유지했다. 4) 화자‑강건 적대 학습: 87명의 화자를 포함한 데이터에 대해 6‑환경 조건 분류기를 적용했을 때 평균 WER 12.90%를 달성, 화자·환경 복합 변동성을 동시에 억제함으로써 가장 큰 성능 향상을 얻었다. 이러한 결과는 적대적 T/S 학습이 조건(환경·화자) 변동성을 명시적으로 억제함으로써, 기존 T/S 학습보다 더 로버스트한 모델을 만들 수 있음을 입증한다. 특히, 적은 양의 병렬 데이터만으로도 조건 불변 특징을 학습할 수 있다는 점은 실용적인 장점이다. 다만, CHiME‑3 내 잡음 종류 간 차이가 크지 않아 다중 환경 분류기의 추가가 큰 이득을 주지 못한 점은 향후 더 다양한 잡음 환경을 포함한 데이터셋에서 검증이 필요함을 시사한다. 결론적으로, 본 연구는 (1) T/S 학습에 적대적 다중 과제 학습을 결합해 조건 불변 특징을 명시적으로 학습하도록 한 새로운 프레임워크, (2) 다중 요인(화자·환경) 적대 학습을 통해 복합 변동성을 동시에 완화한 방법, (3) 실험을 통해 적은 병렬 데이터와 무지도 설정에서도 의미 있는 WER 감소를 달성한 점을 주요 기여로 제시한다. 향후 연구에서는 더 복잡한 도메인(예: 방대한 다중 언어·다중 채널)과 실시간 적용 가능성을 탐색할 여지가 있다.