스피커 정보 활용을 위한 역전학습과 다중작업 학습 비교

본 논문은 음성 인식 시스템에서 흔히 제공되는 스피커 아이디 정보를 어떻게 활용할 것인가에 대한 두 가지 대표적인 방법, 즉 다중작업 학습(Multi‑Task Learning, MT)과 적대적 학습(Adversarial Learning, AL)을 체계적으로 비교한다. 두 접근법은 겉보기에는 서로 반대되는 목표를 가진다. MT는 스피커 분류를 추가 과제로 두어 메인 인코더가 스피커와 전사 양쪽 정보를 모두 보존하도록 학습시키는 반면, AL은 스피커 분류기의 손실에 대한 그래디언트를 부호 반전시켜 인코더가 스피커에 무관한, 즉 스피커 불변(invariant)한 표현을 학습하도록 강제한다. 연구진은 이 두 방법을 동일한 네트워크 아키텍처에 적용하기 위해, 17계층의 Gated Convolutional Neural Network(Gated ConvNet)를 기반으로 한 음성 인식 모델을 설계하였다. 입력은 40차원 로그 멜 스펙트로그램이며, 각 계층은 GLU와 가중치 정규화(weight normalization)를 사용한다. 모델의 전사 손실은 AutoSeg(ASG) 기준을 사용해 CTC와 유사하게 정의했고, 스피커 손실은 음성 전체에 대한 스피커 라벨을 이용한 Negative Log‑Likelihood(NLL)로 설정하였다. 스피커 분류기를 네트워크의 어느 층에 분기시킬 것인가에 대한 변수를 두어, 초기(2계층, IN), 중간(8계층, MID), 최상위(15계층, OUT) 세 위치에서 실험을 진행하였다. MT와 AL 모두 동일한 λ 파라미터를 도입해 전사 손실과 스피커 손실의 가중치를 조절했으며, AL의 경우 λ를 0에서 점진적으로 0.2까지 증가시키는 스케줄링을 적용했다. 초기 학습 단계에서 바로 그래디언트를 역전시키면 불안정해지는 현상이 관찰돼, 먼저 λ=0으로 전사 손실만 학습한 뒤 스피커 분류기만 학습하고 마지막에 두 손실을 동시에 최적화하는 절차를 도입하였다. 실험 데이터는 WSJ(Wall Street Journal) 데이터셋으로, 283명의 스피커가 포함된 81.5시간의 음성 데이터를 사용하였다. 평가 지표는 문자 오류율(LER)과 단어 오류율(WER)이며, LER은 Viterbi 디코딩, WER은 4‑gram KenLM 언어 모델을 사용한 빔 서치 디코더로 측정하였다. 먼저, 베이스라인 모델(스피커 분류기 없이)에서 각 층별로 추출한 표현을 이용해 별도 스피커 분류기를 학습시켰다. 결과는 깊은 층일수록 스피커 분류 정확도가 급격히 낮아지는 것을 보여, 모델이 이미 학습 과정에서 스피커 불변 특성을 자연스럽게 획득하고 있음을 확인했다. MT와 AL을 적용한 경우에도 이 경향은 크게 변하지 않았으며, 오히려 스피커 분류 정확도가 약간 더 낮아지는 정도였다. 이는 두 보조 학습이 스피커 정보를 억제하거나 보강하는 효과가 미미함을 의미한다. WSJ 전체 데이터에 대해 MT와 AL을 적용한 결과, LER와 WER 모두에서 베이스라인과 거의 동일하거나 약간의 차이만을 보였다. 구체적으로, IN 위치에서 MT는 LER 7.2%/WER 9.9%(dev) 4.8%/5.8%(eval) 를 기록했고, AL은 동일 위치에서 LER 7.2%/WER 9.9%/4.7%/5.7% 를 보였다. MID와 OUT 위치에서도 차이는 비슷한 수준이었다. 즉, 대규모 라벨링된 음성 데이터가 충분히 제공될 경우, 스피커 정보를 별도로 활용하는 것이 전사 성능에 큰 영향을 주지 않는다. 반면, 비지도 스피커 라벨만을 추가한 반지도 학습에서는 LER이 눈에 띄게 개선되었다. WSJ에 35시간 분량, 132명의 추가 스피커 데이터를 LibriSpeech에서 가져와 스피커 라벨만 사용해 AL을 수행했으며, IN, MID, OUT 모두에서 LER이 0.4~0.5%p 정도 감소하였다(예: IN에서 6.8% → 6.8%). 그러나 WER는 오히려 약간 악화되거나 변동이 없었다. 이는 문자 수준의 미세한 개선이 언어 모델과 결합된 최종 단어 인식에는 크게 기여하지 못한다는 점을 시사한다. 또한, LER 개선이 실제 의미 있는 음성 내용이 아니라, 언어 모델에 크게 영향을 받지 않는 부분(예: 무음, 잡음 등)에서 발생했을 가능성도 제기된다. 논문은 이러한 실험 결과를 바탕으로 다음과 같은 결론을 도출한다. 첫째, 대규모 라벨링된 음성 데이터가 충분히 존재할 경우, 현대의 깊은 신경망은 자동으로 스피커 불변 표현을 학습하므로 별도의 MT나 AL을 적용해도 성능 향상이 크지 않다. 둘째, 스피커 라벨이 제한적이거나 추가적인 비지도 스피커 데이터가 존재할 때는 AL 기반 반지도 학습이 문자 오류율을 감소시키는 데 유용할 수 있다. 셋째, AL을 적용할 때는 λ 스케줄링과 초기 그래디언트 역전 지연 등 학습 안정성을 위한 트릭이 필수적이며, 이러한 세부 설계가 없으면 최적화가 발산하거나 성능이 저하될 위험이 있다. 마지막으로, 스피커 정보를 활용한 보조 학습이 실제 음성 인식 시스템에 적용될 때는 LER과 WER 사이의 차이를 명확히 인식하고, 언어 모델과의 상호작용을 고려한 종합적인 평가가 필요함을 강조한다.