인터넷에서 목소리 도용 가능성 오바마 음성 복제 실험

본 논문은 “Can we steal your vocal identity from the Internet?”라는 질문을 바탕으로, 공개된 저품질 음성 데이터를 활용해 유명 인물(특히 미국 대통령 오바마)의 목소리를 복제할 수 있는지를 실험적으로 검증한다. 연구는 크게 네 단계로 진행된다. 1) **배경 및 문제 정의** ASVspoof2015 데이터베이스를 이용한 스푸핑 탐지 기술은 현재 거의 0% 오류율에 가까울 정도로 고도화되었다. 그러나 최신 TTS·VC 기술(직접 파형 모델링, GAN 등)은 기존 데이터베이스에 포함되지 않아 탐지 시스템이 아직 대비하지 못하고 있다. 특히, 실제 공격자는 스튜디오 수준의 깨끗한 음성이 아니라, 유튜브·인터뷰 등에서 추출한 저품질, 잡음·리버브가 섞인 음성을 이용할 가능성이 크다. 따라서 저자는 (1) 저품질 공개 데이터를 어떻게 향상시킬 수 있는가, (2) 향상된 데이터를 사용해 최신 TTS·VC 모델을 훈련시켜 목표 화자를 효과적으로 클론할 수 있는가를 조사한다. 2) **스피치 향상 모델 설계** 기존 SEGAN(스피치 향상 GAN) 구조는 잡음 변동에 민감해 훈련이 불안정했다. 이를 개선하기 위해 두 가지 전략을 도입했다. 첫째, 사전 학습된 전통적 향상 방법(Postfish, HRNR)을 사용해 초기 손실을 ‘베이스라인 향상 음성’과 비교함으로써 생성기가 급격히 불안정해지는 것을 방지했다. 둘째, 생성기 주변에 스킵 연결을 추가해 입력 잡음 신호와 정제된 신호의 차이(잔차)만을 학습하도록 설계했다. 이러한 수정은 훈련 수렴을 120 epoch까지 안정적으로 진행하게 했다. 3) **데이터 구성** - **향상 모델 훈련용 데이터**: CSTR VCTK 코퍼스(28명, 400 utterance/인)에서 깨끗한 음성을 추출하고, 이를 (a) 노이즈 추가, (b) 리버브 추가, (c) 노이즈+리버브, (d) 디바이스 재녹음(8마이크·16조건) 등 네 가지 변형으로 확장했다. 각 변형은 11,572 파일(≈9시간) 규모이며, 전체 조합은 46,288 파일(≈35시간)이다. - **오바마 원본 데이터**: 유튜브·인터뷰 등에서 수집한 3시간 7분 분량(총 265 utterance)으로, 평균 SNR이 17 dB에 불과했다. 4) **스피치 향상 실험 및 평가** 각 훈련 소스별 모델을 학습시킨 뒤, 오바마 원본에 적용했다. 객관적 평가는 NIST SNR 측정으로 수행했으며, 모든 모델이 평균 SNR을 10 dB 이상 상승시켰다. 특히 ‘노이즈’(SNR≈49.8 dB)와 ‘노이즈+리버브’(≈43.1 dB) 모델이 가장 큰 개선을 보였다. 그러나 SNR만으로는 청취 품질을 완전히 설명할 수 없기에, 일본인 청취자를 대상으로 MOS 설문을 진행했다. 평가 항목은 (1) 전반적 음질(Quality)과 (2) 청결도(Cleanliness)이며, 1~5 점 척도로 측정했다. 원본 오바마 음성은 청결도 2.42, 품질 3.58을 기록했으며, 향상된 버전은 청결도 3.31~3.42, 품질 3.26~3.55 수준으로 전반적인 개선이 확인되었다. 특히 ‘노이즈+리버브’와 ‘전체(all)’ 조합이 청결도에서 가장 큰 상승을 보였다. 5) **TTS·VC 모델 학습 및 클론 실험** 향상된 오바마 데이터를 사용해 최신 WaveNet 기반 TTS와 GAN 기반 VC 모델을 훈련시켰다. 논문에서는 구체적인 정량 결과(예: MOS, EER 등)를 제시하지 않았지만, 저자들은 “품질은 유지되지만 화자 유사성에는 제한이 있다”는 결론을 내렸다. 즉, 향상 단계가 잡음·리버브를 크게 감소시켰음에도 불구하고, 고품질 TTS/VC 훈련에 필요한 미세한 스펙트럼 특성은 완전히 복구되지 않아 최종 합성 음성의 화자 일치도가 기대 이하였다. 6) **결론 및 시사점** - 공개된 저품질 음성도 적절한 GAN 기반 스피치 향상 과정을 거치면 SNR과 청결도가 크게 개선된다. - 향상된 데이터는 최신 TTS·VC 모델 훈련에 활용 가능하지만, 화자 특성 보존 측면에서는 아직 한계가 있다. - 보안 관점에서, 공격자는 공개된 영상·오디오만으로도 일정 수준의 음성 클론을 시도할 수 있음을 보여주며, 스푸핑 탐지 시스템은 이러한 새로운 위협 시나리오에 대비해야 한다. - 향후 연구는 더 정교한 멀티‑스케일 GAN, 비지도 잡음 제거, 그리고 화자 인증 시스템에 대한 적대적 테스트 등을 통해 방어 메커니즘을 강화할 필요가 있다.