음성 명령 공격, 인간 청각이 놓친 왜곡을 밝히다

본 논문은 음성 명령 인식 시스템을 목표로 한 적대적 예제(Adversarial Example)의 인간 인지 측면을 체계적으로 조사한다. 서론에서는 딥러닝 기반 음성 인터페이스가 보안 위협에 노출될 위험성을 제시하고, 이미지 분야에서 널리 사용되는 Lp‑norm이 청각 영역에서는 충분히 인간 감각을 반영하지 못한다는 배경을 설명한다. 이어서 기존 연구에서 사용된 왜곡 측정 방법을 정리한다. 대표적으로 8‑비트 이하 제한, ∞‑norm, dB(max), SNR 등이 소개되며, 이들 방법이 청각적 임계값과는 별개로 설계된 경우가 많아 실제 청취자에게는 감지될 가능성이 있음을 지적한다. 관련 연구 섹션에서는 음성 명령, 음악, 환경 소리 등 다양한 오디오 태스크에서 제안된 교란 생성 및 평가 방법을 비교한다. 특히, 인간 청각 모델을 이용한 주파수 마스크 적용, 고주파 영역 활용, 그리고 Amazon Mechanical Turk 기반의 인간 평가 사례를 언급한다. 그러나 대부분의 연구가 정량적 지표에 의존하고, 인간 청취 실험은 제한적이거나 설계가 부실하다는 점을 비판한다. 본 연구의 실험 설계는 다음과 같다. 1) Speech Command Dataset에서 10개의 명령어와 ‘Unknown’, ‘Silence’ 클래스를 선택해 1초 길이의 16 kHz WAV 파일을 사용한다. 2) 작은 발자국 키워드 인식 모델(2개의 Conv‑layer, FC‑layer, Softmax)으로 학습된 DNN을 공격 대상으로 삼는다. 3) 단일 클래스 보편적 교란을 최적화하여, 각 명령어에 대해 동일한 교란 벡터가 모든 입력에 적용되도록 만든다. 4) 교란 강도는 SNR = 20 dB, 10 dB, 0 dB 등 여러 수준으로 조절하고, 각 수준에서 모델의 오분류율을 측정한다. 5) 18명의 피험자를 대상으로 ABX 테스트와 MUSHRA 평가를 진행한다. 피험자는 원본, 교란, 무작위 섞인 샘플을 청취하고, 두 샘플 간 차이를 인지했는지, 교란이 들렸는지, 그리고 전반적인 음질 불쾌감 정도를 5점 척도로 평가한다. 실험 결과는 두 가지 핵심적인 통찰을 제공한다. 첫째, 전통적인 SNR = 20 dB 수준에서도 약 60 % 이상의 피험자가 교란을 감지했으며, 특히 고주파 성분이 포함된 교란은 청취자에게 더 뚜렷하게 인지되었다. 둘째, dB(max) 기준으로 “임계값 이하”라고 판단된 교란이라도 인간 청취자는 차이를 감지하거나 불쾌감을 표시했다. 즉, 수치적 임계값이 인간 청각의 실제 감도와 일치하지 않으며, 기존 논문에서 제시한 “imperceptible” 기준이 과도하게 낙관적임을 보여준다. 논의에서는 이러한 차이의 원인을 청각 심리학적 관점에서 해석한다. 인간 청각은 주파수별 감도 곡선, 마스크 효과, 그리고 시간‑주파수 구조에 민감하게 반응한다. 따라서 단순히 전체 파워 비율(SNR)이나 최대 레벨 차이(dB)만으로는 교란이 청취자에게 미치는 영향을 정확히 예측할 수 없다. 또한, 실험 환경(헤드폰 vs 스피커, 배경 소음)과 피험자의 청취 경험 차이도 결과에 영향을 미쳤다. 결론에서는 현재 음성 기반 AI 시스템의 보안 평가에 인간 청각을 반영한 정량·정성 혼합 평가 체계가 필요함을 강조한다. 향후 연구 과제로는 (1) 청각 마스크 기반의 교란 제한 기법 개발, (2) 인간 청취 테스트를 자동화할 수 있는 주관적 품질 모델 구축, (3) 물리적 환경(스피커, 마이크)까지 포함한 종단‑보안 평가 프레임워크 설계 등을 제시한다. 이와 같이 인간 인지와 객관적 왜곡 지표 사이의 격차를 메우는 것이, 실용적인 음성 명령 시스템의 안전성을 확보하는 핵심 과제로 남는다.