음성표현 공간의 기하학적 분리와 혼동 검출

본 논문은 다언어 환경에서 음성 기반 임상 진단 도구가 편향 없이 작동할 수 있는지를 검증하기 위해, 감정, 언어, 병리학적 세 차원의 음성 특징이 고차원 표현 공간에서 어떻게 구분되는지를 정량적으로 분석한다. 먼저, 소스‑필터 모델에 기반한 손수 만든 특징을 세 그룹으로 정의하였다. 감정 특징은 기본 주파수(F0) 통계, 진동(jitter, shimmer), 스펙트럼 에너지와 같은 요소를 포함해 28 차원으로 구성했으며, 언어 특징은 필터링된 포먼트(F1‑F3), MFCC와 그 파생값, 리듬 파라미터 등을 포함해 33 차원, 병리학적 특징은 진동 불안정성, 포먼트 변동성, 전이 속도 등을 포함해 16 차원으로 설계하였다. 각 특징 집합은 코퍼스별로 z‑스코어 정규화한 뒤, t‑SNE(퍼플렉시티 30, 1000 반복, PCA 초기화)로 2차원에 투영하였다. 투영된 데이터에 대해 K‑Means(k=3) 군집화를 수행하고, 네 가지 클러스터 품질 지표인 실루엣 점수, Davies‑Bouldin 지수, Calinski‑Harabasz 지수, 부트스트랩 안정성을 동시에 적용하였다. 실험은 감정 코퍼스(RAVDESS, IEMOCAP), 언어 코퍼스(L2‑ARCTIC, GMU Speech Accent Archive), 병리학 코퍼스(UA‑Speech, MD‑VR‑KCL)를 각각 조합해 총 8가지 데이터 셋을 만들었다. 결과는 모든 조합에서 일관된 계층 구조를 보여준다. 감정 특징이 가장 높은 실루엣 점수(0.250±0.057)와 가장 낮은 Davies‑Bouldin(1.448±0.161), 가장 높은 Calinski‑Harabasz(91±70)를 기록했으며, 부트스트랩 안정성(ARI 0.82±0.08)도 최고였다. 병리학적 특징은 중간 수준(실루엣 0.141±0.012, DB 1.859±0.212, CH 44±32, ARI 0.64±0.18)이며, 언어 특징은 가장 낮은 값(실루엣 0.077±0.016, DB 2.665±0.364, CH 22±17, ARI 0.51±0.20)을 보였다. 이러한 순서는 각 차원의 내재적 구조 차이를 반영한다. 감정은 명확한 카테고리 구분이 가능하도록 군집이 촘촘히 형성되고, 병리학적 특징은 중간 정도의 연속성을 갖는 반면, 언어는 발음·억양 변이가 다양해 군집이 넓게 퍼져 있다. t‑SNE 임베딩의 신뢰도는 trustworthiness(k=15) 지표로 평가했으며, 모든 차원에서 0.79 이상, 평균적으로 감정 0.912, 병리학 0.876, 언어 0.809을 기록해 고차원 구조가 2차원에 잘 보존됨을 확인했다. 혼동 검출 단계에서는 병리학·언어 특징을 공통 PCA(최대 10 차원) 공간에 투영하고, 2σ 구역 내 겹치는 비율을 계산했다. 관측된 겹침 비율은 0.135~0.206으로, 무작위 라벨 교환으로 만든 퍼뮤테이션 널(평균 0.06)보다 현저히 높지만 0.21 이하로 제한돼 임상 적용 시 허용 가능한 수준으로 판단된다. 특히 L2‑ARCTIC 데이터는 얇은 억양 다양성으로 겹침이 높았고, GMU 데이터는 다양한 억양이 혼동을 완화하는 효과를 보였다. 논문은 또한 절대 실루엣 값이 0.30 이하로 제한적인 군집 분리를 나타내며, 현재 손수 만든 특징만으로는 완전한 비지도 분류에 충분치 않음을 인정한다. 병리학 데이터가 소규모이며, 특징이 기하학적 분리를 최적화하도록 설계되지 않았다는 점도 한계로 제시한다. 향후 연구 방향으로는 최신 자기지도 학습 모델(wav2vec 2.0, HuBERT)에서 추출한 임베딩이 보다 뚜렷한 기하학적 분리를 제공하는지 검증하고, 비선형 커널 기반 혼동 측정 기법을 도입해 미세한 상호작용을 포착하는 것이 제안된다. 최종적으로 이 연구는 감정·병리·언어 차원의 기하학적 구조를 정량화하고, 임상 시스템 설계 시 각 차원을 어떻게 고려해야 하는지 실용적인 가이드라인을 제공한다.