소리의 원인 불확실성 탐구를 위한 HCU400 데이터셋

본 논문은 청각 현상학 연구에 필요한 대규모, 고품질 데이터셋을 제공하고, 소리의 원인(인과) 불확실성을 정량화하는 새로운 방법론을 제시한다. 연구팀은 MIT Media Lab 소속으로, 기존 연구에서 제시된 Hcu(인과 불확실성) 개념을 확장하고 자동화하기 위해 402개의 일상 및 인위적 소리를 포함한 HCU400 데이터셋을 구축하였다. 데이터 수집 단계에서는 Freesound.org에서 태그·평점·사용자 평판을 기준으로 후보 음원을 탐색하고, 5초 길이로 표준화하였다. 소리 선택은 ‘쉽게 식별 가능한 일상 소리’, ‘일반적이지만 식별이 어려운 소리’, ‘희귀하고 식별이 어려운 소리’ 세 범주에 고르게 배분되도록 설계되었으며, 약 130개씩 균등하게 구성하였다. 특히, 100개 이상의 소리는 디지털 효과(리버브, 역방향, 피치 변조 등)를 적용해 원천을 의도적으로 흐리게 만들었으며, 이를 ‘mod’ 라벨로 표시하였다. 라벨링은 Amazon Mechanical Turk을 이용해 수행되었다. 각 작업자는 무작위로 선택된 소리를 자유롭게 재생하고, 자유 텍스트 라벨을 입력한 뒤 친숙도, 이미지성, 각성, 가치 네 가지 감정·인지 척도를 Likert 7점 척도로 평가하였다. 평균 30명의 응답을 확보했으며, 이상치(전체 평균·표준편차에서 크게 벗어난 응답)는 제외하였다. 라벨 텍스트는 평균 5~6개의 단어로 구성됐으며, 응답 시간·재생 횟수·단어 수 등 메타데이터도 함께 기록되었다. 음향 특성은 Google VGGish 네트워크를 이용해 128차원 임베딩을 추출했으며, OpenSMILE 툴킷을 통해 전통적인 MFCC, 피치, 스펙트럼 등 다양한 저수준 특징도 제공한다. 핵심 기여는 기존 Hcu를 의미론적 워드 임베딩으로 자동화한 점이다. 라벨을 명사·동사·형용사·부사 등 품사별로 추출하고, Word2Vec과 ConceptNet Numberbatch 두 가지 임베딩을 시험하였다. 각 라벨은 벡터화된 뒤 클러스터 중심과의 거리 평균·표준편차를 구해 ‘클러스터 반경’(radius) 점수를 산출했으며, 이를 새로운 Hcu 지표로 정의하였다. 또한, ‘핵심어’ 탐색을 통해 가장 대표적인 라벨을 선정하고, 라벨 간 거리 가중합을 계산해 ‘주요 클러스터 중심 거리’ 점수도 도출하였다. 이러한 방법은 기존 전문가가 라벨을 카테고리화해야 했던 절차를 완전 자동화하고, 라벨이 다소 분산돼 있더라도 의미적 유사성을 반영해 불확실성을 정량화한다. 통계적 검증에서는 작업자를 두 그룹으로 나누어 스플릿-랭크 상관을 계산했으며, 친숙도, 이미지성, 각성, 가치 모두 ρ≈0.78~0.84로 높은 일관성을 보였다. 라벨 기반 Hcu와 자동화된 클러스터 반경은 강한 양의 상관관계를 나타냈으며, 변형된 소리와 비변형 소리를 시각적으로 구분할 수 있었다(Figure 1). 감정 평점과 Hcu 사이의 관계는 흥미롭게도 ‘불확실성이 높을수록 감정 평점이 중립에 가까워지고, 편차가 감소한다’는 비선형 패턴을 보였다. 반면 친숙도와 이미지성은 평균이 감소함에도 불구하고 개인 간 분산이 증가했으며, 이는 소스가 모호해질수록 인지적 평가가 더 주관적으로 변한다는 해석을 가능하게 한다. 또한, 메타데이터(재생 횟수, 응답 시간 등)와 Hcu 간에도 유의미한 상관관계가 관찰돼, 청자가 라벨을 찾는 데 더 오래 걸릴수록 클러스터 반경이 커지는 경향을 확인했다. 이러한 결과는 Hcu가 청각 인지 과정에서 ‘시간적 불확실성’과 ‘의미적 불확실성’ 모두를 포괄하는 지표임을 시사한다. 논문의 한계로는 라벨 텍스트가 영어에 국한돼 있어 문화·언어적 다양성을 반영하지 못한다는 점, 5초 길이의 고정된 샘플이 실제 환경 소리의 복합적인 시간 구조를 충분히 담아내지 못한다는 점을 들었다. 또한, 워드 임베딩 자체가 학습 데이터에 의존하므로, 드물거나 전문 용어가 포함된 라벨은 임베딩 품질이 낮을 수 있다. 향후 연구 방향은 (1) 다국어 라벨링과 다중 모달(시각·촉각) 데이터 결합, (2) 더 긴 연속 음향과 실시간 뇌파·fMRI 측정과의 연계, (3) 자동화된 Hcu를 활용한 소리 인식 및 감정 예측 모델 구축 등을 제시한다. HCU400은 이러한 연구를 위한 풍부한 메타데이터와 의미론적 라벨을 제공함으로써, 청각 현상학, 인지 신경과학, 그리고 머신러닝 기반 음향 인식 분야에 중요한 기반 자료가 될 것이다.