투명한 발음 점수 매기기 조음 기반 가중 음소 편집 거리

본 논문은 ‘Say It Again, Kid!’ 프로젝트의 일환으로, 외국어 학습 게임에서 사용될 투명하고 해석 가능한 발음 점수 매기기 시스템을 설계하고 평가한다. 목표는 0‑5 별점 형태의 즉각적인 피드백을 제공하면서, 교사와 연구자가 발음 오류를 구체적으로 분석할 수 있는 정보를 출력하는 것이다. 이를 위해 저자들은 (1) 다국어 CTC(Connectionist Temporal Classification) 기반 음소 인식 모델, (2) 조음 특징에 기반한 가중 레벤슈타인 거리(PWLD) 확장, (3) 인간 어노테이터 점수를 활용한 데이터‑드리븐 가중치 학습(DD‑PWLD), (4) 회귀 및 비선형 머신러닝 모델을 통한 점수 예측이라는 네 단계 파이프라인을 구축하였다. 첫 단계에서는 영국 영어, 미국 영어, 스웨덴어, 핀란드어 등 네 언어의 음성 데이터를 통합해 157개의 음소(IP‑A 기반)를 포함하는 확장 음소 집합을 만든다. 각 음소는 55개의 조음 특성(예: 파열음·마찰음·성대 진동 여부, 전설·후설·구개 등)으로 벡터화된다. CTC 모델은 3‑layer GRU(600 유닛) 구조로, 8 kHz 음성에 대해 40 Mel 스펙트럼과 연령·성별 이진 정보를 입력으로 사용한다. 데이터 증강으로 속도 변형, 잡음 혼합, 마이크 필터링을 적용해 다양한 녹음 환경에 대한 강인성을 확보하였다. 두 번째 단계에서는 정답 음소 시퀀스와 CTC 인식 결과 사이의 편집 작업을 추출한다. 기존 PWLD는 대체 비용만을 조음 차이(해밍 거리)로 정의했지만, 본 연구는 삽입·삭제 비용도 동일한 조음 기반 가중치로 확장한다. 편집 거리 D는 다음과 같이 계산된다: D = O_sub·F_sub + O_ins·F_ins + O_del·F_del, 여기서 O는 각 발화에 대한 삽입·삭제·대체 연산 행렬, F는 학습된 가중치 벡터이다. 세 번째 단계에서는 인간 어노테이터가 매긴 0‑5 점수를 목표값 y로 두고, 거리 D를 점수로 변환하는 매핑 함수 ˆy = r·(1 – tanh(a·D/L·l))를 최적화한다. 여기서 r은 최대 별점(5), L은 정답 음소 수, a와 l은 스케일 및 길이 보정 파라미터이다. BFGS 최적화와 Cauchy 손실을 이용해 아웃라이어 영향을 완화하면서 F_sub, F_ins, F_del, a, l을 학습한다. 마지막 단계에서는 학습된 거리와 매핑 파라미터를 입력으로, 선형 회귀(LR), 서포트 벡터 회귀(SVR), 랜덤 포레스트(RF) 등 여러 모델을 훈련한다. 모델 선택은 별도 개발 셋을 이용해 일반화 성능을 검증한다. 실험은 핀란드어를 모국어로 하는 10‑12세 아동 4,313개의 발화를 대상으로 진행되었다. 어노테이터는 0‑100 점을 부여한 뒤 0‑5 스케일로 변환했으며, 동일 어노테이터가 모든 데이터를 라벨링했다. 인식 성능은 PER 50% 수준이었지만, 점수 예측에서는 DD‑PWLD‑LR이 0.47(전체)·0.54(아웃라이어 제거) 의 Pearson 상관을 기록, 기존 PWLD‑LR(0.31·0.36)보다 크게 개선되었다. 비선형 모델인 SVR(0.52·0.61)과 RF(0.49·0.56)와도 비슷한 수준을 보이며, 데이터‑드리븐 가중치가 블랙 박스 모델에 필적하는 성능을 제공함을 확인했다. 시스템은 또한 오류별 기여도를 “/f/ → /p/ (파열음 대신 마찰음, -0.85점)”와 같은 형태로 출력한다. 이는 학습자에게 구체적인 발음 교정 포인트를 제공하고, 교사가 전체 학습 진행 상황을 통계적으로 파악하는 데 유용하다. 결론적으로, 이 논문은 (1) 다국어 CTC 기반 실시간 음소 인식, (2) 조음 특성을 활용한 가중 레벤슈타인 거리 설계, (3) 데이터‑드리븐 가중치 학습을 통한 점수 예측 정확도 향상, (4) 인간이 이해 가능한 오류 분석 제공이라는 네 가지 핵심 기여를 제시한다. 이러한 접근은 게임 기반 외국어 교육, 자동 발음 평가, 교실 내 발음 교정 도구 등 다양한 교육 기술 분야에 적용 가능하며, 향후 더 풍부한 조음 특성 및 장문 발화에 대한 확장 연구가 기대된다.