주석 민감도 수집 방식이 모델 성능을 좌우한다

본 논문은 인간 주석자를 활용한 데이터 수집 과정에서 사용되는 ‘주석 도구(Annotation Instrument)’의 설계가 라벨 자체와 이를 학습한 모델에 미치는 영향을 탐구한다. 연구자는 ‘주석 민감도(Annotation Sensitivity)’라는 용어를 정의하고, 혐오 발언(Hate Speech, HS)과 공격적 언어(Offensive Language, OL) 라벨링을 대상으로 다섯 가지 실험적 주석 조건을 설계하였다. 1. **데이터 수집 및 실험 설계** - 기존 Davidson et al. (2017) 트위터 데이터셋에서 3,000개의 트윗을 층화 추출하였다. 각 트윗은 이전 라벨링 결과에 따라 0~3개의 HS·OL 라벨이 존재하도록 9개의 층으로 나누어 샘플링하였다. - 라벨링은 Prolific 플랫폼을 통해 미국 거주자 917명을 모집했으며, 각 라벨러는 최대 50개의 트윗을 라벨링했다. 라벨링은 3회 반복되어 총 44,900개의 트윗‑라벨 조합을 확보하였다. - 다섯 가지 주석 조건은 다음과 같다: * **조건 A** – HS와 OL 옵션을 한 화면에 동시에 제시하고, 다중 선택 허용. * **조건 B** – 두 화면으로 나누어 첫 화면에서 HS 여부, 두 번째 화면에서 OL 여부를 물음. * **조건 C** – 조건 B와 동일하지만 HS와 OL 화면 순서를 뒤바꿈. * **조건 D** – 전체 트윗에 대해 먼저 HS 라벨링을 수행하고, 이후 동일 트윗에 대해 OL 라벨링을 수행. * **조건 E** – 조건 D와 순서를 반대로, 먼저 OL 라벨링 후 HS 라벨링. - 모든 조건에서 라벨러는 동일한 튜토리얼과 정의를 제공받았으며, 인구통계학적 균형은 각 조건 간 차이가 없었다. 2. **라벨링 결과 분석** - 라벨 비율은 조건에 따라 크게 달랐으며, 전체적으로 OL 라벨이 HS 라벨보다 많이 부여되었다. - **조건 A**는 가장 낮은 OL(51.6%)·HS(26.8%) 비율을 보였고, **조건 D**는 가장 높은 HS(33.5%) 비율을 기록했다. - 라벨 간 일치도(Krippendorff’s α) 분석에서는 조건 A와 다른 조건 간에 OL 라벨 일치도가 가장 낮았으며, HS 라벨에서는 조건 E가 가장 큰 불일치를 보였다. 이는 화면 구성·순서가 라벨러의 판단에 미치는 영향을 시사한다. 3. **모델 학습 및 평가** - 각 조건별 라벨 데이터를 사용해 BERT 기반 이진 분류 모델을 10번씩 재현성 있게 fine‑tune하였다. 학습 데이터는 2,250개의 트윗(각 트윗당 3개의 라벨)으로 구성했으며, 20%를 검증용으로 사용했다. - 평가 지표는 balanced accuracy와 ROC‑AUC였으며, 테스트는 각 조건별 별도 집합과 모든 조건을 합친 통합 테스트 집합으로 수행했다. - 결과는 다음과 같다: * OL 예측에서는 모든 조건에서 BERT 모델이 HS 예측보다 높은 성능을 보였으며, 조건 A에서 학습한 모델은 가장 낮은 balanced accuracy(0.772)와 ROC‑AUC(0.846)를 기록했다. * HS 예측에서는 전체적으로 성능이 낮았지만, 조건 A 테스트 셋에서 가장 높은 ROC‑AUC(0.806)를 달성했다. * 대각선(동일 조건 학습·테스트) 성능이 반드시 최고는 아니었으며, 특히 조건 A에서 학습한 모델이 다른 조건 테스트에서 일관되게 낮은 성능을 보였다. - 라벨링 순서 효과는 HS 예측에서 두드러졌다. 조건 C(HS를 두 번째 화면에 제시)에서 학습된 모델은 다른 조건에 비해 HS 예측 정확도가 현저히 낮았다. 4. **예측 일관성 및 학습 곡선** - 모델 간 예측 일치도(Krippendorff’s α) 분석에서는 조건 A에서 학습된 모델이 다른 모델과 가장 낮은 일치도를 보였으며, 이는 라벨링 방식이 모델이 학습하는 특징 공간을 크게 변형시킴을 의미한다. - 학습 곡선 분석에서는 조건 D와 E에서 데이터 양이 증가함에 따라 성능 향상이 점차 완만해지는 현상이 관찰되었다. 저자들은 이를 ‘annotator fatigue’—두 번째 배치에서 라벨 품질이 저하되는 현상—으로 해석하였다. 5. **의의 및 향후 과제** - 이 연구는 라벨링 도구 설계가 라벨 분포·동의도·모델 성능에 미치는 영향을 실증적으로 입증함으로써, 데이터 중심 AI에서 ‘데이터 품질’이 단순히 라벨 정확도만이 아니라 라벨링 프로세스 자체에 크게 좌우된다는 점을 강조한다. - 향후 연구는 (1) 라벨링 인터페이스 최적화, (2) 라벨러 인지 부하와 피로도 정량화, (3) 다양한 도메인·언어에 대한 일반화 검증, (4) 라벨링 순서와 옵션 제공 방식이 모델 해석 가능성에 미치는 영향 등을 탐구할 필요가 있다.