하이퍼니름과 공히포명, 무작위 단어를 정확하게 분류하는 ROOT13

엔리코 산투스, 알레산드로 렌시§, 틴-싱 추, 진 루*, 추렌 황*

• 홍콩 폴리테크닉 대학교, 홍콩 esantus@gmail.com, cstschiu@comp.polyu.edu.hk, {qin.lu, churen.huang}@polyu.edu.hk § 피사 대학교, 이탈리아 alessandro.lenci@ling.unipi.it

요약

본 논문에서는 하이퍼니름(hypernyms), 공히포명(co-hyponyms) 및 무작위 단어(random words)를 분류하기 위한 감독 시스템인 ROOT13을 소개한다. 이 시스템은 랜덤 포레스트 알고리즘과 13개의 비감독 코퍼스 기반 특징에 의존한다. 9,600 쌍의 데이터셋에 대해 10-fold 교차 검증을 통해 평가한 결과, 모든 클래스가 포함될 경우 88.3%의 F1 점수를 달성했으며, 이는 벡터 코사인(57.6%)에 비해 크게 향상된 수치이다. 이 시스템은 이진 분류에서도 우수한 성능을 보여주었다: 하이퍼니름-공히포명(93.4% vs. 60.2%), 하이퍼니름-무작위(92.3% vs. 65.5%), 공히포명-무작위(97.3% vs. 81.5%). 본 연구의 결과는 최첨단 모델과 경쟁할 수 있는 수준이다.

서론 및 관련 연구

자연어 처리(NLP)에서 하이퍼니름(예: 개-동물)과 공히포명(예: 개-고양이)을 구별하고, 나아가 이들을 무작위 단어(예: 개-과일)와 구분하는 것은 핵심적인 과제이다. 하이퍼니름은 사실 의미적 기억의 핵심 조직 원리로서 세분 및 온톨로지의 기반이 되며, 사전적 함의를 지지하는 중요한 추론 중 하나이기도 하다 (Murphy, 2002; Geffet and Dagan, 2005). 공히포명은 하이퍼니름 공유 단어들이 속성적으로 유사하다는 관계를 나타낸다 (Weeds et al., 2014). 이러한 단어 구별 능력은 자동 사전 작성, 문장 재구성, 텍스트 함의, 감정 분석 등 다양한 응용 분야에 잠재적으로 무한한 가능성을 제공한다 (Weeds et al., 2014).

지난 수십 년간 컴퓨터가 이러한 구별을 수행하는 능력을 향상시키기 위해 수많은 방법, 데이터셋 및 공유 과제가 제안되어 왔으며, 일반적으로 약속된 결과를 보여주었다 (Weeds et al., 2014; Rimmel, 2014; Geffet and Dagan, 2005). 감독 및 비감독 접근 방식 모두 조사되었다. 감독 학습 방법은 Weeds et al. (2014)에서 비감독 학습 방법보다 우수하다는 것이 입증되었지만, Levy et al. (2015)는 이러한 방법이 하이퍼니름과 실제 관계에 상관없이 용례가 프로토타입 하이퍼니름인지 여부를 배울 수 있다고 최근 주장한 바 있다.

본 연구

본 논문에서는 감독 학습 방법을 제안한다. 이는 랜덤 포레스트 알고리즘 (Weka에서 구현, Breiman, 2001)과 13개의 코퍼스 기반 특징을 기반으로 한다. 9,600 쌍에 대한 10-fold 교차 검증 평가에서 ROOT13은 세 클래스가 모두 포함될 경우 88.3%의 정확도를 달성했으며, 두 클래스만 포함될 경우 92.3%와 97.3%의 정확도를 보여주었다. 이러한 결과는 최첨단 연구 (Weeds et al., 2014)와 경쟁할 수 있는 수준이다.

방법 및 평가

ROOT13은 ukWaC 및 WaCkypedia(약 27억 단어) 코퍼스를 사용하여 구축된 창문 기반 벡터 공간 모델(VSM)에서 자동으로 추출한 13개의 특징을 활용한다. 이러한 특징들은 표준적인 특징 (예: 벡터 코사인, 공현상 및 빈도)과 함께 용례의 일반성과 맥락의 유사성을 포착하는 추가적인 특징들을 포함한다. 또한 두 가지 비감독적 유사성 측정 방법을 포함했다.

특징

특징 집합은 용례를 설명하는 여러 분포적 속성을 식별하도록 설계되었다. 표준적인 특징 (예: 벡터 코사인, 공현상 및 빈도) 외에 일반적인 용례와 맥락의 유사성을 포착하는 추가적인 특징들을 포함하고 있다.

…(본문이 길어 생략되었습니다. 전체 내용은 원문 PDF를 참고하세요.)…