다국어 단어 표현 학습을 위한 Bag‑of‑Words 자동인코더

본 논문은 다국어 단어 임베딩을 학습하기 위해 기존 연구에서 흔히 사용되던 단어‑레벨 정렬(예: GIZA++에 의한 정렬)을 배제하고, 문장 수준의 정렬만을 활용하는 새로운 자동인코더 모델을 제안한다. 모델은 두 단계로 구성된다. 첫 번째는 인코더 단계로, 입력 문장을 Bag‑of‑Words 형태로 표현하고, 각 단어를 D 차원의 임베딩 행렬(W)로 매핑한다. 이 임베딩들을 모두 합산해 φ(x)=∑₁^{|x|}W·xᵢ 라는 고정 차원 벡터를 만든다. 두 번째는 디코더 단계로, φ(x)를 입력받아 목표 언어의 Bag‑of‑Words를 복원한다. 복원 확률은 이진 트리 구조를 이용해 효율적으로 계산되며, 각 내부 노드에서 좌·우 선택 확률을 로지스틱 회귀 형태(sigmoid)로 모델링한다. 이렇게 하면 어휘 크기 V에 대해 O(log V) 연산만으로 전체 확률을 구할 수 있다. 손실 함수는 복원된 단어들의 다항 로그우도이며, 이는 실제 단어 빈도와 직접 연결된다. 다국어 확장에서는 두 언어 각각에 독립적인 임베딩 행렬(Wₓ, Wᵧ)과 디코더 파라미터(bₓ, Vₓ; bᵧ, Vᵧ)를 두고, 하나의 인코더 φ를 공유한다. 학습 과정에서 (x→y), (y→x), (x→x), (y→y) 네 가지 복원 작업을 동시에 수행한다. 특히 (x→x)와 (y→y) 작업은 단일언어 코퍼스를 활용할 수 있어, 대규모 비라벨 데이터에서도 학습이 가능하다. 실험은 두 부분으로 나뉜다. 첫 번째는 임베딩 학습 단계로, Europarl‑v7 코퍼스의 영어‑프랑스어, 영어‑독일어 병렬 문장을 사용한다. 약 200만 문장을 이용해 각 언어별 임베딩을 학습하고, 검증 셋으로 조기 종료를 적용한다. 두 번째는 교차언어 문서 분류 단계이다. Reuters RCV1/RCV2 뉴스 코퍼스에서 4개의 최상위 카테고리를 사용해 영어, 프랑스어, 독일어 각각에 대해 학습/검증/테스트 셋을 70/15/15 비율로 나눈다. 문서는 TF‑IDF 가중치의 Bag‑of‑Words 로 표현하고, 학습된 임베딩 행렬과 곱해 문서 레벨 벡터를 만든다. 영어 문서로 선형 SVM 분류기를 학습한 뒤, 동일한 분류기를 프랑스어·독일어 테스트 셋에 그대로 적용한다. 비교 대상은 Klementiev 등(2012)이 제안한, 단어‑레벨 정렬을 이용한 다국어 임베딩이다. Klementiev 방법은 80 차원(영어‑프랑스어) 및 40 차원(영어‑독일어) 임베딩을 제공한다. 본 논문의 모델은 동일한 차원(80/40)으로 학습했으며, 어휘는 동일하게 설정했다. 결과는 Table 1에 요약된다. 영어→프랑스어 전이에서는 Klementiev 방법이 34.9%→49.2% 오류율을 보였지만, 제안 모델은 27.7%→32.4%로 더 낮은 오류율을 기록했다. 영어→독일어 전이에서도 Klementiev이 42.7%→59.5%였던 반면, 제안 모델은 29.8%→37.7%를 달성했다. 이는 단어‑레벨 정렬 없이도 의미적으로 정렬된 임베딩을 학습할 수 있음을 보여준다. 시각적 분석으로는 t‑SNE를 이용해 600개의 가장 빈번한 단어를 2차원에 투영한 결과가 제시된다. 프랑스어와 영어 단어가 의미적으로 가까운 위치에 군집되는 모습을 확인할 수 있다. 또한, 몇몇 프랑스어 단어에 대해 가장 가까운 영어 이웃을 제시함으로써, 임베딩 공간에서의 의미적 일관성을 정량적으로도 확인했다. 논문의 한계와 향후 과제도 언급된다. 현재 트리 구조는 무작위로 단어를 리프에 배치했으며, 이는 최적이 아닐 수 있다. 의미 기반 클러스터링이나 빈도 기반 배치를 통해 트리 효율성을 개선할 여지가 있다. 또한, Bag‑of‑Words는 어순과 구문 정보를 무시하므로, n‑gram 혹은 구문 수준 입력을 포함하는 확장이 필요하다. 마지막으로, (x→x)와 (y→y) 작업을 대규모 단일언어 코퍼스로 확장함으로써, 더욱 풍부한 비라벨 데이터 활용이 가능할 것으로 기대된다. 결론적으로, 이 연구는 단어‑레벨 정렬에 의존하지 않는 다국어 자동인코더 프레임워크를 제시하고, 실제 교차언어 문서 분류 과제에서 기존 정렬 기반 방법과 경쟁력 있는 성능을 입증함으로써, 다국어 자연어 처리 분야에 새로운 방법론적 방향을 제시한다.