언어계통별 음소 N‑그램의 규모와 파워‑로우 현상 분석

본 논문은 전 세계 언어계통의 음소 N‑gram 분포가 파워‑로우 법칙을 따르는지 여부를 체계적으로 검증한다. 연구자는 2011년 ASJP(Automated Similarity Judgment Program) 프로젝트에서 제공한 40‑항목 Swadesh 리스트를 기반으로, 최소 28개의 항목이 채워진 45개 언어계통(총 3 151개 언어, 4 524개 단어 리스트)을 선정하였다. 각 계통에 속한 모든 단어 리스트를 병합하고, 연속된 음소 서열을 길이 1부터 5까지 추출해 고유 n‑gram 종류 수를 계산하였다. 여기서 N‑gram 프로파일은 N까지의 모든 n‑gram 종류 수의 합으로 정의되며, 이는 언어계통 내 음운 다양성을 정량화하는 지표가 된다. 통계적 검증은 Clauset et al. (2009)의 파워‑로우 검증 프레임워크를 그대로 적용하였다. 먼저 로그‑로그 스케일의 빈도‑순위 플롯을 그려 시각적으로 파워‑로우 형태를 확인하고, 이후 최대우도 추정(MLE)으로 α와 x_min을 구한다. x_min은 Kolmogorov‑Smirnov 거리(D)를 최소화하는 값으로 선정한다. 모델 비교는 AIC(아카이케 정보 기준)와 우도비 검정(Likelihood Ratio Test)을 이용해 6가지 후보 분포(PL, PL WC, LN, exp, str exp, Γ) 중 최적 모델을 결정한다. 실험 결과는 다음과 같다. 3‑gram, 4‑gram, 5‑gram 프로파일 모두 AIC가 가장 낮은 PL WC(파워‑로우‑컷오프) 모델이 최적임을 보였다. α_est 값은 각각 약 2.26, 1.64, 1.60으로, 2와 3 사이에 위치해 복잡계에서 흔히 나타나는 스케일‑프리 특성을 반영한다. 반면 1‑gram과 2‑gram은 r²가 각각 0.49와 0.73에 불과해 파워‑로우 적합도가 낮으며, 다른 분포가 더 나은 적합도를 보였다. 이는 짧은 N에서는 음소 빈도 자체가 주된 요인이고, 고차 N‑gram에서는 언어계통의 구조적 특성이 지배한다는 해석을 가능하게 한다. 언어계통 규모 자체(가족 크기)와 genera 규모에 대한 파워‑로우 검증에서도, 순수 PL보다 스트레치드 지수나 로그‑정규가 더 낮은 AIC와 유의한 우도비 검정 결과를 보였다. 이는 기존 연구에서 보고된 언어계통 규모의 파워‑로우 현상이 실제는 다른 heavy‑tail 형태일 가능성을 시사한다. 추가 실험으로, 각 가족 규모 s에 대해 무작위로 s개의 언어를 추출해 N‑gram 프로파일을 계산한 결과, r²가 0.68∼0.75에 머물러 단순 표본 크기에 의한 효과가 아니라 유전적 관련성이 N‑gram 분포를 형성한다는 결론을 뒷받침한다. 또한, 부분 표본(i ≤ s)을 이용해 평균 N‑gram 규모를 구하고 이를 전체 가족 규모와 비교한 결과, i가 증가할수록 N‑gram 규모와 가족 규모 사이의 상관관계가 강화되었다. 이는 작은 표본만으로도 가족 규모를 예측할 수 있는 가능성을 열어주며, 언어 분류 자동화 및 언어 보존 연구에 실용적인 응용을 제시한다. 결론적으로, 이 연구는 (1) 고차 N‑gram(특히 3‑5‑gram)이 파워‑로우‑컷오프 형태를 띠어 언어계통 내 음운 구조의 복잡성을 정량화할 수 있음을, (2) 언어계통 규모 자체는 순수 파워‑로우보다는 다른 heavy‑tail 분포에 더 가깝다는 점을, (3) N‑gram 특성이 유전적 관련성에 기인한다는 점을 입증한다. 이러한 통찰은 언어학, 복잡계 과학, 그리고 자연어 처리 분야에서 언어 데이터의 통계적 특성을 이해하고 모델링하는 데 중요한 기초 자료가 될 것이다.