파워법칙 데이터 클러스터링을 위한 비모수 k‑평균 알고리즘

본 논문은 “파워법칙 데이터 클러스터링”이라는 주제 아래, 기존 비모수 k‑means 변형인 DP‑means가 파워법칙을 따르는 데이터에 적용될 때 발생하는 여러 문제점을 체계적으로 분석하고, 이를 해결하기 위한 새로운 알고리즘인 Pitman‑Yor Process‑based k‑means(pyp‑means)를 제안한다. 먼저 서론에서는 파워법칙 데이터가 소셜 네트워크, 웹 포럼, 논문 인용 등 다양한 실제 현상에서 관찰되며, 이러한 데이터는 클러스터 크기가 크게 불균형하고 꼬리가 두꺼운 특성을 가진다. 전통적인 k‑means, GMM, 스펙트럴 클러스터링 등은 클러스터 수를 사전에 지정해야 하는 제약이 있어 파워법칙 데이터에 직접 적용하기 어렵다. 베이지안 비모수 방법, 특히 Dirichlet Process(DP)를 도입한 DP‑means는 클러스터 수를 자동 결정할 수 있으나, 전역적인 고정 임계값 λ를 사용함으로써 클러스터 크기의 다양성을 반영하지 못하고, 과도한 소규모 클러스터 생성 및 클러스터 순서 의존성 등의 문제를 야기한다. 이에 저자들은 DP‑means의 한계를 극복하기 위해 Pitman‑Yor Process(PYP)를 도입한다. PYP는 DP에 할인 파라미터 d를 추가해 “rich‑get‑richer” 현상을 강화하고, 새로운 클러스터가 생성될 확률을 클러스터 수에 로그‑선형적으로 의존하도록 만든다. 구체적으로, 기존 DP‑means에서 사용하던 고정 임계값 λ 대신 동적 임계값 λ − ln c·θ(θ는 스케일 파라미터)를 사용한다. 여기서 c는 현재 클러스터 수이며, c가 커질수록 임계값이 감소해 더 작은 거리에서도 새로운 클러스터가 생성될 수 있다. 이는 파워법칙 데이터의 작은 클러스터를 자연스럽게 탐지하도록 설계된 핵심 메커니즘이다. 알고리즘 구현은 다음과 같은 흐름을 따른다. 1. **데이터 순차 할당**: 각 데이터 포인트 xₙ에 대해 현재 클러스터 중심 μ_k와의 유클리드 거리를 계산하고, 동적 임계값 λ − ln c·θ와 비교한다. 최소 거리 ≤ 임계값이면 해당 클러스터에 할당하고, 그렇지 않으면 새로운 클러스터를 생성한다. 2. **중심 업데이트**: 할당이 끝난 후 각 클러스터의 중심을 평균으로 재계산한다. 3. **중심 병합(agglomeration)**: 일정 주기마다 모든 클러스터 중심 쌍의 거리를 검사한다. 두 중심 간 거리가 사전 정의된 병합 임계값 τ보다 작으면 두 클러스터를 하나로 병합한다. 이 단계는 과도한 소규모 클러스터가 생성되는 오버피팅을 방지하고, 클러스터 수를 적절히 조절한다. 4. **데이터 순서 보정**: “가장 먼 점 우선(furthest‑first)” 전략을 적용해 초기 중심을 데이터의 가장 외곽에 위치한 점으로 선택한다. 이는 순차 할당 과정에서 발생할 수 있는 로컬 최적화 문제를 완화하고, 결과가 데이터 순서에 민감하지 않도록 만든다. 수렴성에 대해서는 클러스터 수 c가 일정 시점 이후 증가하지 않으면, 이후 남은 데이터 포인트를 어떤 순서로 할당하더라도 동일한 클러스터 구성이 유지된다는 고정점 특성을 증명한다. 복잡도 분석에서는 평균적으로 O(N·K) 연산이 필요하며, 중심 병합 단계가 추가되더라도 전체 복잡도는 O(N·K + K²) 이하로 제한된다. 여기서 N은 데이터 포인트 수, K는 최종 클러스터 수이다. 또한, 제안 방법을 스펙트럴 클러스터링에 확장한다. 커널 행렬을 이용해 거리 공간을 변환한 뒤, 동일한 동적 임계값과 중심 병합 절차를 적용함으로써 비선형 구조를 가진 데이터에도 비모수적 클러스터 수 추정이 가능함을 보였다. 실험 부분에서는 합성 파워법칙 데이터(α = 2.5 등)와 실제 데이터셋(페이스북 소셜 네트워크, 웹 포럼 토픽, 논문 인용 네트워크, MNIST 이미지 등)을 사용했다. 비교 대상은 DP‑means, 변분 베이지안 GMM, 전통적 k‑means, 그리고 최근의 비모수 스펙트럴 클러스터링이다. 평가 지표는 정규화된 상호 정보(NMI), 조정 랜드스코어(ARI), 그리고 클러스터 크기 분포와 실제 파워법칙 분포 간의 KL‑divergence를 포함한다. 결과는 pyp‑means가 전반적으로 높은 NMI와 ARI를 기록했으며, 특히 작은 클러스터를 과소평가하지 않고 정확히 탐지하는 데 강점을 보였다. 또한, 클러스터 수 추정이 실제 데이터의 파워법칙 특성을 잘 반영해, 기존 방법보다 더 현실적인 클러스터 구성을 제공했다. 결론에서는 pyp‑means가 파워법칙 데이터를 위한 비모수 하드 클러스터링에 있어 이론적·실험적 장점을 모두 갖추었으며, 동적 임계값, 중심 병합, 데이터 순서 보정이라는 세 가지 핵심 기법이 서로 보완적으로 작용한다는 점을 강조한다. 향후 연구 방향으로는 할인 파라미터 d와 스케일 파라미터 θ의 자동 튜닝, 고차원 데이터에 대한 효율적인 근사 방법, 그리고 온라인 스트리밍 환경에서의 확장 가능성을 제시한다.