최근접 이웃 그래프 기반 레니 엔트로피와 상호정보 추정

본 논문은 고차원 연속 확률분포의 레니 엔트로피(Hα)와 레니 상호정보(Iα)를 비모수적으로 추정하는 새로운 프레임워크를 제시한다. 기존의 플러그인 방식은 밀도 추정이라는 중간 단계에서 발생하는 편향과 복잡성을 내포하고 있었으며, 최근 k‑최근접 이웃(NN) 그래프를 이용한 추정기들이 제안되었지만, 그 일관성 증명에 오류가 존재했다. 저자들은 이러한 문제점을 해결하고, 보다 일반적인 ‘일반화된 최근접 이웃 그래프(NN_S)’를 도입한다. 여기서 S는 연결할 이웃의 인덱스 집합으로, 예를 들어 S={1,2,3}이면 각 샘플이 가장 가까운 3개의 이웃과 모두 연결된다. 그래프의 엣지 길이 ‖x−y‖를 p‑제곱하여 합산한 Lp(V)는 Euclidean functional 이론에 의해 n개의 i.i.d. 샘플에 대해 n^{1−p/d} 스케일링을 보이며, 일정 상수 γ에 수렴한다(정리 1). 이 γ를 이용해 레니 엔트로피 추정량을 \