볼츠만 엔트로피 계산을 위한 최적 밀도 추정법

본 논문은 통계 표본으로부터 볼츠만 엔트로피 S = −∫ F ln F dv 를 정확히 계산하기 위해, 확률밀도함수 F 를 추정하는 두 가지 전통적 방법인 히스토그램과 커널 밀도 추정(KDE)의 파라미터 선택 문제를 다룬다. 엔트로피는 물리학·정보이론에서 시스템의 무질서 정도를 나타내는 핵심 양이며, 특히 장거리 상호작용을 갖는 자가중력 시스템에서도 유효함이 알려져 있다. 실제 천체 시뮬레이션이나 관측 데이터에서는 분석적 PDF가 존재하지 않을 경우가 많아, 표본 데이터를 기반으로 F 를 추정하고 이를 통해 S 를 계산해야 한다. 첫 번째 섹션에서는 히스토그램과 KDE가 어떻게 F 를 근사하는지를 소개한다. 히스토그램은 구간 폭 Δv 라는 단일 파라미터에 의존하고, 구간이 넓을수록 과도하게 평활화되어 엔트로피가 증가한다. KDE는 커널 함수 K(u)와 대역폭 h 에 의해 정의되며, 대역폭이 클수록 마찬가지로 평활화가 심해져 엔트로피가 증가한다. 저자들은 이러한 단조 증가 현상이 “coarse‑graining” 효과, 즉 구간 내 평균화된 확률밀도가 원래 미세밀도보다 엔트로피를 크게 만든다는 원리에서 비롯된다고 설명한다. 이를 위해 간단한 1차원 분포 f₁(v)와 f₂(v) 를 이용해 이론적 증명을 제시한다. 핵심 아이디어는 엔트로피 S(Δv) 또는 S(h) 의 로그 스케일에 대한 미분값 dS/dln Δv (또는 dS/dln h) 이 특정 구간에서 최소값을 갖는다는 점이다. 이 최소점 Δv_dm 또는 h_dm 은 엔트로피와 이론값 S_th (분석적 PDF를 이용해 직접 계산한 엔트로피)의 교차점 근처에 위치한다. 표본 크기 N 이 증가함에 따라 최소값의 절댓값은 0에 수렴하고, S(Δv_dm) 또는 S(h_dm) 은 S_th 에 점점 가까워진다. 즉, 미분값 최소점이 실제로 최적 구간 폭·대역폭을 제공한다는 실증적 증거가 제시된다. 수치 실험은 세 가지 분석적 PDF를 대상으로 수행되었다. 첫 번째는 무한히 정의된 1차원 표준 정규분포 F(v)=1/√(2π) exp(−v²/2) 이며, 이론적 엔트로피 S_th≈1.419이다. 두 번째는 제한된 구간 −3/4 < v < 3/4 에 정의된 파워‑law F(v)=1−(16/9)v² 이며, S_th≈0.280이다. 세 번째는 3차원 구형 정규분포 F(v)=1/(2π)^{3/2} exp(−v²/2) 이며, 반구면 적분을 통해 1차원 형태 F(v)=v²/(2π) exp(−v²/2) 로 변환해 S_th≈4.257을 얻는다. 각 경우에 대해 표본 크기 N 을 10³, 10⁴, 10⁵, 10⁶, 10⁷, 10⁸ 으로 변화시키며, 50번의 독립 시뮬레이션을 수행해 평균 엔트로피 \bar S 와 분산 σ 를 계산하였다. 히스토그램 결과는 그림 3에 제시되었으며, 엔트로피 \bar S(Δv) 는 구간 폭이 커질수록 단조 증가하고, 그 로그 미분 d\bar S/dln Δv 는 구간 폭에 따라 뚜렷한 최소값을 보인다. 이 최소점 Δv_dm 에서 \bar S(Δv_dm) 은 이론값 S_th 와 거의 일치한다. 표 1은 각 N 에 대한 Δv_dm, \bar S_dm, σ 값을 정리한 것으로, N 이 커질수록 Δv_dm 은 감소하고 \bar S_dm 은 S_th 에 수렴함을 확인한다. 커널 추정 결과는 그림 4와 표 2에 제시되었다. Epanechnikov 커널을 사용했으며, 대역폭 h 에 대한 엔트로피 S(h) 와 그 로그 미분 dS/dln h 도 동일한 패턴을 보인다. 최소점 h_dm 에서 얻은 엔트로피는 히스토그램과 거의 동일한 정확도를 제공한다. 저자들은 이러한 결과를 바탕으로 “엔트로피의 첫 번째 미분값 최소점”을 히스토그램 구간 폭 및 KDE 대역폭의 최적 선택 기준으로 제안한다. 기존의 AMISE 기반 방법이나 베이지안 최적화와 달리, 이 방법은 (1) 전적으로 데이터에 의존하고, (2) 원본 분포 형태에 대한 사전 가정이 필요 없으며, (3) 다변량 확장도 자연스럽게 적용 가능하다는 장점을 가진다. 다만, 현재까지는 경험적 증거에 기반한 제안이며, 최소점이 최적 파라미터임을 보장하는 엄밀한 수학적 증명은 제공되지 않았다. 저자들은 이를 향후 연구 과제로 남겨두었다. 결론적으로, 본 연구는 통계 표본으로부터 볼츠만 엔트로피를 정확히 계산하기 위한 새로운 파라미터 선택 기준을 제시하고, 광범위한 수치 실험을 통해 그 타당성을 검증하였다. 이는 천체물리학, 통계역학, 정보이론 등 다양한 분야에서 데이터 기반 엔트로피 분석을 수행할 때 유용한 도구가 될 것으로 기대된다.