미지 크기 공간에서 정의된 분포 함수 추정: IUV 원칙과 베이지안 접근

본 논문은 베이지안 프레임워크에서 정보이론적 함수(엔트로피, 상호정보량, Kullback‑Leibler 거리 등)를 추정할 때, 사건 공간의 크기 $|Z|$와 디리클레 사전의 농도 파라미터 $c$를 동시에 불확실한 변수로 다루는 새로운 접근법을 제시한다. 기존 연구는 $|Z|$를 고정하거나 $c$를 $|Z|$에 비례하도록 설정했으며, 이로 인해 사전이 데이터보다 과도하게 영향을 미치는 현상이 발생했다. 특히, NSB는 $c$를 적절히 혼합해 엔트로피에 대한 평탄한 사전을 만들었지만, $c$가 $|Z|$에 종속적이기 때문에 서로 다른 사건 공간 표현(예: $X\times Y$, $X$, $Y$)에 대해 상호정보량의 사후 기대값이 달라지는 문제가 있었다. 저자는 “보이지 않는 변수의 무관성”(Irrelevance of Unseen Variables, IUV)이라는 desideratum을 도입한다. IUV는 $c$와 $|Z|$가 독립적인 경우에만 만족한다는 정리를 증명한다($P(c,|Z|)=P(c)P(|Z|)$). 이 조건을 만족하면, 사후 기대값을 계산할 때 $c$와 $|Z|$에 대한 적분을 순서대로 분리할 수 있어 계산이 크게 단순화된다. 특히, 상호정보량 $I(X;Y)$를 두 가지 등가 정의(엔트로피 차이식과 로그비율식)로 표현해도 사후 기대값이 동일함을 보인다. 이는 기존 방법에서 발생하던 “표현 의존성” 문제를 근본적으로 해결한다. 논문은 다음과 같은 주요 기술적 결과를 제공한다. 1. **IUV 정리**: $c$와 $|Z|$가 독립이면, 어떤 숨겨진 변수 $Y$가 관측되지 않더라도 사후 기대값이 $Y$에 의존하지 않는다. 2. **계산 단순화**: 사후 기대값 $E