Tsallis 엔트로피 편향과 일반화 최대 엔트로피 모델

본 논문은 밀도 추정 문제에서 최대 엔트로피(MaxEnt) 모델이 직면하는 ‘불확실한 제약’ 설정의 난점을 해결하고자, Tsallis 엔트로피 프레임워크를 기반으로 한 일반화된 MaxEnt 모델을 제안한다. 기존 MaxEnt는 ‘확실한 제약’(신뢰할 수 있는 사전 정보)과 ‘불확실한 제약’(샘플 기반, 파라미터 의존) 두 종류의 선형 제약을 사용한다. 불확실한 제약을 과도하게 적용하면 샘플에 과적합(over‑fitting)되고, 반대로 부족하면 실제 분포와 괴리되는 under‑fitting 문제가 발생한다. 이러한 딜레마를 해소하기 위해 저자들은 다음과 같은 일련의 이론적·실험적 기여를 한다. 1. **Tsallis 엔트로피 편향(TEB) 정의 및 정량화** - Tsallis 엔트로피는 q=2일 때 T(P)=1−∑p_i² 로 간단히 표현된다. - 샘플링 분포 bₙ은 실제 분포 P에 대해 다항식(multinomial) 표본을 통해 생성된다. - 정리 1에 따르면, 기대 Tsallis 엔트로피 E