Tsallis q 엔트로피 정보 이론 불평등 연구

본 연구는 Tsallis 통계역학에서 제안된 비가법 엔트로피를 정보 이론에 적용하기 위해, 기존의 Tsallis 엔트로피와는 다른 형태의 q‑엔트로피 H_q(X)=−∑_{x∈χ}p(x) ln_q p(x)를 정의한다. 여기서 ln_q(x)=(x^{1−q}−1)/(1−q)이며, q→1일 때 Shannon 엔트로피와 일치한다. 논문은 먼저 H_q의 기본 성질을 검증한다. Proposition 1을 통해 H_q≥0임을 보이며, Proposition 2와 3을 이용해 0≤q<1 구간에서 결합 q‑엔트로피와 조건부 q‑엔트로피 사이에 H_q(X,Y)≥H_q(X)+H_q(Y|X) 및 독립 변수에 대한 H_q(X,Y)≥H_q(X)+H_q(Y)라는 불평등을 증명한다. 이는 q‑로그의 곱법칙 ln_q(xy)=ln_q x+ln_q y+(1−q)ln_q x ln_q y를 핵심으로 하며, 마지막 교차항이 양수이기 때문에 기존 Shannon 엔트로피의 부등식과 구조가 유지된다. 다변량 조건부 엔트로피에 대해서도 H_q(X,Y|Z)≥H_q(X|Z)+H_q(Y|X,Z)라는 연쇄 불평등을 제시한다(Prop 4). 이러한 결과들은 Lemma 1을 통해 일반적인 n‑변량 경우에도 H_q(X_1,…,X_n)≥∑_{i=1}^n H_q(X_i|X_{i−1},…,X_1)라는 형태로 확장된다. 상대 q‑엔트로피 D_q(p‖r)=∑p(x) ln_q(p(x)/r(x))에 대해서는 q≤2일 때 D_q≥0임을 q‑로그 합불등(Lemma 2)과 Jensen 부등식을 이용해 증명한다. 이를 바탕으로 최대 엔트로피 정리(Theorem 2)에서는 H_q≤ln_q|χ|이며, 균등분포에서 등호가 성립함을 보인다. 상호정보와 조건부 상호정보를 q‑버전으로 정의한다. I_q(X;Y)=D_q(p(x,y)‖p(x)p(y))와 I_q(X;Y|Z)=∑p(x,y,z) ln_q(p(x,y|z)/(p(x|z)p(y|z)))를 도입하고, 마코프 체인 X→Y→Z에 대해 데이터 처리 불평등 I_q(X;Y)≥I_q(X;Z)와 추가 교차항 (1−q)∑p(x,y,z)ln_q(p(x,z)p(x)p(z))ln_q(p(x,y|z)p(x|z)p(y|z))을 포함한 형태를 제시한다(Theorem 3). 스토캐스틱 과정에 대한 q‑엔트로피 정의도 제시한다. 전체 엔트로피 속도 H_q(χ)=lim_{n→∞}(1/n)H_q(X_1,…,X_n)와 조건부 엔트로피 속도 H'_q(χ)=lim_{n→∞}(1/n)∑_{i=1}^n H_q(X_i|X_{i−1},…,X_1)를 정의하고, Lemma 1을 이용해 H'_q(χ)≤H_q(χ)임을 증명한다(Theorem 4). 정상 마코프 체인에서는 H'_q(χ)=H_q(X_{i+1}|X_i)≤H_q(X)라는 결과가 나온다. 제2법칙에 대한 적용에서는 두 확률분포 ψ_n, ψ'_n을 마코프 체인의 n‑시점 분포로 두고, 상대 q‑엔트로피의 체인 규칙(Prop 6)을 이용해 D_q(ψ_n‖ψ'_n)≥D_q(ψ_{n+1}‖ψ'_{n+1})+(1−q)∑p(x_n,x_{n+1})ln_q(p(x_{n+1})/s(x_{n+1}))ln_q(p(x_n|x_{n+1})/s(x_n|x_{n+1}))을 얻는다. 비음성으로부터 H_q(ψ_{n+1})−H_q(ψ_n)≥1−q