통계적 복잡성을 위한 결합 정보 측정

본 논문은 임의 변수 집합의 통계적 구조를 정량화하는 새로운 정보 이론적 지표인 ‘결합 정보’를 제안한다. 기존의 초과 엔트로피, 예측 정보, 다중 정보와의 관계를 분석하고, 특히 이진 변수들의 유한 집합에서 결합 정보를 최대화하는 과정이 ‘패리티’ 과정임을 증명한다. 이를 통해 결합 정보가 복잡성 측정에 갖는 의미와 한계를 논의한다.

저자: Samer A. Abdallah, Mark D. Plumbley

통계적 복잡성을 위한 결합 정보 측정
본 논문은 통계적 구조를 정량화하기 위한 새로운 정보 이론적 측정값인 ‘결합 정보(Binding Information, 이하 BI)’를 제안하고, 이를 기존의 여러 복잡성 지표와 비교·분석한다. 먼저 저자들은 BI의 정의를 제시한다. N개의 임의 변수 X₁,…,X_N에 대해 전체 엔트로피 H(X₁,…,X_N)와 각 변수의 조건부 엔트로피 H(X_i|X_{¬i})(여기서 X_{¬i}는 i를 제외한 모든 변수) 사이의 차이를 합산한 형태로, BI = ∑_{i=1}^{N}

원본 논문

고화질 논문을 불러오는 중입니다...

댓글 및 학술 토론

Loading comments...

의견 남기기