정보 폭: 이산 구조에서 정보 효율을 측정하는 새로운 프레임워크

논문은 먼저 Kolmogorov가 제시한 조합론적 정보 개념을 재조명한다. Kolmogorov는 유한 집합 Y에 대해 엔트로피 H(Y)=log|Y|를 정의하고, 입력 x가 제한하는 부분집합 Yₓ에 대해 조건부 엔트로피 H(Y|x)=log|Yₓ|를 사용해 정보량 I(x : Y)=H(Y)−H(Y|x)로 측정했다. 그러나 이 정의는 x가 알려줄 수 있는 정보가 하나의 고정된 집합 Yₓ에만 국한된다는 가정에 의존한다. 실제 문제에서는 x가 여러 가능한 집합 Y_z를 동시에 가리키거나, 이들 사이에 포함 관계가 없을 수 있다. 이를 해결하기 위해 저자는 새로운 집합 구조를 도입한다. 먼저 Z=P(Y)로 정의해 Y의 모든 부분집합 Y_z의 인덱스 집합을 만든다. 그 다음 X=P(Z)로 정의해 Z의 부분집합 Zₓ, 즉 하나의 입력 x가 가리키는 여러 Y_z들의 집합을 만든다. 이렇게 하면 입력 x가 “다중 집합” 정보를 제공하는 상황을 자연스럽게 모델링할 수 있다. 정의 1에서는 입력 x가 목표 집합 y⊆Y에 대해 ‘정보적(informative)’인지 여부를 정의한다. 즉, Zₓ 안에 적어도 하나의 Y_z가 y와 교집합을 갖는 경우를 의미한다. 정의 2에서는 이러한 경우에 전달되는 정보량 I(x : y)를 각 Y_z와 y 사이의 로그 비율을 평균한 값으로 정의한다. 구체적으로는 I(z : y)=log(|y∩Y_z|²)−log(|y|·|Y_z|) 이고, I(x : y)= (1/|Zₓ|)∑_{z∈Zₓ} I(z : y)이다. y=Y인 경우는 수신자가 사전 지식이 전혀 없을 때이며, 이때 식은 I(x : Y)=log|Y|−(1/|Zₓ|)∑_{z∈Zₓ}log|Y_z| 가 된다. 이는 Kolmogorov의 원래 식을 Zₓ가 단일 원소일 때와 일치시킨 일반화이다. 다음으로 논문은 정보 전달 효율을 평가하기 위한 두 개념, ‘비용(cost)’과 ‘효율(efficiency)’을 정의한다. 비용은 설명 복잡도 l(입력 x를 기술하는 최소 비트 수) 대비 전달된 정보량의 비율이며, 효율은 동일 복잡도 하에서 실제 정보량이 ‘정보 폭(Information Width)’에 얼마나 근접하는지를 나타낸다. 정보 폭은 고정된 복잡도 l에 대해 가능한 모든 입력 중 최대 정보량을 갖는 입력의 정보량으로 정의된다(정의 6). 정리 1에서는 이 폭을 정확히 계산하고, 이를 기준으로 다른 입력들의 비용과 효율을 정량화한다. 이론적 틀을 구체적인 사례에 적용하기 위해 저자는 이진 함수 공간 F={0,1}^{