통계역학으로 보는 공동 소스‑채널 코딩: 열평형과 정보 흐름의 새로운 연결

본 논문은 공동 소스‑채널 코딩 문제를 통계역학의 열평형 현상에 비유함으로써 새로운 분석 틀을 제시한다. 먼저, 이진 메모리리스 소스가 생성하는 심볼 {s_i ∈ {±1}} 와 이를 이진 대칭 채널(BSC)로 전송한 후 얻어지는 출력 y 를 각각 두 개의 물리계로 모델링한다. 소스 심볼은 외부 자기장 B 하에 스핀 ±1 상태를 갖는 N개의 입자, 채널 출력은 에너지 e₀ 를 가진 두 상태(0, 1)로 구성된 n개의 비상호작용 입자로 해석된다. 온도 T 와 자기장 B 는 채널 오류 확률 p 와 소스 편향 q 와 다음 관계를 갖는다: p = e^{−e₀/kT}/(1+e^{−e₀/kT}), q = e^{B/kT}/(2 cosh B/kT). 열역학에서 두 서브시스템이 열평형에 도달하면 전체 엔트로피 Σ(ε) 가 최대가 된다. 엔트로피 Σ(ε)와 자유에너지 ψ(β) 는 Legendre 변환 관계이며, β = 1/(kT) 는 엔트로피의 미분으로 정의된다. 두 시스템이 에너지를 교환할 때, 전체 에너지 (N+n)ε₀ 를 고정하고 각 시스템에 할당되는 에너지 ε* 와 ((1+λ)ε₀−ε*)/λ 을 구하는 최적화 조건은 식 (9) Σ₁′(ε*) = Σ₂′(((1+λ)ε₀−ε*)/λ) 이다. 여기서 Σ₁, Σ₂ 는 각각 소스와 채널(코드워드) 시스템의 엔트로피 함수이며, λ = n/N은 두 시스템 크기의 비율이다. 정보이론적으로는 소스의 무조건 엔트로피 H(S)와 채널 출력이 주어졌을 때의 조건부 엔트로피 H(S|Y) 가 위의 열역학적 엔트로피에 대응한다. 따라서 열평형 식은 \