비정상 상황에서 정보 추정의 의미와 활용

이 논문은 신경 과학 실험에서 흔히 사용되는 “직접 방법”(direct method) 기반 정보 추정기의 통계적 의미를 체계적으로 재검토한다. 먼저, 시간에 따라 변하는 자극 Sₜ와 그에 대한 스파이크 응답 Rₖₜ(여기서 k는 반복 실험 횟수)를 확률 과정으로 모델링하고, 응답을 일정 시간 간격(dt)으로 구분한 뒤 단어(word) 형태로 이산화한다. 이렇게 정의된 응답 집합을 기반으로 전체 엔트로피 H와 각 시간 t에서의 조건부 엔트로피 Hₜ를 플러그인 방식으로 추정한다. 구체적으로, 전체 응답 분포 ˆP(r)= (1/mn)∑ₖ∑ₜ 1{Rₖₜ=r} 와 시간별 분포 ˆPₜ(r)= (1/m)∑ₖ 1{Rₖₜ=r} 를 계산하고, 각각을 이용해 ˆH=−∑₍r₎ ˆP(r)logˆP(r), ˆHₜ=−∑₍r₎ ˆPₜ(r)logˆPₜ(r) 를 얻는다. 정보 추정값은 ˆI=ˆH−(1/n)∑ₜˆHₜ 로 정의된다. 핵심 정리는 반복 실험 가정(동일 자극 하에 각 트라이얼이 독립이고 동일하게 분포)과 대수의 법칙을 이용해, 트라이얼 수 m이 무한히 커질 때 ˆPₜ(r)와 ˆP(r) 가 각각 조건부 기대값 Pₜ(r|S₁,…,Sₙ)와 그 시간 평균 \bar P(r|S₁,…,Sₙ) 로 거의 확실히 수렴한다는 것이다. 따라서 ˆH는 \bar P의 엔트로피 H(\bar P) 로, ˆHₜ는 Pₜ의 엔트로피 H(Pₜ) 로 수렴한다. 이를 이용하면 ˆI는 (1/n)∑ₜ