인과 정보와 Pearl 인과 계산의 연결고리

본 논문은 확률 그래프 모델, 특히 방향성 비순환 그래프(DAG)를 기반으로 한 인과 모델링과 정보이론 사이의 연결고리를 탐구한다. 서론에서는 “상관관계는 인과를 의미하지 않는다”는 고전적 격언을 인용하며, 기존의 mutual information, conditional entropy, KL divergence와 같은 정보량이 방향성을 갖지 못해 인과 관계를 포착하지 못함을 지적한다. 이에 대한 대안으로, 1990년대 Massey가 제안한 directed information 개념을 소개하고, 이후 Kramer, Tatikonda, Mitter 등이 확장한 연구들을 언급한다. 두 번째 섹션에서는 인과를 기능적 종속성으로 정의한다. 통신 시스템 예시를 통해, 메시지 \(W\) 가 디코딩된 메시지 \(\tilde W\) 를 “원인”으로 갖는 반면, 관측된 결합분포만으로는 그 방향성을 구분할 수 없음을 보여준다. 여기서 저자는 시스템을 순차적(시계열) 형태로 재구성하고, 변수에 대한 ‘hard assignment’(예: \(W \leftarrow w\) 혹은 \(\tilde W \leftarrow \tilde w\))를 수행함으로써 실제 인과 효과를 드러낸다. 특히, \(W\) 를 고정하면 하위 변수들(\(U, X, Y, \tilde W\))의 분포가 변하지만, \(\tilde W\) 를 고정해도 상위 변수들(\(W, U, X, Y\))에는 아무 영향이 없음을 증명한다. 이는 인과적 비대칭성을 명확히 보여주는 사례이다. 세 번째 섹션에서는 일반적인 마르코프 동적 시스템을 정의한다. 시스템은 외생 교란 \(U_i\) 와 상태 변수 \(X_i\) 로 구성되며, 각 \(X_i\) 는 이전 상태들의 함수와 독립적인 교란으로 표현된다(\(X_i = f_i(X_{\Pi_i}, U_i)\)). 이러한 구조는 DAG와 일대일 대응하며, 마르코프 팩터화 \(P_{X^n}(x^n)=\prod_{i=1}^n P_{X_i|X_{\Pi_i}}(x_i|x_{\Pi_i})\) 로 나타낼 수 있다. 저자는 인과 개입을 ‘수술’ 방식으로 설명한다: 특정 변수 집합 \(X_S\) 를 고정값 \(x_S\) 로 대체하고, 해당 변수와 연결된 모든 방정식을 삭제한다. 이때, 개입은 오직 해당 변수의 후손(descendants)에게만 영향을 미치며, 비후손(non‑descendants)에는 전혀 영향을 주지 않는다. 이를 정리한 Lemma 1, Lemma 2, Lemma 3 은 개입 후 분포와 원래 분포 사이의 관계를 명확히 제시한다. 다음으로, 그래프적 관점에서 개입을 시각화한다. DAG에서 개입 대상 노드의 모든 들어오는 간선을 제거하고, 해당 노드에 고정값을 할당하면, 남은 그래프가 개입 후의 확률 구조를 정의한다. 예시로 제시된 6노드 그래프에서 \(X_3\) 를 고정하면, 그 후손인 \(X_5, X_6\) 의 조건부 분포가 변하고, 나머지 노드들은 그대로 유지된다. 핵심 기여는 directed information과 그 조건부 형태를 이용해 인과 효과를 정량화하고, Pearl의 back‑door 기준을 정보‑이론적으로 재해석한 것이다. 저자는 조건부 directed information \(I(Y^n \rightarrow X^n \mid Z^n)\) 가 “관측된 데이터만으로 인과 효과를 식별할 수 있는 충분조건”임을 보인다. 구체적으로, 어떤 변수 집합 \(Z\) 가 모든 back‑door 경로를 차단하면, \