정보이론으로 본 데이터 증강 알고리즘 수렴 증명

이 논문은 데이터 증강(Data Augmentation, DA) 알고리즘의 수렴성을 정보이론적 도구를 이용해 체계적으로 분석한다. 먼저 배경을 설명하면서, 복잡한 결합밀도 \(\pi(x,y)\) 를 직접 샘플링하기 어려운 경우 조건부 밀도 \(\pi_{X|Y}\)와 \(\pi_{Y|X}\) 가 tractable하면 DA 알고리즘을 적용할 수 있음을 제시한다. 알고리즘은 초기 분포 \(p^{(0)}\) 에서 시작해 짝수 단계에서는 \(Y\) 를 \(\pi_{Y|X}\) 에 따라, 홀수 단계에서는 \(X\) 를 \(\pi_{X|Y}\) 에 따라 재샘플링한다. 이 과정은 마코프 체인으로 볼 수 있으며, 전통적으로는 전체 변동 거리 \(V(p^{(t)},\pi)\) 의 수렴을 마코프 체인 이론(불변성, 비주기성, 정칙성)으로 보인다. 그러나 저자는 KL 발산 \(D(p^{(t)}\|\pi)\) 라는 더 미세한 척도를 사용한다. 정리 2.1은 두 가지 가정—목표밀도 \(\pi\)가 전 영역에서 양수이며, 초기 밀도와 목표밀도 사이의 KL 발산이 유한함—하에, DA 알고리즘이 생성하는 밀도열이 KL 발산과 전체 변동 거리 모두에서 0으로 수렴함을 주장한다. 증명은 네 개의 보조 정리(Lemma 3.1‑3.4)와 부수적인 결과(Corollary 3.1, Proposition 3.1)로 구성된다. Lemma 3.1은 각 단계가 역 I‑투영이라는 정보기하학적 해석을 제공한다. 즉, 현재 밀도와 목표밀도 사이의 KL 발산이 현재 밀도와 다음 밀도 사이의 KL 발산과 다음 밀도와 목표밀도 사이의 KL 발산의 합으로 분해된다. 이는 KL 발산이 매 단계마다 감소함을 보장한다. Lemma 3.2는 짝수·홀수 간격에 따라 KL 발산이 단조적으로 감소하거나 삼각 부등식 형태로 표현될 수 있음을 보여준다. Lemma 3.3은 이를 귀납적으로 확장해, 임의의 두 시점 \(t\)와 \(t+n\) 사이의 KL 발산이 목표 KL 발산 차이의 상한으로 제한된다는 부등식 \