컨주게이트 학습 이론 딥 뉴럴 네트워크의 학습 가능성과 일반화 메커니즘 규명

본 논문은 현대 딥 뉴럴 네트워크(DNN)의 성공을 이론적으로 뒷받침하기 위해 ‘컨주게이트 학습 이론(Conjugate Learning Theory)’이라는 새로운 프레임워크를 제시한다. 저자는 먼저 실용적인 학습 가능성(practical learnability)을 정의하고, 이를 볼록 공액(Convex Conjugate) 이중성에 기반한 수학적 구조로 정형화한다. 구체적으로, 모든 실용적인 머신러닝 과제는 입력 X와 출력 Y 사이의 조건부 분포를 추정하는 문제로 환원될 수 있다고 주장한다. 이때 피트만‑다르모이‑쿱만 정리를 이용해, 사전적으로 타깃 분포의 지원(support)이 알려진 경우, 유한 샘플로 일관적으로 추정 가능한 분포는 오직 지수족(Exponential Family)뿐임을 증명한다. 따라서 ‘실용적인 학습 가능성’은 지수족 모델에 한정되며, 이러한 모델의 최대우도 추정은 Fenchel‑Young 손실과 동등함을 보인다. 학습 가능성 분석의 핵심은 ‘구조 행렬(structure matrix)’이다. 이 행렬은 네트워크의 아키텍처적 특성(깊이, 파라미터 수, 스파시티, 스킵 연결 등)과 데이터의 통계적 특성을 결합해 정의되며, 그 고유값 스펙트럼이 학습 역학을 좌우한다. 논문은 경험적 위험(empirical risk) 최소화 문제를 ‘그래디언트 에너지(gradient energy)’를 최소화하면서 구조 행렬의 최대·최소 고유값을 동시에 제어하는 문제로 변환한다. 이 변환을 통해 미니배치 확률적 경사 하강법(mini‑batch SGD)이 전역 최적(global optimum)에 수렴할 수 있는 충분조건을 제시하고, 배치 크기와 학습률, 모델 복잡도 사이의 상호작용을 정량화하는 ‘그래디언트 상관 계수(gradient correlation factor)’를 도입한다. 이 계수는 배치 크기가 커질수록 샘플링 노이즈가 감소하지만, 구조 행렬의 스펙트럼 폭이 넓어질 경우 수렴 속도가 저하된다는 trade‑off를 수식적으로 설명한다. 일반화 측면에서는 일반화 조건부 엔트로피(Generalized Conditional Entropy)를 핵심 도구로 삼는다. Φ라는 임의의 볼록 함수를 엔트로피 잠재함수로 두고, 일반화 오류를 세 가지 요인으로 분해한다. 첫째, 모델이 비가역적인 변환을 수행하면서 잃는 정보량(Information loss due to irreversibility); 둘째, 손실 함수의 최대값(Scale of loss); 셋째, 데이터 자체가 가진 조건부 불확실성(Generalized Conditional Entropy of Y given X). 이를 바탕으로 두 종류의 경계를 도출한다. 결정적(bound) 경계는 일반화 오류가