비원자 측도 하에서의 PAC 학습 가능성

본 논문은 1997년 Vidyasagar가 제시한 문제에 대한 해답으로, 비원자(확산) 확률 측도만을 고려했을 때 개념 클래스가 PAC 학습 가능하도록 하는 새로운 조합론적 기준을 제시한다. 전통적인 PAC 학습 이론에서는 세 가지 조건이 서로 동등함이 알려져 있다. (1) 모든 확률 측도에 대해 분포 자유 PAC 학습 가능, (2) 모든 측도에 대해 균일 Glivenko‑Cantelli(GC) 클래스, (3) VC 차원이 유한. 그러나 비원자 측도만을 대상으로 하면 (2)와 (3)이 충분조건은 되지만 필요조건은 아니다. 저자는 이를 보여주기 위해, 모든 유한·공유한 집합을 포함하는 클래스 C를 예시로 든다. 이 클래스는 VC 차원이 무한하고 GC 성질을 갖지 않지만, 비원자 측도 하에서는 간단한 일관 학습 규칙(예: {∅,Ω}에 대해 일관)으로 PAC 학습이 가능하다. 이 현상은 ‘카운트 가능한 잡음’이 비원자 측도에서는 무시될 수 있기 때문에 발생한다. 따라서 기존 VC 차원을 보완하는 새로운 지표가 필요하다. 저자는 이를 위해 VC mod ω₁, 즉 “카운트 가능한 집합을 무시한 VC 차원”을 정의한다. 정의는 기존 VC 차원에서 점을 대신해 불가산 집합을 사용해 셔틀링을 판단한다. 구체적으로, n개의 불가산 집합 A₁,…,Aₙ이 존재하여 모든 부분집합 J⊆{1,…,n}에 대해 어떤 C∈𝒞가 J에 해당하는 Aᵢ들을 포함하고 나머지는 배제하도록 할 수 있으면 VC mod ω₁≥n이다. 이 정의는 “모든 가산 부분클래스는 어떤 가산 제외 집합 외에서는 유한 VC 차원을 가진다”는 조건과 동치이며, 이는 논문의 정리 1.1(3)과 직접 연결된다. 주요 결과인 Theorem 1.1은 마틴 공리(MA)를 가정하에 다음이 동등함을 보인다. (1) 𝒞가 모든 비원자 측도에 대해 PAC 학습 가능, (2) VC mod ω₁가 유한, (3) 모든 가산 부분클래스가 어떤 가산 제외 집합 외에서 유한 VC 차원을 가짐, (4) 위와 같은 상한 d가 모든 가산 부분클래스에 대해 동일하게 존재, (5) 모든 가산 부분클래스가 비원자 측도에 대해 균일 GC 클래스, (6) (5)와 동일하지만 샘플 복잡도가 전체 클래스에만 의존, (7)~(9) 등 추가적인 동등조건(보편적으로 구분 가능한 경우에만 필요). 특히 (3)⇒(1)의 증명은 논문의 핵심 기술이다. 저자는 MA를 이용해 일관 학습 규칙 L을 구성한다. L은 각 개념 C와 샘플 σ에 대해, σ∩C를 이용해 새로운 개념을 출력하고, 이 출력들의 집합이 비원자 측도에 대해 균일 GC 성질을 만족하도록 설계한다. MA는 가산 이하의 집합들의 합집합이 여전히 측정 가능함을 보장해, 이러한 L이 정의역 전체에 걸쳐 측정 가능성을 유지하도록 한다. 함수 학습에 대해서는 비슷한 접근을 취한다. fat‑shattering 차원 modulo countable sets, 즉 fat ε(F mod ω₁)를 정의한다. 이는 ε‑정밀도에서 불가산 집합들을 ‘샤터’로 사용해 차원을 측정한다. Theorem 1.2는 모든 ε>0에 대해 이 차원이 유한하면 비원자 측도 하에서 PAC 학습이 가능함을 보이며, 역은 일반적인 경우 성립하지 않는다. 예시로 fat ε(F mod ω₁)=∞이지만 분포 자유 PAC 학습이 가능한 함수 클래스가 제시된다. 또한 저자는 Boolean 대수와 C*‑대수의 최대 이데얼 공간을 활용해, VC mod ω₁와 fat ε(F mod ω₁)를 기존의 컴팩트화된 공간(예: βΩ)의 제한된 부분에서의 전통적인 VC/ fat‑shattering 차원과 동등하게 표현한다. 이는 기존 이론과의 연결을 제공하고, ‘카운트 가능한 잡음’이 제거된 새로운 학습 가능성 기준을 직관적으로 이해하게 한다. 보편적으로 구분 가능한 클래스(Universally separable)에서는 MA 없이도 (1)–(9) 조건이 모두 동등함을 보이며, 이는 기존의 분포 자유 PAC 이론과 일치한다. 그러나 일반 클래스에서는 MA가 필수적이며, 이는 측도 이론과 집합론 사이의 깊은 연관성을 드러낸다. 결론적으로, 논문은 비원자 측도라는 제한된 측도 클래스에서 학습 이론을 재구성하고, 기존 VC 차원보다 더 섬세한 combinatorial 지표인 VC mod ω₁와 fat ε(F mod ω₁)를 도입함으로써, PAC 학습 가능성의 새로운 충분조건을 제시한다. 이는 이론적 관점에서 비원자 측도 하의 학습 가능성을 정확히 규정하고, 실용적 관점에서는 가산 잡음에 강인한 학습 알고리즘 설계에 대한 통찰을 제공한다.