활성화 학습: 수동 학습을 능동으로 전환하여 라벨 복잡도 혁신

본 논문은 머신러닝에서 라벨링 비용이 병목이 되는 현실적 문제를 해결하고자, 기존에 널리 연구된 수동 학습(parallel random sampling)과는 달리 학습 알고리즘이 직접 라벨 요청을 제어하는 능동 학습(pool‑based) 프로토콜을 이론적으로 정밀 분석한다. 저자는 “활성화(activized) 학습”이라는 메타 프레임워크를 도입해, 임의의 수동 학습 알고리즘 A를 입력으로 받아, 동일한 목표 정확도 ε를 달성하면서 라벨 복잡도(label complexity)를 엄격히 감소시키는 능동 학습 알고리즘 A⁺를 구성한다. 1. **문제 설정 및 목표** - 입력: VC 차원 d를 갖는 이진 분류 클래스 ℋ, 임의의 데이터 분포 𝔻, 목표 오류 ε∈(0,1/2). - 목표: 라벨 요청 횟수 N_A⁺(ε)가 기존 수동 학습의 라벨 복잡도 N_A(ε)보다 asymptotically strictly 작도록 보장. - 무노이즈와 잡음이 있는 두 경우를 모두 다룬다. 2. **활성화 메타 알고리즘** - 초기에는 무표본(unlabeled) 풀 U를 무작위로 확보하고, 현재까지 관측된 라벨 집합 S를 기반으로 버전 공간 V(S)= {h∈ℋ : h agrees with S}. - 매 라운드마다, 버전 공간 내 두 가설 h₁, h₂가 서로 다른 라벨을 예측하는 영역을 탐색한다. 이때 “가장 정보량이 큰” 영역을 선택하기 위해, 기존 CAL에서 사용된 불일치 계수 θ(·)를 일반화한 활성화 불일치 계수 𝜃̃(·)를 정의한다. - 𝜃̃(·)는 주어진 ε에 대해 버전 공간이 얼마나 빠르게 수축되는지를 측정하는 함수이며, 불일치가 발생하는 확률이 높은 영역을 우선 선택한다. - 선택된 샘플 x에 대해 라벨 y를 요청하고, S←S∪{(x,y)}를 업데이트한다. 이 과정을 라벨 복잡도가 목표 ε에 도달하거나, 버전 공간이 충분히 작아질 때까지 반복한다. 3. **라벨 복잡도 분석 (무노이즈)** - 주요 정리: 모든 비자명 목표 함수 f∗와 모든 연속적인 분포 𝔻에 대해, 존재하는 상수 c>0와 함수 𝜃̃ such that N_A⁺(ε) ≤ c·𝜃̃(ε)·d·log(1/ε). - 여기서 𝜃̃(ε) ≤ θ(ε)이며, 대부분의 실용적인 분포(예: 균등, 가우시안)에서 θ(ε)보다 크게 작다. 따라서 라벨 복잡도는 기존 O(d·log(1/ε)/ε) 수준보다 다항적으로 개선된다. - 증명은 버전 공간의 VC 차원 감소와 𝜃̃가 정의하는 “불일치 영역”의 샘플링 확률을 결합한 마팅게일 분석을 기반으로 한다. 4. **라벨 노이즈 확장** - 잡음 모델: Massart 잡음(η(x)≤η_max<½)와 Tsybakov 잡음(𝔓