규칙과 사실을 동시에 배우는 신경망: RAF 모델의 통합 이론

본 논문은 현대 신경망이 규칙을 일반화하고 동시에 개별 사실을 기억하는 능력을 이론적으로 설명하기 위해 “Rules‑and‑Facts (RAF) 모델”이라는 최소화된 수학적 설정을 제시한다. 데이터는 두 종류의 라벨로 구성된다. 1‑ε 비율은 교사 가중치 w*에 의해 정의된 선형 규칙 y=sign(w*·x/√d)로 생성되고, ε 비율은 완전 무작위 라벨(±1)로 지정된다. 입력 x는 d 차원의 표준 정규분포를 따르며, 학습자는 라벨이 규칙인지 사실인지 알 수 없는 상황에서 n개의 샘플을 관찰한다. 고차원 한계(d,n→∞, α=n/d 고정)에서 분석을 진행한다. 학습 모델로는 (1) 선형 퍼셉트론, (2) 랜덤 피처 회귀/분류, (3) 커널 회귀/분류를 선택한다. 랜덤 피처 모델은 피처 매트릭스 F∈ℝ^{d×p}와 비선형 활성화 σ(·)를 사용하며, p→∞ 한계에서 해당 모델은 dot‑product 기반 커널 K(x,x′)=E_v