지원 벡터 머신의 강인성 및 정규화

본 논문은 지원 벡터 머신(SVM)의 정규화와 강인 최적화 사이의 정확한 동등성을 밝히고, 이를 통해 알고리즘 설계와 일반화 이론에 새로운 시각을 제공한다. 1. **배경 및 동기** - 전통적인 SVM은 선형 분리 가능한 경우 마진을 최대화하고, 불가능한 경우 슬랙 변수와 정규화 항을 도입해 오류와 복잡도 사이의 트레이드오프를 해결한다. - 정규화는 통계학적으로 모델 복잡도를 억제해 과적합을 방지한다는 해석이 일반적이다. 그러나 정규화가 실제로 왜 일반화 성능을 향상시키는지에 대한 물리적·수학적 설명은 부족하다. - 강인 최적화는 “최악의 교란에 대해 최소화”하는 프레임워크로, 특히 박스형(각 샘플에 독립적인) 교란을 가정한 기존 연구는 과도하게 보수적이며, 정규화와의 직접적인 연결고리가 명확하지 않았다. 2. **핵심 개념 정의** - **원자 불확실성 집합(N₀)**: 원점 포함, 대칭이며 유계인 집합. 예를 들어 ‖δ‖₂ ≤ c인 구 또는 타원. - **부분선형 집합(N)**: N₀를 기반으로 전체 샘플에 대한 교란을 제한하는 집합. N⁻, N⁺ 두 경계 집합을 정의해 N⁻ ⊆ N ⊆ N⁺를 만족한다. 구체적인 예로는 “전체 교란의 ‖δ‖₁ 합이 c 이하”, “한 샘플만 교란이 존재하지만 그 크기가 c 이하”, “전체 교란의 p‑노름이 c 이하” 등이 있다. 이러한 집합은 교란이 개별적으로가 아니라 **전체적으로** 제한됨을 의미한다. 3. **강인 SVM 공식화** - 목표는 \