학습 이론에서 탄성망 정규화의 일관성 및 알고리즘 분석
본 논문은 무한 차원의 사전을 이용한 벡터값 회귀 문제에서 탄성망(Elastic‑Net) 정규화 기법의 통계적 일관성과 변수 선택 능력을 이론적으로 검증한다. 유한 표본 경계, 적응형 정규화 파라미터 선택법, 그리고 소프트 임계값을 이용한 새로운 반복 알고리즘을 제시한다.
저자: C. De Mol, E. De Vito, L. Rosasco
본 논문은 현대 통계학 및 기계학습에서 널리 사용되는 탄성망(Elastic‑Net) 정규화 기법을 학습 이론의 관점에서 체계적으로 분석한다. 연구 배경으로는 고차원 데이터에서 변수 선택과 예측 정확도를 동시에 달성하려는 필요성이 있다. 특히, 사전(특징) 수 \(p\) 가 표본 수 \(n\) 보다 훨씬 큰 “large‑\(p\), small‑\(n\)” 상황에서 전통적인 Lasso(\(\ell^1\) 정규화)는 상관된 변수들 사이에서 선택이 불안정해지는 문제를 보인다. 이를 해결하기 위해 Zou와 Hastie가 제안한 탄성망은 \(\ell^1\) 과 \(\ell^2\) 패널티를 가중합한 형태로, \(\ell^2\) 항이 그룹화된 선택을 촉진하고 해의 안정성을 높인다.
논문은 먼저 무작위 설계 회귀 모델을 설정한다. 입력‑출력 쌍 \((X,Y)\) 가 확률분포 \(P\) 를 따르며, 목표는 회귀 함수 \(f^\ast(x)=\mathbb{E}
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기