고차원 가법 모델링을 위한 희소성 부드러움 패널티
본 논문은 변수 수가 표본보다 훨씬 큰 일반화 가법 모델에 대해, 함수 수준의 희소성(스파시티)과 부드러움(스무스)을 동시에 제어하는 새로운 패널티를 제안한다. 제안된 패널티는 그룹 라쏘 형태로 구현 가능하며, 효율적인 좌표 하강 알고리즘을 통해 전역 최적해를 보장한다. 또한, 적합된 추정량에 대해 오라클 부등식과 적응형 가중치에 기반한 향상된 수렴 속도를 이론적으로 증명한다. 실험 결과는 제안 방법이 기존 방법보다 변수 선택 정확도와 예측 성…
저자: Lukas Meier, Sara van de Geer, Peter B"uhlmann
본 연구는 변수의 수가 표본보다 훨씬 큰 상황(p≫n)에서 일반화 가법 모델(GAM)을 효과적으로 추정하기 위한 새로운 방법론을 제시한다. 기존의 라쏘(Lasso)와 그 변형들은 주로 선형 효과에 초점을 맞추어 왔으며, 비선형 효과를 포함하는 가법 모델에서는 함수 수준의 희소성(sparsity)과 부드러움(smoothness)을 동시에 만족시키는 것이 핵심 과제로 남아 있었다.
1. **문제 설정 및 패널티 정의**
모델은 \(Y_i = c + \sum_{j=1}^p f_j(x_{ij}) + \varepsilon_i\) 형태이며, 각 \(f_j\)는 평균이 0인 두 번 연속 미분 가능한 함수로 가정한다. 함수 수준의 희소성을 유도하기 위해 \(\|f_j\|_n\) 노름을, 부드러움을 제어하기 위해 \(\int (f_j''(x))^2dx\) 를 사용한다. 두 항을 결합한 패널티는
\
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기