희소 선형 구조를 가진 비선형 모델의 L₀ 정규화 추정

본 논문은 고차원 통계학 및 머신러닝 분야에서 “희소성(sparsity)”과 “비선형성(non‑linearity)”을 동시에 다루는 문제에 대한 새로운 이론적 틀을 제시한다. 전통적으로 고차원 회귀에서는 L₁ 정규화(라소)나 L₂ 정규화(릿지)를 이용해 변수 선택과 과적합 방지를 시도했으며, 비선형 모델에 대해서는 커널 방법이나 신경망이 주된 접근법이었다. 그러나 이러한 방법들은 β 의 실제 희소 구조를 정확히 반영하지 못하거나, 비선형 변환 f 에 대한 강한 가정을 필요로 한다. 저자는 이러한 한계를 극복하고자, **L₀ 정규화**—즉, 비제로 계수 개수 자체에 페널티를 부과하는 방법—을 비선형 모델에 적용하고, 그 이론적 성능을 정량화한다. ### 1. 문제 설정 및 가정 - **모델**: y = f(Xᵀβ)+ε, f는 알려진 실수값 함수, X∈ℝⁿˣᵖ, β∈ℝᵖ는 s‑희소(s = ‖β‖₀). - **잡음**: ε는 평균 0, 서브가우시안(또는 가우시안) 특성을 갖는다. - **설계 행렬**: X는 **제한된 이시도성(RIP)** 혹은 **제한된 강도(RSC)** 를 만족한다. 구체적으로, 모든 s‑희소 벡터 δ에 대해 \