스케일된 희소 선형 회귀

본 논문은 고차원 선형 회귀 모델 y = Xβ + ε (ε∼N(0,σ²Iₙ))에서 회귀계수 β와 오류 분산 σ²를 동시에 추정하는 새로운 방법론, 즉 “스케일드 희소 선형 회귀(Scaled Sparse Linear Regression)”를 제안한다. 전통적인 라소(Lasso)와 같은 ℓ₁ 정규화 방법은 패널티 파라미터 λ를 사전에 지정해야 하는데, 이 λ는 일반적으로 σ에 비례한다는 이론적 근거가 있다. 그러나 σ를 모르는 상황에서 교차 검증을 통해 λ를 선택하면 계산 비용이 크게 늘어나고, 변수 선택 일관성에 대한 이론적 보장이 약하다. 이러한 문제를 해결하고자 저자들은 평균 잔차 제곱을 이용해 현재 σ̂를 추정하고, 이를 λ에 곱해 새로운 패널티 λ = σ̂·λ₀(λ₀는 사전 고정값)로 설정하는 반복 알고리즘을 고안한다. 알고리즘은 다음 두 단계로 구성된다. 1) 현재 σ̂를 이용해 λ를 업데이트하고, 업데이트된 λ에 대해 라소(또는 다른 ℓ₁ 기반 희소 추정) 문제를 풀어 β̂를 얻는다. 2) 새 β̂를 사용해 평균 잔차 제곱 |y−Xβ̂|²/(1−a)n 의 제곱근을 새로운 σ̂로 설정한다 (a≥0는 자유도 보정 파라미터). 이 과정을 수렴할 때까지 반복한다. a=0이면 Sun & Zhang(2010)의 알고리즘과 동일하며, a>0이면 자유도 보정을 포함한다. 저자는 이 절차가 Huber의 동시 손실(concomitant loss)과 ℓ₁ 패널티를 결합한 손실 함수 L_{λ₀}(β,σ)=‖y−Xβ‖₂²/(2nσ)+(1−a)σ²/2+λ₀‖β‖₁ 의 교대 최소화(Alternating Minimization)와 동일함을 보인다. 이 손실은 (β,σ) 전역 볼록이므로 알고리즘은 전역 최소점에 수렴한다는 강력한 보장을 갖는다. 이론적 결과는 크게 세 부분으로 나뉜다. 1) **예측 오라클 부등식** λ와 ξ>1을 고정하면, 예측 오차 η(λ,ξ,w,T)=‖Xβ*−Xw‖₂²/n + (1+δ_{w,T})² λ‖w_{T^c}‖₁ + 4ξ²λ²|T|/(ξ+1)² κ²(ξ,T) 로 정의된 상한을 만족한다. 여기서 κ(ξ,T) 는 호환 계수(compatibility factor)이며, T는 선택된 변수 집합이다. 스케일드 라소는 이 η의 최소값에 비례하는 오차 수준을 달성한다. 즉, 스케일드 라소의 예측 오차는 최적의 선형 예측기와 비교했을 때, 추가적인 ℓ₁ 비용 λ∑_j min(λ,|β*_j|) 정도만 초과한다. 2) **잡음 수준 σ̂의 일관성 및 점근 정규성** λ₀를 A√(2log p/n) 형태로 선택하고 A>(ξ+1)/(ξ−1)이면, τ₀ = η^{1/2}(σ*λ₀,ξ)/σ* →0 가 된다. 이때 |σ̂/σ*−1| ≤ τ₀ 가 확률 1에 수렴한다. 따라서 σ̂는 일관적이며, 추가적인 정규성 조건(예: β*가 충분히 희소하고 디자인 행렬이 적절히 정규화된 경우) 하에 n^{1/2}(σ̂−σ*) → N(0,σ²/2) 로 수렴한다. 3) **ℓ₁ 오차와 σ̂ 수렴 속도 개선** ℓ₁ 오차에 대한 상한 µ(λ,ξ) = (ξ+1) min_T inf_{0<ν<1} max_h |β*_{T^c}|₁^ν λ|T|/