적응형과 비적응형 변수 선택의 충격적인 차이: ℓ∞ 희소 복구의 새로운 경계

** 본 논문은 고차원 선형 회귀에서 변수 선택(지원 복구)을 목표로 하는 희소 복구 문제를 ℓ∞ 오차 관점에서 재조명한다. 전통적으로 ℓ₂ ‖·‖ 오차는 ‖ξ‖₂ 로 정규화되며, 비적응형(“for each”)과 적응형(“for all”) 모델 모두 n ≈ k log d 샘플이면 최적의 복구가 가능하다는 것이 알려져 있다. 그러나 ℓ∞ 오차는 지원을 직접적으로 드러내는 특성이 있어, 실제 응용(예: 유전자 발현, 변수 선택)에서 더 중요한 지표가 된다. 논문은 먼저 문제 정의를 명확히 한다. - **Problem 1 (Variable Selection)**: 신호 θ*∈ℝᵈ는 k‑희소이며, 최소 비제로값이 C·‖Xᵀξ‖_∞ 보다 크게 가정된다. 목표는 지원을 정확히 복구하는 것이다. - **Problem 2 (ℓ∞ Sparse Recovery)**: 위와 동일한 설정에서, 목표는 ‖θ̂−θ*‖_∞ ≤ C·‖Xᵀξ‖_∞ 를 만족하는 k‑희소 추정량 θ̂ 를 찾는 것이다. 두 문제는 서로 동치임을 보이며, ℓ∞ 오차를 최소화하면 지원 복구가 바로 가능함을 논한다. 다음으로 모델을 구분한다. 1. **Oblivious Model (Model 1)**: (θ*, ξ) 가 X와 독립적으로 선택된다. 2. **Adaptive Model (Model 2)**: (θ*, ξ) 가 X에 의존적으로 선택될 수 있다. 3. **Partially‑Adaptive Model (Model 4)**: ξ는 X와 독립, θ*는 X에 의존. ### 비적응형 모델 결과 Theorem 1 (informal)에서는 n = Ω(k log d) 샘플과 i.i.d. N(0,1/n) 행렬 X에 대해, 3‑단계 알고리즘이 ℓ∞ 오차를 ‖Xᵀξ‖_∞ 와 상수 배 수준으로 보장한다. 구체적인 단계는: - **Warm‑start**: IHT(Iterative Hard Thresholding) 로 ℓ₂‑관점에서 초기 추정값을 얻는다. - **Support Estimation**: 초기 추정값의 절대값을 임계값으로 비교해 지원을 추정한다. - **Refinement**: 추정된 지원에 대해 OLS(Ordinary Least Squares) 를 수행해 최종 θ̂ 를 얻는다. 이 알고리즘은 Õ(nd) 시간 복잡도로, 기존 LASSO 기반 방법보다 구현이 간단하고, 선형 시간에 가까운 실행이 가능하다. 또한, 서브가우시안 행렬에 대해서도 동일한 결과가 로그 팩터만큼의 오차 증가와 함께 확장된다. ### 적응형 모델 결과 Theorem 2 (informal)에서는 두 가지 측면을 제시한다. - **Upper Bound**: n = Ω(k² log d)이면 ℓ∞‑RIP를 만족하는 Gaussian 행렬이 존재하고, 동일한 IHT‑기반 알고리즘이 ℓ∞ 오차를 달성한다. ℓ∞‑RIP는 모든 k‑희소 벡터 v에 대해 (1−δ)‖v‖_∞ ≤ ‖Xv‖_∞ ≤ (1+δ)‖v‖_∞ 를 보장한다. - **Lower Bound**: n = o(k²)이면, 어떤 알고리즘도 ℓ∞ 오차 보장을 할 확률이 ½ 이하임을 보인다. 증명은 다음과 같다. 1. XᵀX 의 k‑크기 서브행렬을 선택해 그 역행렬의 ℓ∞ 연산자 노름이 크게 되도록 만든다. 2. 그 서브행렬에 대응하는 희소 잡음 ξ 를 설계해, Xᵀξ 가 거의 0이 되게 만든다. 3. 따라서 관측값 y = Xθ*+ξ 은 θ* 와 거의 구분되지 않으며, 지원을 정확히 복구할 수 없게 된다. 이 하한은 기존 ℓ₂‑RIP 기반 하한보다 훨씬 강력하며, 적응형 상황에서 샘플 복잡도가 k² 로 증가해야 함을 명확히 보여준다. ### 부분‑적응형 모델 결과 Theorem 7에서는 ξ 가 X와 독립, θ* 가 X에 의존할 수 있는 상황을 다룬다. 여기서는 “마스킹” 전략을 도입한다. 구체적으로, 현재 추정된 지원 S 를 제외한 좌표를 0 으로 고정하고, 남은 좌표에 대해 동일한 IHT‑기반 임계값 추정을 반복한다. 마스킹된 좌표는 측정값에 영향을 주지 않으므로, 매 반복마다 잔차가 기하급수적으로 감소한다. 결과적으로 n ≈ k log d log k 샘플이면 지원을 정확히 복구할 수 있다. 이 결과는 적응형 모델의 k² 하한을 회피하면서도, 완전 비적응형 가정이 필요 없는 중간 지점을 제시한다. ### 부가적인 기여 - **오류 지표 제안**: ℓ∞ 복구의 최적 오류는 err(X, ξ) = ‖Xᵀξ‖_∞ 라는 점을 제시하고, Oblivious 모델에서는 기존 여러 지표와 동등함을, Adaptive 모델에서는 다른 지표들은 불가능함을 증명한다 (Lemma 20, 21). - **응용**: Theorem 1 은 Bayesian sparse linear regression (KSTZ25) 에 대한 실행 시간 개선으로 연결된다. - **기술적 도구**: ℓ∞‑RIP 정의, Gram 행렬의 ℓ∞ 연산자 노름 분석, 그리고 마스킹 기반 재귀적 지원 추정 알고리즘을 도입했다. 결론적으로, 이 논문은 ℓ∞ 오차라는 새로운 평가 기준 하에서 적응성 여부가 샘플 복잡도에 미치는 영향을 최초로 정량화하고, 비적응형에서는 ℓ₂와 동일한 선형‑k log d 복구가 가능함을, 적응형에서는 반드시 k² log d 수준의 샘플이 필요함을 증명한다. 또한 부분‑적응형 모델을 통해 실용적인 중간 지점을 제시함으로써, 실제 데이터 분석에서 변수 선택을 보다 효율적으로 수행할 수 있는 이론적 토대를 제공한다. **