고차원 동시 변수 선택: 블록 일 무한대 정규화의 장점과 위험

본 논문은 다중 회귀 문제에서 공유되는 희소 구조를 활용하기 위한 블록 ℓ₁/ℓ∞ 정규화 방법을 고차원 설정에서 체계적으로 분석한다. 먼저, r개의 회귀 모델 y_i = X_i β_i + w_i (i=1,…,r) 를 고려하고, 각 β_i의 지원 집합 S(β_i) 가 부분적으로 겹친다고 가정한다. 이러한 상황에서 변수 j에 대한 계수들의 무한대 노름 ‖β_{·j}‖_∞ 를 취해 전체 ℓ₁ 노름을 부과하는 블록 정규화 문제를 다음과 같이 정의한다.   min_{B∈ℝ^{p×r}} (1/2n)∑_{i=1}^r ‖y_i−X_i β_i‖_2^2 + λ‖B‖_{1,∞}. 논문은 먼저 고정 설계 행렬에 대해 ℓ∞-노름 오차 경계 ‖\hat B−B^*‖_{∞} ≤ C·λ 를 증명하고, 서브다이퍼렌셜을 이용해 정확한 지원 복구를 위한 충분조건을 제시한다. 이때 필요한 조건은 설계 행렬의 최소특이값, 신호 강도, 그리고 정규화 파라미터 λ 사이의 관계로 표현된다. 무작위 Gaussian 설계 X_i∼N(0,Σ) 에 대해서도 동일한 결과를 확률적으로 보이며, 특히 설계 행렬이 독립 표준 정규인 경우에 명시적인 확률 하한을 제공한다. 핵심적인 두 번째 결과는 r=2인 경우, 즉 두 개의 회귀 모델이 동일한 차원 p와 동일한 희소도 s를 갖고, 지원 집합이 α 비율만큼 겹친다는 특수 상황을 분석한다. 여기서 α∈