LASSO 해석을 위한 비영점 증가 충분조건

본 논문은 ℓ₁ norm이 부과된 최소제곱 문제, 즉 LASSO(Least Absolute Shrinkage and Selection Operator) 형태의 최적화 문제에 대해 해의 비영점(非零點) 개수가 하이퍼파라미터 λ가 감소함에 따라 단조히 증가한다는 충분조건을 제시한다. 문제 정의는  u*(λ)=arg min ½‖y−Au‖₂²+λ‖u‖₁, λ>0, A∈ℝ^{m×n}(m>n) 이며, λ가 무한대로 갈 때 해는 0벡터가 된다. 기존 연구에서는 해 경로가 λ에 대해 조각별 선형(piecewise‑linear)이라는 특성을 이용해 Homotopy·LARS 알고리즘이 λ를 단계적으로 감소시키며 활성 집합 I(λ)={i|u_i≠0}를 갱신한다는 점을 밝혀냈다. 그러나 일반적인 경우 활성 집합은 “추가·제거”가 번갈아 일어나며, 특히 비영점이 다시 0이 되는 현상이 발생하면 알고리즘 복잡도가 급증한다. 이에 저자들은 “k‑step solution property”라 불리는, λ가 감소함에 따라 활성 집합의 원소 수가 절대적으로 증가하고, 한 번 0이 된 원소는 다시 0이 되지 않는 특성을 보장하는 충분조건을 찾고자 한다. 핵심 가정은 정규행렬 AᵀA의 역행렬 (AᵀA)⁻¹이 행 대각우세(diagonally dominant, DD)라는 것이다. 행 대각우세란 각 행 i에 대해 대각원소 h_{ii}가 그 행의 비대각 원소 절댓값 합보다 큰 것을 의미한다. 논문은 먼저 DD 행렬의 중요한 보존 성질(Lemma 1)을 제시한다. 완전 순위 대칭 행렬 H가 DD이면, 임의의 순열 P와 크기 k에 대해 J_{k×n} P H^{-1} Pᵀ J_{k×n}ᵀ의 역행렬도 DD이다. 이를 이용해 KKT 조건 Aᵀ(Au*)+λs*=Aᵀy(여기서 s*는 ℓ₁ norm의 서브그라디언트)에서 비영점과 영점 성분을 순열 P로 구분하고, Ψ=J_k P AᵀA Pᵀ J_kᵀ를 정의한다. Ψ⁻¹=R이 DD이므로 R의 각 행합이 양수이며, 비영점 성분 u_i(λ)의 미분은 du_i/dλ=−∑_j r_{ij}s_j이다. s_j는