그라디언트 하드 임계값 탐색: 희소성 제약 최적화의 새로운 접근

본 논문은 희소성 제약 볼록 최적화 문제 min f(x) s.t. ‖x‖₀ ≤ k 에 대한 새로운 탐욕적 알고리즘인 Gradient Hard Thresholding Pursuit(GraHTP)와 그 빠른 변형(F‑GraHTP)를 제안한다. 기존의 Hard Thresholding Pursuit(HTP)는 압축 센싱에서 선형 최소제곱 손실에만 적용 가능했으나, 저자들은 이를 일반적인 부드러운 볼록 함수 f 에 확대한다. 알고리즘은 매 반복마다 세 단계로 진행된다. 첫 단계(S1)에서는 현재 추정 x^{(t‑1)} 에 대해 학습률 η 를 곱한 그래디언트를 빼는 표준 경사 하강을 수행한다. 두 번째 단계(S2)에서는 중간 벡터 \tilde x^{(t)} 의 절대값이 큰 상위 k 개의 인덱스를 지원 집합 F^{(t)} 로 선정한다. 세 번째 단계(S3)에서는 F^{(t)} 위에서 원래 목적함수 f 를 최소화하는 최적화 문제를 풀어 x^{(t)} 를 얻는다. 디바이어싱을 수행하지 않을 경우, S3는 단순히 \tilde x^{(t)} 를 k‑스파스 형태로 절단하는 빠른 변형(F‑GraHTP)으로 대체된다. 이론적 분석의 핵심은 조건 C(s,ζ,ρ)이다. 이는 제한된 지원 집합 F 내에서 f 의 그래디언트가 선형 수축성을 만족한다는 의미이며, 이는 기존의 Restricted Isometry Property(RIP)와 유사하지만 비선형 손실에도 적용 가능하도록 일반화된 형태다. Lemma 1을 통해 C 조건이 제한된 강볼록성 (m_s)과 강부드러움 (M_s)과 동등함을 보이며, ζ < 2m_s/M_s² 이면 ρ < 1을 보장한다. Theorem 1은 η < ζ/(1+ρ_{2k}) 조건 하에 GraHTP와 F‑GraHTP가 유한 단계 내에 수렴함을 증명한다. 이는 지원 집합의 가능한 경우가 유한하므로 순환이 발생하고, 결국 일정 단계 이후 동일한 지원 집합에 머무르게 된다는 직관과 일치한다. Theorem 2는 실제 희소 해 \bar x 에 대한 근사 오차를 기하급 감소율 μ 와 그래디언트 노름 ‖∇f(\bar x)‖ 의 함수로 상한을 제시한다. 특히 ∇f(\bar x)=0 인 경우, 즉 \bar x 가 무제한 최소점이면 정확 복구가 유한 단계 내에 이루어진다. μ₁과 μ₂는 η와 ρ_s에 의해 결정되며, ρ_s < 1/(√2+1) 이면 적절한 η를 선택해 μ < 1을 만족시킬 수 있다. 실험에서는 두 가지 대표적인 응용을 다룬다. 첫째, 희소 로지스틱 회귀에서 손실 ℓ(y, Xβ)=∑log(1+exp(−y_i X_i^Tβ)) 에 GraHTP를 적용한다. 기존의 Greedy Coordinate Descent, IHT 기반 방법, 그리고 ℓ₁‑regularized L‑BFGS와 비교했을 때, GraHTP는 동일하거나 더 낮은 테스트 오류와 빠른 수렴 속도를 보였다. 특히 디바이어싱 단계가 포함된 GraHTP는 지원 집합 선택 정확도가 높았으며, 디바이어싱 없이도 F‑GraHTP는 계산량을 크게 줄이면서도 성능 저하가 미미했다. 둘째, Gaussian Graphical Model에서 정밀 행렬 Θ 의 희소성을 ℓ₀‑제약으로 직접 학습한다. 기존의 Graphical Lasso(ℓ₁‑penalized)와 비교해, GraHTP는 동일하거나 더 높은 구조 복구 정확도(F1‑score)와 빠른 실행 시간을 기록했다. 특히 대규모(수천 차원) 데이터에서 F‑GraHTP는 메모리 사용량과 연산 시간을 크게 절감하면서도 복구 품질을 유지했다. 논문은 또한 조건 C(s,ζ,ρ)와 제한된 강볼록성/강부드러움 사이의 관계를 상세히 논의하고, 실제 데이터에서의 파라미터 선택 가이드라인을 제공한다. 실험 결과는 이론적 보장이 실제 성능으로 이어짐을 입증한다. 결론적으로, GraHTP와 F‑GraHTP는 HTP의 아이디어를 비선형 손실 함수에 일반화하고, 제한된 강볼록성 가정 하에 강력한 수렴 보장과 기하급 수렴률을 제공한다. 디바이어싱 유무에 따른 두 알고리즘은 계산 효율성과 정확도 사이의 트레이드오프를 유연하게 조절할 수 있게 하며, 희소 로지스틱 회귀와 희소 정밀 행렬 추정 등 다양한 실용적 문제에 적용 가능함을 보인다.