강인한 수렴: 강한 볼록성 없이도 선형 수렴을 보장하는 변동 감소 확률 경사법

본 연구는 대규모 머신러닝 문제에서 널리 사용되는 확률 경사 하강법(SGD)의 근본적인 한계인 느린 수렴 속도를 극복하고자, 변동 감소(Variance‑Reduced) 기법을 강한 볼록성 가정 없이도 선형 수렴을 보장하도록 확장한다. 1. **문제 설정 및 가정** - **제약형 문제**: 최소화 대상은 f(w)=h(Xw)+qᵀw 형태이며, f는 n개의 볼록 함수 f_i의 평균으로 표현된다. 가정 A1은 각 f_i와 전체 f가 L‑Lipschitz 연속인 그라디언트를 가진다고 명시한다. A2는 h가 정의역의 열린 부분에서 연속 미분 가능하고, 임의의 볼록 컴팩트 집합 내에서는 강하게 볼록함을 요구한다. A3는 제약 집합 W이 다각형(polyhedral)이며, 최적점 집합 W\*가 비어 있지 않다고 가정한다. - **정규화형 문제**: 목표는 F(w)=f(w)+r(w)이며, r은 볼록하고 그 에피그래프가 다각형 집합인 함수이다(B1). 이러한 가정은 Lasso, ℓ₁‑제약 로지스틱 회귀, 선형 SVM 듀얼 등 실제 머신러닝 모델에 그대로 적용 가능함을 예시를 통해 보여준다. 2. **반강볼록(SSC) 부등식 정의** 정의 1에 따라, 문제(1) 혹은 (2)가 SSC라면 상수 β>0이 존재해 f(w)‑f\* ≥ (β/2)‖w‑Π\_{W\*}(w)‖² (제약형) 혹은 F(w)‑F\* ≥ (β/2)‖w‑Π\_{W\*}(w)‖² (정규화형) 를 만족한다. 강한 볼록성 없이도 이 부등식을 증명하는 것이 논문의 핵심이다. 3. **SSC 부등식 증명 개요** - 먼저 제약형 문제에 대해, 최적점 집합을 {w\*: Cw\*≤b, Xw\*=r\*, qᵀw\*=s\*} 형태로 명시하고, 다각형 구조와 컴팩트성으로부터 존재하는 상수 θ를 도출한다. - h의 강한 볼록성(컴팩트 부분집합 내)과 라그랑주 승수 해석을 이용해 h(Xw)‑h(r\*) ≥ ∇h(r\*)ᵀ(Xw‑r\*) + (μ/2)‖Xw‑r\*‖² 를 얻는다. - 이를 f(w)‑f\*와 결합하고, Cw≤b 조건을 활용해 ‖w‑w\*‖² 를 ‖Xw‑r\*‖²와 (qᵀw‑s\*)² 로 제한함으로써 최종적으로 β를 명시한다. - 정규화형 문제는 r(w) 의 다각형 에피그래프 특성을 이용해 동일한 논리를 확장한다(보조 정리 Lemma 2). 4. **알고리즘 설계** - **VRPSG (Variance‑Reduced Projected Stochastic Gradient)**: 두 단계 루프 구조를 채택한다. 외부 루프(k)에서는 전체 그라디언트 ξ̃_k = ∇f( w̃_{k‑1}) 를 계산하고, 내부 루프(t=1…m)에서는 무작위 샘플 i_{kt}를 선택해 보정된 그라디언트 v_{kt}를 만든다. 이후 투사 연산 Π_W 로 업데이트한다. - **Prox‑SVRG**: VRPSG와 동일한 내부 구조를 유지하되, 투사 대신에 정규화 항 r(w)를 포함한 근접 연산을 수행한다. 두 알고리즘 모두 샘플링 확률 p_i 를 자유롭게 지정할 수 있어, 비균등 데이터 분포에서도 효율성을 확보한다. 5. **수렴 정리** - **Theorem 1**: η < 1/(4L_P) (L_P = max_i L_i/(n p_i)) 이고, m 충분히 크게 선택해 ρ = … < 1이면, E