그라디언트 슬라이딩으로 복합 최적화 효율 극대화

본 논문은 복합 최적화 문제 Ψ(x)=f(x)+h(x)+X(x) 를 다루며, 여기서 f 는 L‑Lipschitz 연속 미분을 갖는 부드러운 함수, h 는 M‑Lipschitz 연속 서브그라디언트를 갖는 비부드러운 함수, X 는 단순한 제약·정규화 항으로 가정한다. 기존의 가속화된 근접 그래디언트 방법은 매 반복마다 ∇f 와 h′ 를 모두 계산해야 하며, ε‑정밀 해를 얻기 위해서는 O(1/ε²) 번의 전체 반복이 필요하고, 따라서 ∇f 평가도 동일하게 O(1/ε²) 번 수행된다. 그러나 실제 많은 응용에서 ∇f 계산이 고비용(예: 대규모 행렬‑벡터 곱)인 반면, h′ 는 상대적으로 저렴하다. 이를 해결하고자 저자는 “그래디언트 슬라이딩(Gradient Sliding, GS)” 알고리즘을 제안한다. GS는 외부 가속화 루프와 내부 서브문제 해결 루프를 결합한다. 외부 루프는 Nesterov 스타일의 가속 파라미터 γₖ 와 스텝 크기 βₖ 를 사용해 xₖ, \tilde{x}_k, \bar{x}_k 세 시퀀스를 업데이트한다. 내부 루프에서는 현재 고정된 ∇f 값을 이용해 h′ 만으로 Bregman 거리 V(·,·) 에 기반한 근접 연산을 여러 번 수행한다. 이 과정에서 ∇f 평가는 외부 루프가 한 번 진행될 때마다 한 번만 필요하므로, 전체 ∇f 평가 횟수는 외부 반복 수와 동일하게 O(1/√ε) 로 감소한다. 반면, 내부 루프에서 수행되는 서브그라디언트 연산은 기존 방법과 동일하게 O(1/ε²) 번 필요하지만, 이는 이론적으로 최적임을 증명한다. 강한 볼록성 (μ‑strong convexity) 가 추가되면, βₖ와 γₖ를 로그 스케일로 조정해 외부 루프의 반복 수를 O(log 1/ε) 로 줄일 수 있다. 이 경우 ∇f 평가는 로그 수준으로 감소하고, h′ 평가는 O(1/ε) 번으로 감소한다. 확률적 상황에서는 비부드러운 항 h 에 대해 무작위 서브그라디언트 H(u,ξ) 를 이용한다. 이때 기대값이 정확한 서브그라디언트와 일치하고, 분산이 σ² 이하인 경우, GS 알고리즘을 그대로 적용해 기대 복합 복잡도 O(L/ε + M²/ε² + σ²/ε²) 를 얻는다. 또한, 경량 꼬리 가정(예: 서브가우시안) 하에 대편차 경계도 제공한다. 마지막으로, f 가 부드럽지 않지만 양-선형 구조 f(x)=max_{y∈Y}⟨Ax,y⟩ 와 같이 표현될 수 있는 경우, Nesterov의 스무딩 기법을 사용해 f 를 부드러운 근사 f_μ 로 변환하고, 이를 GS 프레임워크에 삽입한다. 이때 ∇f_μ 평가는 O(1/ε) 번, h′ 평가는 기존 O(1/ε²) 번을 유지하면서도 전체 복합 복잡도는 O(1/ε) 에 수렴한다. 전체 논문은 이론적 증명, 복잡도 분석, 그리고 여러 변형(강한 볼록성, 확률적, 비부드러운 f) 등을 포괄적으로 다루며, 특히 대규모 데이터 분석·머신러닝에서 흔히 발생하는 “∇f 계산이 병목” 문제를 효과적으로 완화하는 새로운 알고리즘적 패러다임을 제시한다.