선형 합성 정규화자를 위한 효율적인 1차 최적화 방법

본 논문은 머신러닝·통계학에서 널리 사용되는 정규화 문제 min_{x∈ℝ^d} f(x)+g(x) 에 대해, 특히 g(x)=ω(Bx) 라는 선형 합성 형태에 초점을 맞춘다. 여기서 f 는 강하게 매끄러운(gradient Lipschitz) 손실 함수이며, ω 는 단순하고 볼록한 비미분 가능 함수, B 는 임의의 m×d 행렬이다. 이러한 형태는 Group Lasso(겹치는 그룹 포함), Fused Lasso, 트리 구조 Group Lasso, 다중 작업 학습에서의 핵심‑핵심 정규화 등 다양한 실제 모델을 포괄한다. **1. 배경 및 필요성** 근접 방법(proximal methods)은 prox_g 연산자를 매 반복마다 호출함으로써 1차 최적화의 계산 비용을 크게 낮춘다. 그러나 g(x)=ω(Bx) 와 같이 복합적인 구조를 갖는 경우, prox_g 를 직접 구하는 것이 일반적으로 어려워 기존 방법은 특수한 경우에만 적용 가능했다. 따라서 ω 의 근접 연산자 prox_ω 가 알려져 있다는 가정 하에, prox_g 를 효율적으로 계산할 수 있는 일반적인 방법이 요구된다. **2. 핵심 이론** 논문은 먼저 Moreau의 정의와 서브디퍼런셜 관계 x∈∂ω(y) ⇔ y=prox_ω(x+y) 를 활용한다. 이어서 g(x)=ω(Bx) 의 서브디퍼런셜은 체인 룰에 의해 ∂(ω∘B)(x)=Bᵀ∂ω(Bx) 임을 제시한다. 이를 바탕으로 Q 양의 정부호 행렬을 갖는 2차형식 ½ yᵀQy−xᵀy+ω(By) 의 최적해 ŷ 는 KKT 조건 Qŷ∈x−Bᵀ∂ω(Bŷ) 을 만족한다. **3. 고정점 변환** 위 포함관계를 변형하여 v∈∂(ω)_λ(Bŷ) 를 도입하고, A(z)= (I−λBQ^{-1}Bᵀ)z + BQ^{-1}x 라는 선형 변환을 정의한다. 그 후 연산자 H(v)=v−prox_{λω}(A v) 를 구성한다. 중요한 정리는 v 가 H 의 고정점이면 ŷ=Q^{-1}(x−λBᵀv) 가 원 문제의 해가 된다는 것이다. **4. 고정점 수렴 보장** 연산자 I−prox_{λω} 는 비팽창성(non‑expansive)임이 알려져 있다. 따라서 H 도 비팽창이지만 수축성은 아니다. 직접적인 Picard 반복은 수렴을 보장하지 않으므로, Opial κ‑average 정리(κ∈(0,1))를 적용한다. 즉, φ_κ = κI + (1−κ)H 를 사용하면 φ_κ 의 Picard 반복은 반드시 고정점에 수렴한다. 이는 정리 2.1에 의해 엄밀히 증명된다. **5. 알고리즘 절차** 1) 초기값 v₀ 설정 (보통 0). 2) 반복: v_{t+1}=κv_t + (1−κ)H(v_t). 3) 수렴 기준(‖v_{t+1}−v_t‖<ε) 만족 시 종료. 4) 최적해 복원: ŷ = Q^{-1}(x−λBᵀv_*). 이때 prox_{λω} 는 ω 에 대한 기존 알고리즘(soft‑threshold, group‑soft‑threshold, singular‑value shrinkage 등)을 그대로 재사용한다. 따라서 복합 정규화에 대한 근접 연산을 별도 내부 최적화 없이 한 번의 고정점 반복으로 해결한다. **6. 가속화와 전체 최적화** f가 강하게 매끄러운 경우, Nesterov 가속법(또는 FISTA)과 결합해 전체 문제 min_x f(x)+g(x) 에 적용한다. 고정점 기반 prox_g 를 내부 서브루틴으로 사용하면, 가속된 1차 방법의 이론적 수렴률 O(1/T²) 를 그대로 유지한다. 이는 기존 O(1/T) 속도의 겹치는 Group Lasso 전용 알고리즘보다 현저히 빠른 결과를 제공한다. **7. 실험 결과** - **겹치는 Group Lasso**: 기존 FOBOS, ISTA 와 비교해 동일 정확도에서 2~3배 적은 iteration 수. - **Fused Lasso**: 제안 방법이 최적 O(1/T²) 수렴을 보이며, 전통적인 ADMM 기반 방법보다 메모리 사용량이 절반 이하. - **트리 구조 Group Lasso**: 복합 그룹 구조에도 불구하고 고정점 반복이 10~15회 내에 수렴, 전체 최적화 시간은 기존 방법 대비 30% 감소. 모든 실험에서 prox_ω 가 명시적 형태(ℓ₁, ℓ₂, ℓ_∞, Schatten‑p)인 경우에만 적용했으며, 복잡한 ω 에 대해서도 내부 서브루틴을 몇 단계의 근사(예: FISTA 내부 5회)로 대체해도 수렴이 유지됨을 확인하였다. **8. 결론 및 전망** 논문은 선형 합성 정규화자 g(x)=ω(Bx) 의 근접 연산을 고정점 이론에 기반한 일반적인 프레임워크로 재구성함으로써, 기존 특수 케이스에 국한된 방법들을 포괄한다. 비팽창 연산자에 대한 Opial 평균 기법을 이용한 고정점 수렴 보장은 이론적 엄밀성을 제공하고, Nesterov 가속과 결합한 전체 알고리즘은 최적의 O(1/T²) 수렴률을 달성한다. 실험 결과는 겹치는 Group Lasso, Fused Lasso, 트리 구조 Group Lasso 등 다양한 실제 모델에 대해 현저한 속도 향상을 입증한다. 향후 연구에서는 Q 를 일반적인 Hessian 근사로 교체해 2차 정보 활용, 그리고 비선형 변환 B(x) 에 대한 확장 등을 통해 더 넓은 클래스의 정규화 문제에 적용할 가능성을 제시한다.