무작위 블록 좌표 하강법의 반복 복잡도와 복합 함수 최소화

본 논문은 대규모 데이터 환경에서 함수값이나 전체 그래디언트를 계산하기 어려운 상황을 해결하기 위해, 블록‑좌표 하강법(Block Coordinate Descent, CD)의 무작위 버전을 심도 있게 분석한다. 목표는 부드러운 함수 f와 블록‑분리 비부드러운 함수 Ψ의 합인 복합 목적함수  F(x)=f(x)+Ψ(x)  (x∈ℝᴺ) 를 최소화하는 것이다. 여기서 f는 각 블록에 대해 Lipschitz 연속인 그래디언트를 가지며, Ψ는 각 블록에 독립적인 간단한 형태(ℓ₁ 정규화, 박스 제약, 그룹 라쏘 등)이다. **문제 설정 및 가정** - 변수 공간 ℝᴺ을 n개의 블록으로 분할하고, 각 블록 i에 대해 양정치 행렬 B_i 로 정의된 노름 ‖·‖_{(i)}와 그 쌍대 ‖·‖_{(i)}* 를 사용한다. - f의 블록‑좌표 Lipschitz 상수 L_i 를 정의하고, 전체 Lipschitz 행렬 L=diag(L₁,…,L_n) 로 표기한다. - Ψ는 블록‑분리이며, 각 블록에 대해 프로젝션 연산이 효율적으로 수행 가능하도록 가정한다. - 강볼록성 파라미터 μ>0 이 존재하면 F는 μ‑강볼록이다. **알고리즘 프레임워크** Algorithm 1(RCDC)은 일반적인 무작위 블록 좌표 하강법이다. 매 반복마다 블록 i를 확률 p_i 로 선택하고, 선택된 블록에 대해  x_{k+1}^{(i)} = prox_{Ψ_i}^{B_i}(x_k^{(i)} - (1/L_i)·∇_i f(x_k)) 를 수행한다. 여기서 prox 연산은 B_i‑노름에 대한 프로젝션/소프트‑쓰레시홀드 등을 포함한다. 두 가지 특수 케이스를 상세히 분석한다. 1. **Uniform Block Coordinate Descent (UCDC, Algorithm 2)**: p_i = 1/n (균등 확률). 2. **Randomized Coordinate Descent for Smooth functions (RCDS, Algorithm 3)**: Ψ≡0 인 경우이며, p_i 를 임의의 확률 벡터로 설정한다. **주요 이론적 결과** - **비강볼록 복합 경우**: Theorem 4 (UCDC) 에서, ε‑정밀도 해를 확률 1‑ρ 로 얻기 위해 필요한 반복 횟수는  k ≤ 2n·max{R_W²·L(x⁰), F(x⁰)−F*}·ε⁻¹·(1+log(1/ρ)). 여기서 R_W(x⁰) = ‖x⁰−x*‖_W 은 W‑노름에 대한 초기 거리이며, L(x⁰) 은 초기 점에서의 Lipschitz 상수 조합이다. - **강볼록 복합 경우**: Theorem 7 에서는 선형 수렴을 보이며,  k ≤ max{4/μ, μ/(μ−1)}·n·log((F(x⁰)−F*)/(ε·ρ)). - **부드러운 경우**: Theorem 11, 12 에서는 RCDS에 대한 복잡도와 선형 수렴을 각각 제시한다. 특히, 일반 확률 벡터 p와 비유클리드 노름에 대해 동일한 형태의 경계를 얻는다. 이러한 결과는 기존 Nesterov·Nestrov(2010, 2013) 의 복잡도와 비교했을 때, (i) 정규화 없이 직접 복합 함수에 적용, (ii) 상수 4 로 개선, (iii) 로그 항에서 ε 제거, (iv) 임의 확률 및 일반 노름 허용이라는 네 가지 측면에서 우수함을 보여준다. **기술적 핵심** - **Thresholding Argument**: 정규화 없이 비강볼록 복합 문제에 대해 고확률 경계를 도출하기 위해, 함수값이 일정 수준 이하가 되면 알고리즘이 자동으로 강볼록 구역에 진입한다는 사실을 이용한다. - **Lipschitz 가중 확률 선택**: 블록 i의 선택 확률을 L_i 와 연관시켜, 큰 Lipschitz 상수를 가진 블록이 더 자주 선택되도록 함으로써 기대 수렴 속도를 최적화한다. - **비유클리드 노름**: B_i 를 자유롭게 선택함으로써, 데이터 구조(예: 스파스 행렬, 그래프 기반 거리)와 맞춤형 스케일링이 가능하다. **실험** - **ℓ₁‑정규화 최소제곱**: 10⁹ 차원의 데이터에 대해, UCDC와 RCDS를 적용하고, 기존 전통적인 좌표 하강법 및 가속형 방법(FISTA 등)과 비교하였다. 동일 정확도(ε=10⁻⁴)에서 평균 2.5배 적은 시간으로 수렴하였다. - **대규모 SVM**: 힌지 손실에 ℓ₁ 정규화를 추가한 문제에 대해, 블록을 특성별로 나누어 무작위 선택하고, ‘speed‑up by shrinking’ 기법(반복 중 확률 p_i 를 현재 그래디언트 크기에 따라 적응적으로 감소)으로 추가 가속을 달성하였다. **결론 및 향후 연구** 논문은 무작위 블록 좌표 하강법이 복합 함수 최소화에 대해 고확률 복잡도와 선형 수렴을 동시에 제공한다는 것을 증명하였다. 특히, 정규화 없이도 강볼록 구역에 자연스럽게 진입하는 분석 기법은 향후 비선형, 비볼록 문제에 대한 확장 가능성을 시사한다. 앞으로는 가속형 버전의 고확률 복잡도, 비동질 데이터에 대한 동적 블록 재분할, 그리고 분산 환경에서의 통신 효율성 연구가 기대된다.