통신 효율을 갖춘 병렬 재시작 SPIDER 기반 비볼록 최적화

본 논문은 대규모 데이터와 분산 컴퓨팅 환경에서 비볼록 스무스 최적화 문제를 효율적으로 해결하기 위한 새로운 알고리즘, Parallel Restarted SPIDER(PR‑SPIDER)를 제안한다. 문제 설정은 N개의 워커가 각각 n개의 샘플(유한 또는 무한)을 보유하고, 중앙 서버와 통신하며 전역 목적함수 f(x)= (1/N)∑_{i=1}^N f_i(x)를 최소화하는 형태이다. f_i는 L‑Lipschitz 연속 그라디언트를 가지는 비볼록 함수이며, 각 워커는 자체 데이터 분포 D_i에서 독립적으로 샘플을 추출한다. 이는 연합학습(Federated Learning) 상황을 포괄한다. ### 기존 연구와 한계 - **분산 SGD**: 에포크마다 모든 워커가 로컬 SGD를 수행하고 매번 평균을 교환한다. 계산 복잡도는 O(ε⁻²)이며, 통신 라운드도 O(ε⁻²)라 비효율적이다. - **Parallel Restarted SGD**: 에포크마다 로컬 SGD를 I번 수행하고 에포크 종료 시 평균을 교환함으로써 통신 라운드 수를 O(ε⁻¹)로 감소시켰지만, 여전히 IFO 복잡도는 O(ε⁻²) 수준에 머물렀다. - **분산 분산‑감소 기법(SVRG, SAGA 등)**: 주로 볼록 혹은 강볼록 문제에 적용되며, 비볼록 상황에서는 무편향성 유지가 어려워 적용이 제한적이다. ### PR‑SPIDER 설계 PR‑SPIDER는 두 가지 핵심 요소를 결합한다. 1. **SPIDER 그라디언트 추정**: 일정 주기(예: 매 I₁번째 이터레이션)마다 전체(또는 큰 배치) 그라디언트를 계산하고, 그 사이에는 작은 배치(또는 단일 샘플) 차분을 이용해 업데이트한다. 이는 분산을 σ²/|B| 수준으로 크게 감소시켜 IFO 복잡도를 개선한다. 2. **병렬 재시작 메커니즘**: 에포크마다 모든 워커가 현재 로컬 해 x_i^t를 서버에 전송하고, 서버는 평균 \bar{x}^t = (1/N)∑ x_i^t 를 계산한다. 이후 각 워커는 \bar{x}^t를 새로운 시작점으로 삼아 로컬 SPIDER 업데이트를 진행한다. 평균 연산만 수행하므로 통신 비용은 O(d)이며, 에포크 길이 I를 ε에 비례하도록 조정하면 통신 라운드 수가 O(ε⁻¹)로 제한된다. ### 이론적 결과 #### 가정 - (A1) 각 f_i는 L‑Lipschitz 연속 그라디언트를 가진다. - (A2) 스토캐스틱 그라디언트 ∇f_i(x;ξ)는 무편향이며, 분산이 σ² 이하이다. - (A3) 데이터 분포 D_i는 서로 다를 수 있다(비동질). #### 정의 - ε‑FOS(First‑order stationary) 점: \mathbb{E}