지연된 확률적 최적화의 분산 구현과 수렴 분석

본 논문은 현대 데이터 과학에서 흔히 마주치는 “데이터가 한 대의 컴퓨터에 들어가지 않는다”는 문제를 해결하기 위해, 마스터‑워커 형태의 분산 최적화 프레임워크를 수학적으로 정밀 분석한다. 핵심 아이디어는 워커들이 로컬 데이터에 기반해 확률적 그래디언트를 계산하고, 이 그래디언트가 마스터에 도착하기까지 발생하는 지연(Delay)을 명시적으로 모델링하는 것이다. 이러한 지연은 비동기식(Asynchronous) 실행 환경에서 필연적으로 발생하며, 기존 이론에서는 주로 동기식(Synchronous) 가정 하에 수렴성을 논의했기 때문에, 실제 시스템에 적용하기엔 한계가 있었다. 논문은 먼저 문제 설정을 다음과 같이 정의한다. 목표는 부드러운 확률적 목적함수   f(θ) = 𝔼_ξ