일관성을 유지하면서도 고성능을 구현한 제한 비동기 파라미터 서버

본 논문은 분산 머신러닝 시스템에서 파라미터 서버(Parameter Server, PS)의 일관성 모델을 재고하고, 기존의 강한 일관성(순차 일관성, 선형화)과 완전 무일관성(베스트‑에포트) 사이에 위치하는 세 가지 새로운 일관성 모델을 제안한다. 저자들은 많은 ML 알고리즘이 “반복 수렴(iterative convergent)” 특성을 가지며, 일정 수준의 불일치(staleness)와 값 차이(value deviation)를 허용해도 수렴한다는 사실을 관찰하고, 이를 이론적으로 정량화한다. ### 1. 배경 및 문제 정의 분산 ML에서는 파라미터를 여러 워커에 복제해 네트워크 오버헤드를 줄인다. 복제된 파라미터 간 일관성을 유지하는 방법은 시스템 성능과 알고리즘 정확도에 직접적인 영향을 미친다. 기존 데이터베이스에서 차용한 강한 일관성 모델은 동기화 장벽을 만들어 CPU·네트워크 활용도를 크게 낮춘다. 반면, YahooLDA와 같이 일관성을 거의 보장하지 않는 모델은 높은 처리량을 보이지만, 스트래거러, 네트워크 포화 등 악조건에서 수렴이 보장되지 않는다. 최근 SSP(Stale Synchronous Parallel) 모델은 “bounded staleness”를 도입해 일정 정도의 비동기성을 허용하면서도 수렴을 증명했지만, SSP는 동기화 단계에서만 업데이트를 전파한다는 제한이 있다. ### 2. 제안 모델 #### 2.1 CAP (Clock‑bounded Asynchronous Parallel) - **시계 기반**: 각 워커는 정수형 시계 c를 유지하고, 업데이트는 시계 구간