코드와 비코드 결합으로 가속하는 부분 그래디언트 분산 학습

본 논문은 대규모 머신러닝에서 핵심 연산인 행렬‑벡터 곱을 다수의 워커에 분산시킬 때 발생하는 스트래글러(느린 서버) 문제를 해결하고자, 기존의 코딩 기반 분산 계산과 비코딩 기반 다중 메시지 전송(MMC) 방식을 결합한 새로운 프레임워크인 Coded Partial Gradient Computation(CPGC)을 제안한다. 1. **배경 및 문제점** - MDS‑코드 기반 분산 GD(MCC)는 스트래글러를 견디기 위해 각 워커에 중복된 코딩 작업을 할당하지만, 디코딩 복잡도가 높고 스트래글러가 수행한 연산을 전혀 활용하지 못한다. - 비코드 MMC(UC‑MMC)는 워커가 수행한 모든 연산을 즉시 전송해 부분 그래디언트를 활용할 수 있어 평균 반복 시간이 짧지만, 전체 그래디언트 복구를 위해서는 더 많은 메시지와 통신량이 필요하다. - 두 접근법 모두 “전체 그래디언트 복구”에 초점을 맞추어 부분 결과를 활용하는 유연성이 부족하다. 2. **CPGC 설계 원칙** - **차수 제한**: 모든 코드워드의 차수를 2 이하로 제한한다. 첫 번째 작업은 차수 1(원본 서브매트릭스)으로, 두 번째·세 번째 작업부터 차수 2(두 서브매트릭스의 합) 코드워드로 구성한다. 이는 스트래글러가 첫 작업을 완료했을 경우에도 마스터가 즉시 유용한 정보를 얻을 수 있게 한다. - **파티션 기반 코드워드 생성**: 서브매트릭스 집합 W를 서로 겹치지 않는 파티션 P로 나누고, 각 파티션마다 하나의 코드워드 c(Q)=∑_{W'∈Q}W'를 만든다. 파티션 크기를 2로 잡아 차수‑2 코드를 생성하고, 전체 스케줄링 매트릭스의 열마다 동일 서브매트릭스가 중복되지 않도록 여러 파티션을 교차 사용한다. - **스케줄링 매트릭스**: r×K 크기의 매트릭스 A에 작업 순서를 배치한다. 예시에서는 A₁에 차수‑1 작업을, A₂·A₃에 차수‑2 코드워드를 배치하고, 순환 이동(circshift) 연산을 통해 각 워커가 서로 다른 조합을 수행하도록 설계한다. 3. **성능 분석** - 작업 완료 확률 Pₛ(t)를 지수분포 기반으로 모델링하고, “누적 계산 유형”(N₀,…,Nᵣ) 별 가능한 스코어 벡터 수를 표 1·2에 정리하였다. CPGC는 특히 N₁~N₉와 같은 희소 상황에서도 전체 그래디언트를 복구할 확률이 가장 높아 평균 반복 시간 E