압축 통신과 이중 모멘텀으로 가속하는 비잔틴 강인 분산 학습
본 논문은 비잔틴 공격에 강인하면서도 통신량을 크게 줄이는 새로운 분산 학습 알고리즘 Byz‑DM21과 그 변형인 Byz‑VR‑DM21을 제안한다. 이들 알고리즘은 이중 모멘텀 추정기와 오류 피드백을 결합해 압축된 그래디언트를 효과적으로 복구하고, 로컬 분산 변분 감소를 통해 잡음과 편향을 동시에 억제한다. 이론적으로 비잔틴 환경에서도 ε‑정지점에 도달하는 복잡도가 각각 O(ε⁻⁴), O(ε⁻³)이며, 폴리아크‑Łojasiewicz 조건 하에서…
저자: Yanghao Li, Changxin Liu, Yuhao Yi
본 논문은 현대 분산 학습 시스템이 직면한 두 가지 핵심 문제—비잔틴 워커에 의한 악의적 공격과 고차원 모델에서 발생하는 통신 병목—를 동시에 해결하고자 한다. 이를 위해 저자들은 새로운 알고리즘군인 Byz‑DM21과 그 변형인 Byz‑VR‑DM21을 제안한다.
1. **문제 설정 및 가정**
- 시스템은 중앙 서버와 n개의 워커(정직 워커 G와 비잔틴 워커 B)로 구성되며, B < n/2 를 전제로 한다.
- 각 정직 워커 i는 로컬 손실 f_i(x) = E_{ξ_i∼D_i}
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기