No Image
CoCo‑Fed 메모리·통신 효율을 동시에 잡는 통합 연합 학습 프레임워크
CoCo‑Fed가 제시하는 두 가지 핵심 혁신은 ‘이중 차원 다운프로젝션’과 ‘직교 부분공간 초중첩 전송’이다. 첫 번째 단계에서는 기존 연합 학습에서 각 gNB가 전체 모델 파라미터에 대한 그래디언트를 저장·전송해야 하는 문제를 해결한다. 저자들은 그래디언트를 먼저 채널 차원(예: 입력 피처)과 모델 차원(예: 출력 피처) 두 축에서 각각 저‑랭크 행렬로 근사한다. 이때 사용되는 투사 행렬은 사전에 학습된 고정 정규 직교 행렬이거나, 각 라운드마다 랜덤하게 생성된 스케치 행렬일 수 있다. 이렇게 하면 메모리 요구량이 O(rank·
Computer Science
Learning
Information Theory
Framework