라벨 인식 채널 스코어링 기반 적응형 채널 프루닝으로 슬라이스 학습 효율 극대화

본 논문은 라벨 정보를 활용해 각 채널의 중요도를 정량화하고, 이를 기반으로 적응형 채널 프루닝을 수행하는 ACP‑SL 방식을 제안한다. 라벨‑인식 채널 중요도 스코어링(LCIS) 모듈은 순간적·역사적 유사도 지표를 결합해 채널별 스코어를 산출하고, 적응형 채널 프루닝(ACP) 모듈은 이 스코어에 따라 동적으로 프루닝 비율을 조정한다. 실험 결과, CIFAR‑10 및 Fashion‑MNIST에서 기존 압축 기법 대비 테스트 정확도가 향상되고, …

저자: Jialei Tan, Zheng Lin, Xiangming Cai

라벨 인식 채널 스코어링 기반 적응형 채널 프루닝으로 슬라이스 학습 효율 극대화
**1. 서론** IoT 디바이스가 급증하면서 데이터 양이 폭발적으로 증가하고 있다. 중앙집중형 학습은 데이터 전송량과 프라이버시 위험이 크고, Federated Learning(FL)은 모델 전체를 각 디바이스에서 학습해야 하는 부담이 있다. 이러한 문제를 해결하기 위해 모델을 클라이언트와 서버 사이에 레이어 단위로 분할하는 Split Learning(SL)이 제안되었으며, 클라이언트는 앞부분만 실행하고 중간 피처(스매시드 데이터)를 서버에 전송한다. 그러나 클라이언트 수가 많아질수록 스매시드 데이터 전송량이 통신 병목이 된다. 기존 연구들은 Auto‑Encoder 기반 압축, 1‑bit 양자화, Top‑k 선택 등 전역적인 압축 방식을 사용했지만, 채널별 중요도를 고려하지 않아 효율이 제한적이다. **2. 제안 방법** 본 논문은 두 개의 핵심 모듈, 라벨‑인식 채널 중요도 스코어링(LCIS)과 적응형 채널 프루닝(ACP)을 결합한 ACP‑SL을 제안한다. - **LCIS**: 1) *Instantaneous Score*는 같은 라벨 내 유사도(Intra‑label similarity)와 라벨 간 차이(Inter‑label similarity)를 각각 Frobenius 내적으로 계산한다. 두 값을 정규화하고 차이를 취해 순간 스코어 S_t,i,Inst를 얻는다. 2) *Historical Score*는 현재까지의 순간 스코어 평균 S_t,i,Hist를 구해 노이즈에 강인하도록 만든다. 3) *Combined Score*는 가중 평균 S_t,i,Comb = α_t·S_t,i,Inst + (1‑α_t)·S_t,i,Hist 로 정의한다. α_t는 학습 진행에 따라 선형 감소(α_t = 1‑t/T)한다. - **ACP**: 1) 전체 채널의 평균 Combined Score D_t^Inst와 과거 평균 D_t^Hist를 구한다. 2) 스케일링 팩터 W_t = D_t^Hist / D_t^Inst 를 계산하고, 기본 프루닝 비율 P_base에 곱한다. 3) 최종 프루닝 비율 P_t = clip_{

원본 논문

고화질 논문을 불러오는 중입니다...

댓글 및 학술 토론

Loading comments...

의견 남기기