동적 메모리 재생 할당을 통한 연합 증분 학습

본 논문은 의료 분야 연합 학습에서 연속적인 데이터 흐름과 클래스·도메인 변화가 동시에 발생하는 복합 상황을 다루기 위해, 기존의 고정 메모리 기반 연속 학습 방법이 갖는 한계를 극복하는 새로운 프레임워크인 FeDMRA(Federated Incremental Learning with Dynamic Memory Replay Allocation)를 제안한다. 1. **연구 배경 및 필요성** 연합 학습(FL)은 데이터 프라이버시를 보장하면서 다수의 의료 기관이 공동으로 모델을 학습할 수 있게 해 주지만, 실제 현장에서는 각 기관이 보유한 데이터가 비동질적(Non‑IID)이며, 시간이 지남에 따라 새로운 질병 클래스나 영상 도메인이 추가되는 연속 학습(Continual Learning) 상황이 빈번히 발생한다. 이러한 환경에서는 기존 FL이 가정하는 정적 데이터 분포가 깨지며, 특히 메모리 기반 재생(Replay) 방법이 모든 클라이언트에 동일한 메모리 크기(m_fix)를 할당하고 이를 클래스별로 균등하게 나누는 방식은 데이터 불균형과 자원 제한을 고려하지 못한다. 결과적으로 중요한 희귀 클래스의 샘플이 충분히 보존되지 않아 ‘catastrophic forgetting’이 심화되고, 클라이언트 간 성능 격차가 커지는 공정성 문제가 발생한다. 2. **FeDMRA의 핵심 아이디어** FeDMRA는 서버가 각 클라이언트와 클래스별 기여도를 실시간으로 측정하고, 이를 바탕으로 메모리 예시 저장량을 동적으로 할당한다는 두 단계 메커니즘을 도입한다. - **클라이언트‑레벨 동적 할당**: 각 클라이언트는 현재 작업에서 학습한 모델 파라미터와 클래스별 샘플 수와 같은 메타데이터를 서버에 전송한다. 서버는 (①) 모델 업데이트 편차 b_c,t 와 (②) 샘플 비중 d_c,t 을 각각 계산한다. b_c,t는 로컬 모델이 전역 모델과 얼마나 다른지를 벡터 차이 혹은 코사인 유사도로 측정하고, d_c,t는 해당 클라이언트가 전체 데이터에서 차지하는 클래스 비중을 정규화한 값이다. 두 지표를 가중 평균해 최종 중요도 I_c,t = (b_c,t + d_c,t) / ∑_c (b_c,t + d_c,t) 를 구한다. 전체 메모리 풀 M 에 대해 각 클라이언트에 할당되는 메모리 m_c,t = I_c,t · M 을 산출한다. 이를 통해 데이터가 풍부한 클라이언트는 더 많은 메모리를, 데이터가 적은 클라이언트는 최소 메모리 m_min 을 보장받으며, 전체 메모리 한도 m_max 을 초과하지 않도록 제어한다. - **클래스‑레벨 동적 할당**: 클라이언트‑레벨에서 할당받은 m_c,t 를 다시 각 클래스별 비중에 따라 세분화한다. 구체적으로, 클라이언트 c 내부에서 클래스 y의 전역 비중 N_t,c,y / N_t,y 와 전체 클라이언트 간 비중 P_y 를 고려해 비중 α_{c,y} 를 계산하고, m_{c,y,t} = m_c,t · α_{c,y} 로 할당한다. 이 과정은 희귀 클래스가 특정 클라이언트에 집중돼 있더라도 충분한 메모리를 확보하도록 설계되었다. 3. **보조 학습 기법** 메모리 재생 외에도 두 가지 보조 기법을 적용한다. - **정규화 기반 손실**: EWC, SI 등과 같은 파라미터 정규화 기법을 도입해 이전 작업에서 학습된 파라미터가 급격히 변하는 것을 억제한다. - **지식 증류(KD)**: 서버의 최신 전역 모델을 ‘교사’로 사용해 로컬 모델이 글로벌 지식을 유지하도록 KL‑divergence 기반 증류 손실을 추가한다. 이는 메모리 양이 제한된 상황에서도 성능 저하를 최소화한다. 4. **실험 설정 및 결과** 세 가지 의료 이미지 데이터셋(백혈구 이미지, 폐 CT, 피부 병변)과 세 가지 연속 학습 시나리오(FCIL, FDIL, FCDIL)를 대상으로 실험을 수행하였다. 비교 대상은 고정 메모리 기반 FedAvg + Replay, ReFed, MFCL, DDDR 등 기존 최신 방법이다. 주요 결과는 다음과 같다. - 전체 정확도에서 평균 4.2%~7.1% 향상(특히 데이터가 극도로 불균형한 클라이언트에서 10% 이상 개선). - 클래스별 F1‑score에서 희귀 클래스(예: 특정 혈액 질환)의 성능이 12% 이상 상승. - 클라이언트 간 정확도 분산이 30% 이상 감소해 공정성이 크게 개선됨. - 메모리 사용량을 동일하게 유지했음에도 불구하고, 동적 할당이 고정 할당 대비 메모리 효율성을 1.8배 이상 향상시켰다. 5. **의의 및 한계** FeDMRA는 (1) 데이터 이질성을 메모리 할당에 적극 활용, (2) 클라이언트·클래스 수준의 기여도를 정량화, (3) 정규화·지식 증류를 결합해 기억 손실을 최소화한다는 점에서 연합 연속 학습 분야에 새로운 패러다임을 제시한다. 또한 m_min·m_max 제약을 두어 실제 엣지 디바이스 환경에서도 적용 가능하도록 설계하였다. 한편, 현재 구현은 클라이언트가 메타데이터(클래스 라벨·샘플 수)를 전송하는 전제에 의존하므로, 메타데이터 자체가 민감할 경우 추가적인 프라이버시 보호 메커니즘(예: 차등 프라이버시)과의 연계가 필요하다. 또한 메모리 할당 계산이 서버에 추가적인 연산 부하를 발생시키므로, 대규모 클라이언트 환경에서의 확장성 검증이 향후 과제로 남는다. 종합하면, FeDMRA는 의료 연합 학습에서 발생하는 복합적인 데이터·자원 제약을 동시에 해결함으로써, 실무 적용 가능성을 크게 높인 혁신적인 접근법이라 할 수 있다.