의료 지속학습 벤치마크 MedCLBench 안정성 효율성 트레이드오프와 확장성 평가

본 연구는 의료 분야에서 대규모 언어 모델을 지속적으로 업데이트해야 하는 현실적 요구에 부응하고자, 재앙적 망각 문제를 정량화하고 다양한 지속학습(Continual Learning, CL) 전략을 비교·평가하는 새로운 벤치마크인 MedCLBench을 제안한다. 기존 바이오메디컬 NLP 연구는 정적 데이터셋을 사용한 일회성 학습에 초점을 맞추었으나, 실제 임상 환경에서는 새로운 연구 결과, 치료 가이드라인, 약물-질병 관계 등이 지속적으로 추가·변경된다. 이러한 상황에서 모델을 전면 재학습하는 것은 비용과 시간 면에서 비현실적이며, 단순 순차 미세조정은 기존에 습득한 지식을 급격히 손실시킨다. MedCLBench은 10개의 공개 바이오메디컬 NLP 데이터셋을 5개의 작업군(질문응답, 사실 검증, 관계 추출, 문서 수준 분류, 다중 라벨 토픽 분류)으로 구성한다. 각 데이터셋은 동일한 전처리 파이프라인을 거쳐 토큰화·라벨링이 표준화되었으며, 작업 순서는 사전에 정의된 8가지 순열로 제공돼 순서 민감도 분석이 가능하도록 설계되었다. 평가 대상 CL 기법은 총 11가지이며, 크게 세 그룹으로 구분된다. ① 정규화 기반(EWC, L2) – 손실에 파라미터 변화 제약을 추가해 이전 작업의 파라미터를 보호한다. ② 메모리·리플레이 기반(GEM, Replay, LAMOL) – 과거 샘플을 저장하거나 생성 모델을 이용해 재현함으로써 망각을 방지한다. ③ 파라미터 격리·효율화 기반(Adapter, OLORA, ADAPTER, TCL) – 새로운 작업에 전용 모듈을 삽입하거나 소수 파라미터만 업데이트해 기존 파라미터를 고정한다. 또한 멀티태스크 학습(MULTI)과 순차 미세조정(VANILLA)을 각각 상한선과 하한선으로 포함한다. 성능 평가는 세 가지 지표로 이루어진다. 평균 정확도(AP)는 전체 스트림 종료 시점의 평균 성능을 나타내며, 뒤로 전이(BWT)는 이전 작업에 대한 성능 감소 정도(음수일수록 망각 심함), 앞으로 전이(FWT)는 새로운 작업 학습이 기존 작업에 미치는 영향을 측정한다. 또한 GPU‑hour 비용을 기록해 효율성을 정량화한다. 주요 실험 결과는 다음과 같다. 1) 순차 미세조정(VANILLA)은 모든 작업 순서에서 BWT가 -30% 이하로 떨어지는 심각한 망각을 보였으며, AP도 22~36% 수준에 머물렀다. 2) 정규화 기반(EWC, L2)은 일부 망각을 완화했지만 여전히 음의 BWT를 유지했으며, 비용 대비 성능 향상이 제한적이었다. 3) 메모리 기반 GEM은 BWT를 -1% 수준까지 끌어올리며 거의 완전한 유지율을 달성했지만, 그래디언트 투영 연산으로 인해 GPU‑hour 비용이 증가했다. Replay도 BWT를 -10% 수준으로 억제했으며, 메모리 사용량이 상대적으로 적어 실용적이었다. 4) 파라미터 격리 방식인 ADAPTER와 TCL은 AP가 72~73%에 달해 멀티태스크 학습(≈76%)에 근접했으며, BWT가 거의 0에 가까워 비용 대비 유지 효율이 가장 높았다. 특히 ADAPTER는 GPU‑hour당 유지율이 가장 우수해 실무 적용 가능성이 크다. 5) 작업별 망각 분석에서는 다중 라벨 토픽 분류(LitCovid)가 가장 큰 성능 저하를 보였으며, 이는 라벨 중복과 높은 출력 차원 때문으로 해석된다. 반면, 질문응답 및 관계 추출처럼 정답이 제한된 작업은 비교적 안정적인 유지율을 보였다. 6) 작업 순서 민감도 측면에서 ADAPTER와 TCL은 표준편차가 가장 낮아 순서 변화에 강인함을 나타냈고, GEM은 평균 AP는 높지만 순서에 따라 변동성이 커졌다. 7) 백본 스케일링 실험에서는 T5‑large로 교체했을 때 전체 AP가 약 2~3% 상승했지만, 망각 패턴과 효율성 트레이드오프는 크게 변하지 않아 선택된 CL 기법이 백본 규모에 크게 의존하지 않음을 확인했다. 이러한 결과를 종합하면, 의료 NLP에서 지속학습을 적용할 때 파라미터 격리 기반 방법이 비용 효율적인 유지와 새로운 지식 습득 사이의 최적 균형을 제공한다는 중요한 인사이트를 얻을 수 있다. 또한, MedCLBench은 데이터셋 표준화, 작업 순서 다양화, GPU‑hour 기반 비용 보고 등 재현성을 높이는 설계 요소를 갖추어, 향후 연구자들이 모델 업데이트 위험을 사전에 감사하고, 실제 임상 배포 전 지속학습 전략을 검증할 수 있는 기반을 제공한다.