손실 기반 용량 확장으로 지속 학습 효율 극대화

본 논문은 연속 학습(continual learning) 환경에서 모델의 표현 용량이 사전에 고정되는 문제점을 해결하고자 “Loss‑Adaptive Capacity Expansion”(LACE)이라는 새로운 메커니즘을 제안한다. 기존 방법들은 사전 아키텍처 탐색, 외부 컨트롤러, 혹은 작업 라벨이 필요하지만, LACE는 오직 모델 자체가 출력하는 손실 값만을 이용해 언제 용량을 늘려야 하는지를 판단한다. 먼저 손실 기반 변화를 감지하기 위해 최근 W 스텝의 손실 평균을 EMA로 유지하고, 현재 손실이 τ배 이상 초과하면 스파이크를 발생시킨다. 단일 스파이크가 아닌 K 연속 스파이크가 관측될 경우에만 확장을 트리거하고, 이후 C 스텝 동안은 재감지를 차단하는 쿨다운을 둔다. 또한 평균 손실이 절대 임계값 θ를 초과하는 경우도 보조 신호로 활용한다. 이러한 설계는 훈련 과정의 잡음에 강인하면서도 실제 데이터 분포 변화에 민감하게 반응한다. 확장 단계에서는 투사 행렬(Projection layer)에 새로운 차원을 추가한다. 구체적으로 W∈ℝ^{d_active×d}에 새로운 열 w_new을 정규분포(σ=0.01)로 초기화하고, 마스크를 업데이트해 활성화한다. 새 차원은 기존 파라미터와 동일하게 역전파에 포함되어 공동 학습되며, 최대 차원 수 d_max를 초과하지 않도록 제한한다. 이때 추가된 차원은 “adapter” 역할을 수행해 새로운 도메인에 대한 정보를 저장한다. 실험은 크게 합성 데이터와 실제 데이터 두 축으로 진행되었다. 합성 실험에서는 10개의 서로 다른 텍스트 도메인(과학, 뉴스, 대화 등)을 순차적으로 제시했으며, LACE는 9번의 확장을 정확히 도메인 전이 시점에만 수행해 100% 경계 정밀도와 0% 오탐지를 기록했다. 평균 활성 차원 수는 고정 대형 모델(84차원)보다 적었지만 최종 정확도(0.999)는 동일했다. 50개의 도메인 실험에서는 초기 차원 8에서 시작해 38까지 확장했으며, 고정 소형 모델(8차원) 대비 0.676 vs 0.434의 정확도 차이를 크게 메웠다. 실제 데이터 실험에서는 Wikipedia, Python 코드, Chat 대화라는 세 가지 실제 텍스트 도메인을 연속으로 학습했다. GPT‑2의 사전 학습 임베딩을 고정하고 투사층에 LACE를 적용했으며, 두 차례(코드 도입 시, 채팅 도입 시)만 확장해 차원을 32→34로 늘렸다. 그 결과 고정 소형 모델(32차원) 대비 0.796 vs 0.667의 정확도 향상을 보였고, 고정 대형 모델(128차원) 대비 96.9% 수준의 정확도를 달성했다. 또한 GPT‑2의 12계층에 대해 비지도 클러스터링을 수행해 도메인 구분 순도(purity)를 측정한 결과, 초기 계층은 높은 순도를 보이다가 중간 계층(3–7)에서 급격히 떨어지고, 깊은 계층(8–12)에서 다시 회복되는 U자형 곡선을 확인했다. 이는 중간 계층이 가장 큰 용량 압박을 받으며, 계층별 적응형 용량 확장이 특히 효과적일 수 있음을 시사한다. 논문의 주요 기여는 다음과 같다. (1) 손실 스파이크를 기반으로 한 자동 용량 확장 메커니즘을 제안하고, EMA, 비율 임계값, 연속 스파이크 확인, 쿨다운 등 실용적인 설계 요소를 도입했다. (2) 5,000 스텝 이상에서 100% 확장 정밀도를 달성해 확장 시점이 실제 도메인 전이와 일치함을 입증했다. (3) 어댑터 차원의 집합적 중요성을 실험적으로 확인해, 개별 차원은 작은 영향을 주지만 전체를 제거하면 성능이 크게 저하되는 것을 보였다. (4) 고정 대형 모델과 동일한 최종 정확도를 더 작은 초기 용량으로 시작해 달성함으로써 용량 효율성을 증명했다. (5) GPT‑2 내부 계층별 도메인 구분 분석을 통해 적응형 용량 할당이 필요한 위치를 정량적으로 제시했다. 제한점으로는 현재 분류 작업에만 평가했으며, 출력 헤드가 클래스별 출력을 보존해 잊힘을 방지하기 때문에 용량 확장이 잊힘 완화에 직접적인 효과를 보이지 않는다. 또한 손실 스파이크 감지는 훈련 노이즈에 민감할 수 있어 하이퍼파라미터 튜닝이 필요하고, 실제 연속 학습 벤치마크(Split‑CIFAR 등)에 대한 검증이 부족하다. 결론적으로 LACE는 라벨, 리플레이 버퍼, 외부 컨트롤러 없이도 모델이 자체 손실을 이용해 용량이 부족할 때 자동으로 확장하는 간단하면서도 강력한 방법이다. 온‑디바이스 연속 학습과 같이 자원 제약이 큰 환경에서 사전 용량을 정확히 예측하기 어려운 경우에 특히 유용하며, 향후 다양한 아키텍처와 작업에 적용해 용량 관리의 일반성을 탐구할 여지가 크다.