마이너 클래스를 정복하는 불확실성 기반 다전문 네트워크

** 본 논문은 계층형 텍스트 분류(Hierarchical Text Classification, HTC)에서 장기적인 라벨 불균형, 즉 ‘long‑tailed’ 문제를 해결하기 위한 새로운 프레임워크인 Uncertainty‑based Multi‑Expert fusion network(UME)를 제안한다. 기존 MoE 기반 접근법은 전문가를 다수 배치해 데이터 다양성을 포착하려 하지만, (1) 파라미터 규모가 급증해 학습·추론 비용이 비현실적이며, (2) 전문가 간 특화가 부족해 서로 중복된 패턴을 학습하고, (3) 전문가 의견이 충돌할 때 이를 조정할 체계가 부재하다는 한계가 있다. UME는 이러한 세 가지 문제를 각각 다음과 같은 방법으로 해결한다. 1. **Ensemble LoRA를 통한 파라미터 효율화** - 사전학습된 대형 언어 모델(예: BERT, RoBERTa)의 모든 가중치를 고정하고, 각 전문가마다 저차원 매트릭스 A와 B(랭크 r)만 학습한다. - LoRA는 원래 가중치 W에 ΔW = A Bᵀ를 더하는 형태이며, r을 8~16 정도로 설정하면 전체 파라미터 대비 1 % 미만만 추가된다. - 이렇게 하면 M개의 전문가를 동시에 운영해도 전체 파라미터 증가율이 10 % 이하에 머물러, GPU 메모리와 연산량을 크게 절감한다. 2. **Sequential Specialization (순차적 특화)와 Dempster‑Shafer 기반 불확실성 측정** - 전문가 1을 먼저 학습시킨 뒤, 전문가 1이 틀린 샘플에 대해 전문가 2를 학습한다. 이 과정을 M번 반복해 M개의 전문가를 순차적으로 추가한다. - 각 전문가의 출력 로짓을 ‘증거(evidence)’로 해석하고, 이를 Dirichlet 파라미터 α = e + 1 로 변환한다. - Dirichlet 분포에서 믿음 질량 b_k = (α_k − 1)/S와 전체 불확실성 u = K/S를 계산한다(S는 증거 총합). - 초기 전문가들은 대부분의 샘플에 대해 u가 높아 불확실성이 크고, 후속 전문가들은 u가 낮은 샘플에 집중해 특화된다. 3. **Uncertainty‑Guided Fusion (불확실성 가이드형 융합)** - 각 전문가가 제공하는 (b, u) 쌍을 기반으로 동적 가중치 w_m을 정의한다. 구체적으로 w_m = exp(−u_m/η)/∑_j exp(−u_j/η) 형태의 소프트맥스 스케일링을 적용한다(η는 온도 파라미터). - 가중된 로짓을 합산해 최종 클래스 확률을 얻으며, DST의 결합 규칙을 이용해 전문가 간 충돌(C)도 정량화한다. 충돌이 큰 경우 가장 낮은 u를 가진 전문가의 예측을 우선시한다. **실험 및 결과** - 데이터셋: RCV1‑V2, WOS, NYT, ODP(4개 공개 HTC 데이터) - 베이스라인: HiTIN, HiAdv, BERT‑MoE 등 최신 MoE 기반 모델 - 주요 지표: 전체 정확도, Macro‑F1, Tail‑F1(라벨 빈도가 낮은 20 %에 대한 F1) UME는 전체 정확도에서 평균 1.8 %p 상승, 특히 Tail‑F1에서는 최고 17.97 %p 개선을 기록했다. 파라미터 측면에서는 HiTIN 대비 10.32 % 감소, HiAdv 대비 7.19 % 감소했다. Ablation 실험에서 (a) LoRA를 제거하면 파라미터는 늘어나지만 성능이 2 %p 이하로 떨어지고, (b) 순차적 특화를 없애고 동시 학습하면 전문가 간 불확실성 차이가 사라져 특화 효과가 급감한다는 것을 확인했다. **의의와 한계** - **의의**: (i) 저차원 적응 매개변수만으로 다수 전문가를 효율적으로 운영함으로써 대규모 MoE의 실용성을 높였다. (ii) 불확실성을 정량화해 학습 샘플을 단계적으로 재분배함으로써 전문가 간 자연스러운 다양성을 확보했다. (iii) DST 기반 가중치가 전문가 의견 충돌을 체계적으로 중재해 최종 예측의 신뢰성을 강화했다. 특히 의료 진단, 금융 사기 탐지 등 소수 클래스가 핵심적인 도메인에 직접 적용 가능성이 크다. - **한계**: 현재는 텍스트 데이터에만 초점을 맞추었으며, 이미지·음성 등 멀티모달 시나리오에 대한 확장은 추후 연구가 필요하다. 또한 불확실성 계산에 Dirichlet 파라미터를 사용함으로써 로그‑증거 변환 과정에서 수치적 안정성 문제가 발생할 수 있어, 더 정교한 정규화 기법이 요구된다. **향후 연구 방향** 1. 멀티모달 MoE에 DST 기반 불확실성 융합을 적용해 크로스‑도메인 전이 성능을 검증한다. 2. 전문가 수와 LoRA 랭크를 자동으로 조정하는 메타‑학습 메커니즘을 도입해 모델 복잡도와 성능 사이의 최적 균형을 찾는다. 3. 불확실성 기반 샘플 재가중치 기법을 강화학습과 결합해 라벨이 전혀 없는 초소수 클래스 탐지 능력을 향상시킨다. **결론** UME는 파라미터 효율성, 전문가 특화, 의견 융합이라는 세 축을 불확실성 이론(DST)으로 통합한 최초의 프레임워크이며, 실험을 통해 장기 라벨 불균형 문제를 효과적으로 완화함을 입증했다. **