재활용 LoRA: RRQR 기반 이중 LoRA 서브스페이스 적응으로 도메인 일반화 향상

** 본 논문은 Vision Foundation Model(VFM)을 활용한 Domain Generalized Semantic Segmentation(DGSS) 분야에서, 기존 파라미터‑효율 파인튜닝(PEFT) 기법이 갖는 두 가지 근본적인 한계를 극복하는 새로운 접근법인 RecycleLoRA를 제안한다. 1. **배경 및 문제점** - DGSS는 목표 도메인 데이터 없이도 다양한 환경에서 안정적인 세그멘테이션 성능을 유지해야 한다. 기존 방법들은 데이터 증강, 도메인‑불변 특징 학습 등에 의존했지만, 백본이 제한된 데이터셋으로 사전 학습된 경우 일반화 능력이 크게 떨어진다. - 최근 DINOv2, CLIP 등 대규모 Vision Foundation Model이 등장하면서, 이러한 모델의 풍부한 멀티‑도메인 지식을 어떻게 효율적으로 활용할지가 핵심 과제로 부각되었다. - LoRA는 가중치를 고정하고 저차원 매트릭스 B·A를 학습함으로써 파라미터 효율성을 확보했지만, (a) SVD 기반 마이너 성분만을 선택하는 SoMA와 같은 방법은 주요 성분을 전혀 활용하지 않아 표현력이 제한되고, (b) LoRA 내부 basis가 서로 중복되는 ‘표현 붕괴’ 현상이 빈번해 실제 사용 가능한 랭크가 목표 랭크보다 낮다. 2. **핵심 아이디어: RRQR 기반 초기화** - Rank‑Revealing QR(RRQR) 분해는 행렬의 컬럼을 중요도 순으로 재배열하는 알고리즘이다. 각 단계에서 현재까지 선택된 서브스페이스와 직교하는 가장 큰 노름을 가진 컬럼을 선택함으로써, 컬럼 자체의 구조적 정보를 그대로 보존한다. - RRQR는 두 가지 중요한 출력물을 제공한다. (i) 순열 행렬 P는 컬럼의 중요도 순서를 나타내며, 이를 통해 “주요(major) 방향”과 “보조(minor) 방향”을 명확히 구분한다. (ii) 직교 행렬 Q는 선택된 컬럼들의 정규화된 방향을 제공한다. 3. **RecycleLoRA 설계** - **이중 어댑터 구조**: 메인 어댑터와 서브 어댑터를 각각 구성한다. - *메인 어댑터*: RRQR에서 선택된 보조(minor) 방향을 B 행렬에 초기화하고, 해당 컬럼 인덱스를 A 행렬에 희소하게 매핑한다. 이는 기존 지식을 크게 변형하지 않으면서도 서로 독립적인 저차원 특징을 학습하게 만든다. - *서브 어댑터*: 주요(major) 방향을 B에 할당하고, 최소한의 조정만 허용한다. 이는 원본 VFM의 핵심 표현을 보존하면서도 도메인 특화 정보를 미세하게 보강한다. - **잔차 행렬**: 원본 가중치 W₀와 어댑터 초기값의 차이를 잔차 R = W₀ – (B_main·A_main + B_sub·A_sub) 로 정의하고, 학습 동안 R을 고정한다. 이렇게 하면 어댑터만이 실제 파라미터 업데이트를 담당하게 된다. - **정규화 손실 불필요**: RRQR의 그리디 선택 과정 자체가 컬럼 간 직교성을 보장하므로, 별도의 orthogonal loss나 diversity loss를 도입할 필요가 없다. 4. **표현 다양성 및 파라미터 효율성 검증** - 학습 후 LoRA 매트릭스 A의 컬럼별 ℓ₂‑norm을 분석한 결과, 선택된 컬럼(주요·보조 모두)의 평균 노름이 비선택 컬럼보다 1.22배 높았다. 이는 실제로 더 높은 유효 랭크(effective rank)를 의미한다. - 효과적 랭크 효율성(rank efficiency) 측면에서도 RecycleLoRA는 목표 랭크 대비 1.6~1.8배 높은 효율을 보이며, 동일 파라미터 양으로 더 풍부한 표현을 학습한다. 5. **실험 설정 및 결과** - **데이터셋**: 합성‑실제 전이(GTA5→Cityscapes, BDD100K, Mapillary)와 실제‑실제 전이(Cityscapes→BDD100K, Mapillary) 두 축으로 평가. - **베이스라인**: SoMA, Rein, PiSSA, MFuser 등 최신 DGSS 방법과 비교. - **성능**: - *Synthetic‑to‑Real*: RecycleLoRA(전체) 68.95 % mIoU, 메인 어댑터 단독 68.27 % mIoU, SoMA 68.63 % mIoU. - *Real‑to‑Real*: RecycleLoRA 72.10 % mIoU, SoMA 71.75 % mIoU. - **추가 장점**: 어댑터는 inference 시 원본 가중치에 병합 가능해 추가 연산 비용이 전혀 없으며, 복잡한 아키텍처나 VLM 연동 없이도 높은 성능을 달성한다. 6. **기여 정리** 1. RRQR 기반 LoRA 초기화 전략을 제안해 파라미터 중복을 최소화하고, 구조적 다양성을 확보하였다. 2. 주요·보조 서브스페이스를 각각 담당하는 이중 어댑터 설계를 통해 별도 정규화 손실 없이 상호 보완적인 특징 학습을 가능하게 했다. 3. 합성‑실제 및 실제‑실제 도메인 일반화 벤치마크에서 최첨단 수준의 성능을 달성했으며, 파라미터 효율성과 추론 지연이 전혀 증가하지 않는다. RecycleLoRA는 VFM의 풍부한 내부 구조를 체계적으로 재활용함으로써, 파라미터‑효율 파인튜닝과 도메인 일반화라는 두 축을 동시에 만족시키는 새로운 패러다임을 제시한다. 향후 다른 비전·멀티모달 모델에도 동일한 RRQR‑기반 초기화와 이중 어댑터 설계를 적용하면, 보다 다양한 다운스트림 작업에서 효율적인 적응이 가능할 것으로 기대된다. **