날씨에 강한 다중모달 3D 객체 탐지를 위한 혼합전문가 모델

본 논문은 자율주행 차량이 악천후에서도 신뢰할 수 있는 3D 객체 탐지를 수행하도록 설계된 새로운 프레임워크 AW‑MoE(All‑Weather Mixture of Experts)를 제안한다. 기존 다중모달 3D 탐지 연구는 주로 LiDAR와 카메라, 혹은 4D 레이더를 결합해 센서 간 보완성을 활용했지만, 날씨에 따른 데이터 분포 차이를 무시하고 모든 날씨 데이터를 하나의 모델에 혼합 학습시켰다. 저자들은 이러한 접근이 서로 다른 날씨 조건 간 최적화 목표가 충돌하면서 성능이 불안정해지는 원인임을 실험적으로 확인한다(Fig. 2 a). 특히, 악천후 데이터는 수집 비용이 높아 실제 데이터셋(K‑Radar)에서는 정상 날씨에 비해 현저히 적은 비중을 차지한다(Fig. 2 b), 이는 모델이 정상 날씨에 편향되는 또 다른 요인이다. 이 문제를 해결하기 위해 저자들은 Mixture of Experts(MoE) 개념을 3D 탐지에 도입한다. MoE는 여러 전문가 네트워크를 병렬로 유지하고, 게이팅 네트워크가 입력에 따라 적절한 전문가를 선택하도록 설계된다. AW‑MoE는 기존 MoE 구조를 그대로 사용하지 않고, 전문가 라우팅에 이미지 기반 날씨 인식을 활용한다. 구체적으로, 경량 이미지 날씨 분류기 C가 입력 이미지 I_img를 받아 N_W 차원의 확률 벡터 z를 출력한다. 이 벡터를 기반으로 상위 K개의 Weather‑Specific Expert(WSE)를 선택하고, 선택된 전문가들의 출력을 가중합해 최종 피처를 만든다. 라우팅 정확도는 표 I에 제시된 바와 같이 99 %에 달한다. 각 WSE는 특정 날씨(맑음, 비, 안개, 눈 등)에 특화된 피처 추출 및 감도 조정을 수행한다. 예를 들어, 비가 내리는 상황에서는 물방울에 의한 LiDAR 반사 손실을 보정하는 별도 파라미터를 학습하고, 눈이 많이 쌓인 경우에는 레이더 반사 특성을 고려한다. 이러한 날씨 전용 전문가들은 공유 백본(Shared Backbone)에서 추출된 일반 피처를 입력으로 받아, 날씨별 특성을 강화한다. 또한, 데이터 증강 측면에서도 혁신적인 접근을 제시한다. 기존의 GT 샘플링은 날씨와 무관하게 라벨을 교체해 데이터 다양성을 높였지만, 이는 날씨별 물체 외관 차이를 무시해 현실성을 해친다. 저자들은 Unified Dual‑Modal Augmentation(UDMA)이라는 동기화 증강 파이프라인을 설계한다. UDMA는 LiDAR와 4D 레이더에 동일한 변환(플립, 회전, 스케일링)을 적용하고, Weather‑Specific GT Sampling(WSGTS)을 통해 같은 날씨 조건의 라벨만 교체한다. 이 과정은 Fig. 4 (a)에서 시각화되며, 악천후 시 물체의 반사·투과 특성을 보존하면서도 학습 샘플을 풍부하게 만든다. 전체 아키텍처는 Fig. 4 (b)와 (c)에서 확인할 수 있다. 입력 LiDAR와 레이더 포인트는 공유 백본을 거쳐 기본 피처를 만든 뒤, 이미지 기반 라우팅을 통해 상위 K개의 전문가에 전달된다. 각 전문가는 날씨별 특화된 백본과 피처 융합 모듈을 거쳐 탐지 헤드에 입력된다. 최종 출력은 전문가들의 가중합으로 얻어진다. 실험은 실제 악천후 데이터를 포함한 K‑Radar 데이터셋을 사용해 수행되었다. 주요 결과는 다음과 같다. 1) AW‑MoE는 기존 L4DR 대비 악천후 AP가 평균 15 % 상승했으며, 정상 날씨에서는 성능 저하 없이 유지되었다. 2) 라우팅 정확도가 높은 IWR 덕분에 전문가 선택이 정확히 이루어졌으며, PFR 기반 라우팅에 비해 성능 격차가 크게 벌어졌다. 3) UDMA와 WSGTS를 적용한 경우, 악천후 시 AP가 추가로 3~5 % 향상되었다. 4) 추론 시 활성화되는 전문가 수를 제한(K=2)함에도 불구하고 연산 오버헤드는 0.2 ms 이하로, 실시간 적용이 가능하다. 5) AW‑MoE‑LRC라는 변형에서는 이미지 피처를 완전 통합해 전체 AP가 2 % 정도 더 상승했다. 또한, AW‑MoE는 다양한 기존 3D 탐지 파이프라인(예: PointPillars, VoxelNet, CenterPoint 등)에 플러그인 형태로 쉽게 적용 가능함을 보였다. 각 베이스라인에 AW‑MoE를 삽입했을 때 악천후 성능이 평균 10 % 이상 향상되었으며, 이는 제안 방법의 범용성과 확장성을 입증한다. 결론적으로, 본 연구는 악천후 상황에서 데이터 분포 차이를 전문가 단위로 분리하고, 이미지 기반 정확한 라우팅과 동기화된 이중모달 증강을 결합함으로써 3D 객체 탐지의 강인성을 크게 개선한다. 향후 연구에서는 더 많은 날씨 유형(예: 황사, 눈보라)과 추가 센서(초음파, 적외선)까지 확장하고, 라우팅을 위한 멀티모달 융합 전략을 탐색함으로써 자율주행 시스템의 전반적인 안전성을 높일 수 있을 것으로 기대한다.