3D 의료 영상 통합 사전학습을 위한 MeDUET: 내용·스타일 분리와 토큰 디믹싱

**1. 서론** 최근 자기지도 학습(SSL)과 확산 모델이 각각 이미지 분석과 합성 분야에서 큰 성과를 보였지만, 3차원 의료 영상에서는 두 기술이 별도로 활용되고 있다. 다기관·다스캐너 데이터는 스타일(스캔 파라미터, 노이즈, 히스토그램) 변동이 크고, 이러한 변동이 해부학적 내용과 얽혀 있기 때문에 기존 SSL은 도메인에 과도하게 의존해 일반화가 어려웠다. 저자들은 “내용(content)과 스타일(style)을 명시적으로 분리하고, 이를 사전학습에 활용하면 합성과 분석을 동시에 향상시킬 수 있다”는 가설을 세우고 MeDUET를 제안한다. **2. 관련 연구** - 3D 의료 이미지 합성: VAE, GAN, Diffusion 기반 방법들이 존재하지만, 도메인 차이를 고려한 통합 학습은 부족했다. - 3D 의료 이미지 분석: 대규모 SSL(Contrastive, MIM) 연구가 활발하지만, 스타일과 내용이 혼합돼 도메인 일반화에 한계가 있다. - 디퓨전 기반 표현 학습: 최근 자연 영상에서 디퓨전 모델이 좋은 특징을 학습한다는 결과가 나오지만, 의료 영상에선 아직 초기 단계다. - 분리 표현 학습: 내용·스타일 분리를 시도한 연구가 있으나, 3D 볼륨에 적용하고 토큰 수준에서 제어하는 방법은 제시되지 않았다. **3. MeDUET 프레임워크** - **VAE 잠재공간 토큰화**: 사전 훈련된 VAE로 3D 볼륨을 압축하고, 3D 패치 토큰으로 변환한다. - **토큰 디믹싱**: 두 볼륨의 토큰을 바이너리 마스크 M으로 혼합(ϕ_m)하고, VIT 인코더(F_enc)로 인코딩한다. 이후 언믹싱(ϕ_u)으로 원래 위치 복원하고, Dual Reconstruction 손실(L_r)로 복원 정확성을 유지한다. - **요인 분리(Factor Disentanglement)**: 인코더 출력은 경량 컨볼루션 레이어(F_d)를 통해 내용 토큰 c와 스타일 토큰 s로 분리한다. 내용 토큰은 GRL을 이용해 도메인 분류기를 역학습시켜 도메인 정보를 제거하고, 스타일 토큰은 일반 도메인 분류기로 도메인 정보를 명시적으로 학습한다(L_d). - **프리텍스트 과제** - *Mixed‑Factor Token Distillation (MFTD)*: EMA 교사 모델이 제공하는 전체 패치의 내용·스타일 토큰을 학생 모델이 혼합 영역에서 복원하도록 L1‑L2 손실(L_cMFTD, L_sMFTD)을 적용한다. - *Swap‑invariance Quadruplet Contrast (SiQC)*: 두 볼륨의 내용·스타일을 교환해 (c_i, s_j)와 (c_j, s_i)를 만든 뒤, 재구성된 패치를 다시 인코딩한다. 동일 내용·다른 스타일, 동일 스타일·다른 내용 쌍을 끌어당기고, 교차 조합을 멀어지게 하는 4‑tuple 대조 손실을 적용한다. **4. 학습 및 구현 세부사항** - VAE는 사전 훈련된 3D VAE(64×64×64) 사용, 토큰 길이 L=512, 내용 차원 D_c=256, 스타일 차원 D_s=256. - 마스크 M은 0.25~0.5 비율의 랜덤 블록 마스크. - 옵티마이저: AdamW, lr=1e-4, EMA decay=0.999. - 전체 손실: L = L_r + λ_d L_d + λ_m L_MFTD + λ_s L_SiQC, 하이퍼파라미터는 실험을 통해 튜닝. **5. 실험** - **데이터**: 5개 공개 3D 데이터셋 (NIH Chest CT, BraTS MRI, LiTS Liver CT, ADNI MRI, COVID-CT) 및 2가지 모달리티(CT, MRI). - **합성**: VAE‑디퓨전 파이프라인에 MeDUET 가중치를 초기화, 100k 스텝 훈련 후 FID 0.78 (baseline 1.34), IS 4.2 (baseline 3.1), 다양성 1.6× 향상. 스타일 토큰을 교체해 kVp, 재구성 커널, 조영제 타이밍 등을 정확히 재현. - **분석**: 장기 분할, 병변 검출, 조직 분류 3가지 다운스트림에서 도메인 일반화 테스트. 평균 Dice 0.86 (baseline 0.79), AUC 0.93 (baseline 0.88). 라벨 비율을 10%로 감소시켜도 Dice 0.84 유지. - **Ablation**: 디믹싱 없이 학습하면 내용·스타일 혼합이 심해 FID 1.12, Dice 0.78. MFTD 제거 시 스타일 토큰 정확도 12% 감소, SiQC 제거 시 내용 토큰 일관성 저하. GRL 없이 내용 토큰에 도메인 정보가 남아 도메인 일반화 5% 포인트 하락. **6. 논의 및 한계** - 메모리 요구량: 3D VAE‑디퓨전과 토큰화 단계에서 GPU 메모리 48GB 필요, 실용적 적용을 위해 토큰 크기와 마스크 비율 최적화 필요. - 스타일 토큰과 실제 물리적 파라미터 간 매핑이 완전하지 않아, 임상 적용 시 추가 캘리브레이션이 필요. - 현재는 두 모달리티(CT, MRI)만 검증했으며, 초음파·PET 등 다른 모달리티에 대한 확장 가능성은 추후 연구 대상. **7. 결론** MeDUET는 3D 의료 영상에서 내용과 스타일을 명시적으로 분리하고, 토큰 디믹싱과 두 가지 프리텍스트 과제로 이를 강화함으로써, 합성 품질·제어와 분석 도메인 일반화·라벨 효율성을 동시에 달성한 최초의 통합 사전학습 프레임워크이다. 공개 코드와 모델을 제공함으로써 향후 의료 AI 연구에 중요한 기반을 제공한다.