다중모달 딥러닝을 이용한 태반착류증 검출

본 논문은 태반착류증(PAS)이라는 산과적 고위험 질환의 조기 진단을 목표로, 3차원 자기공명영상(MRI)과 2차원 초음파(US) 영상을 동시에 활용하는 다중모달 딥러닝 프레임워크를 제안한다. 연구 배경에서는 PAS의 발병률 증가와 기존 진단 방법(임상 평가, 혈액 마커, 단일 영상 modality)의 주관적 해석 한계를 지적하고, 인공지능 특히 딥러닝이 복잡한 의료 영상에서 특징을 자동 추출해 진단 정확도를 높일 수 있음을 강조한다. 기존 연구들을 검토한 결과, 대부분이 MRI 단일 modality에 집중하거나, 임상·영상 데이터를 late‑fusion(결정 단계) 방식으로 결합했으며, 실제 이미지‑레벨의 feature‑level 융합은 거의 시도되지 않았음을 확인한다. 데이터 수집은 사우디아라비아 킹압둘라지즈 대학병원 산부인과와 방사선과 협업으로 진행되었으며, 윤리적 승인과 개인정보 보호 절차를 거쳤다. 최종적으로 1,293개의 T2‑weighted 3D MRI와 1,143개의 2D 초음파 이미지를 확보했으며, 이 중 환자별 매칭된 160쌍(MRI‑US)을 멀티모달 학습용으로 별도 추출하였다. 데이터는 정상(Normal)과 PAS(Positive) 두 클래스로 라벨링되었고, 각 모달리티별 클래스 불균형을 해결하기 위해 MRI는 소수 클래스(PAS)를 3배 오버샘플링해 1,194개의 학습 볼륨을 구성했으며, 초음파는 클래스 가중치를 손실 함수에 적용하였다. 전처리 단계에서 MRI는 DICOM → NIfTI 변환 후 128×128×64 voxel으로 리샘플링하고, 최소‑최대 정규화를 수행했다. 초음파는 8‑bit 그레이스케일을 0‑255 범위로 정규화 후 3채널 RGB로 변환하고 224×224 픽셀로 리사이즈했다. 데이터 증강으로 MRI는 랜덤 플립·회전·줌을, 초음파는 수평 플립·±10도 회전을 적용했다. 모델 설계는 두 단계로 이루어졌다. 첫 번째는 각 모달리티별 최적의 특징 추출기 선정이다. MRI에서는 3D DenseNet121‑Vision Transformer가 가장 높은 검증 성능을 보여 선택되었으며, 초음파에서는 사전학습된 2D ResNet50이 최적이었다. 두 번째는 중간(feature‑level) 융합 모델 구축이다. 두 특징 추출기의 최종 풀링 레이어 출력을 동일 차원의 벡터로 변환한 뒤, concat 연산으로 결합하고, 다층 퍼셉트론(MLP)과 소프트맥스 레이어를 거쳐 이진 분류를 수행한다. 학습은 Adam 옵티마이저와 교차 엔트로피 손실을 사용했으며, 학습률 스케줄링과 early stopping을 적용해 과적합을 방지했다. 성능 평가는 독립 테스트 세트( MRI 227개, US 197개, 멀티모달 40쌍)에서 진행되었다. 멀티모달 모델은 정확도 92.5%, AUC 0.927, 정밀도 0.91, 재현율 0.89, F1‑score 0.90을 기록했으며, 이는 MRI‑only(정확도 82.5%, AUC 0.825)와 US‑only(정확도 87.5%, AUC 0.879) 모델에 비해 유의미하게 향상된 결과이다. 혼동 행렬 분석에서 멀티모달 모델은 거짓 양성 3건, 거짓 음성 2건으로 가장 낮은 오류율을 보였다. 또한, Grad‑CAM 기반 시각화 결과는 MRI와 초음파 각각에서 모델이 주목하는 영역이 병변 부위와 일치함을 확인해 임상적 해석 가능성을 제시했다. 논의에서는 멀티모달 융합이 각 영상 modality의 장점을 보완해 진단 정확도를 높인다는 점을 강조한다. MRI는 조직 깊이와 구조적 변화를, 초음파는 표면 혈류와 형태학적 특징을 제공하므로, 두 정보를 동시에 학습함으로써 모델이 보다 풍부한 표현을 획득한다는 것이 핵심이다. 한편, 데이터 쌍이 제한적이어서 외부 검증이 필요하고, 3D MRI의 해상도 축소가 미세 병변 탐지에 영향을 줄 수 있다는 제한점을 인정한다. 향후 연구 방향으로는 다기관 대규모 데이터베이스 구축, 고해상도 3D 트랜스포머 모델 도입, 실시간 추론 및 임상 워크플로우 통합, 그리고 모델 설명성을 강화하는 방법론(예: SHAP, LIME) 등을 제시한다. 결론적으로, 본 연구는 PAS 진단에 있어 MRI와 초음파를 중간 특징 수준에서 융합한 딥러닝 모델이 단일 모달 모델보다 현저히 높은 성능을 보이며, 임상 현장에서 조기 진단 및 위험 관리에 실질적인 도움을 줄 수 있음을 입증한다.