다중모달 MRI 보고서 기반 뇌 병변 분할의 새로운 접근

본 연구는 방사선 보고서에 담긴 정량적·정성적 정보를 활용해 다중모달 뇌 MRI에서 종양 코어(TC), 강화 종양(ET), 부종(ED) 등 세부 구조를 동시에 학습하는 보고서‑감독(Report‑Supervised) 프레임워크인 MS‑RSuper를 제안한다. 기존의 R‑Super 방법은 전체 부피 일치 손실을 사용해 보고서가 제공하는 전체 부피와 예측 부피를 맞추려 했지만, 뇌 종양 MRI에서는 보고서가 가장 큰 병변만 기술하거나, “가능성 있음”, “경미함” 등 불확실한 표현을 포함한다. 이러한 불완전하고 계층적인 보고서는 대칭적인 L1/L2 부피 손실에 그대로 적용하면 작은 병변을 억제하거나, 보고된 부피에 과도하게 맞추어 병변을 축소시키는 부작용을 초래한다. 논문은 이러한 문제를 해결하기 위해 세 가지 핵심 설계를 도입한다. 첫째, ‘모달리티‑서브스트럭처 정렬 원칙’에 따라 각 MRI 시퀀스(T1c, FLAIR, T1, T2)에서 보고되는 특징을 해당 서브스트럭처에 직접 매핑한다. 예를 들어, T1c에서 “뚜렷한 강화”가 보고되면 이는 ET 영역에 존재함을 의미하고, FLAIR에서 “광범위한 부종”이 언급되면 ED 영역에 존재함을 의미한다. 이러한 매핑을 바탕으로 존재·부재 손실(Lexist)을 정의한다. 보고서가 특정 서브스트럭처의 존재를 확신하면(예: “edema is present”) 최소 한 픽셀이라도 예측하도록 penalize하고, 부재가 명시되면 해당 클래스의 모든 예측을 억제한다. 불확실성 표현(“possible”, “mild”)은 0~1 사이의 가중치 λ으로 변환해 손실 강도를 조절한다. 둘째, 부분적인 정량 정보를 다루기 위해 ‘단측 하한 손실’(One‑Sided Partial Cue Loss)을 설계한다. 보고서가 가장 큰 병변의 3차원 크기(dmax)만 제공할 경우, 예측된 전체 병변(PWT)에서 가장 큰 연결 컴포넌트의 부피와 dmax 사이의 절대 차이를 최소화하는 Lsize 손실을 적용한다. 또한 “multiple”, “few”와 같은 질적 개수 표현을 최소 정수 Nqual(예: “multiple”→2)로 변환하고, 예측된 병변 수가 Nqual보다 작을 때만 벌점을 부여하는 Lcount 손실을 도입한다. 이 두 손실은 보고서가 제공하는 하한 정보만을 활용해 과도한 억제를 방지한다. 셋째, 병변 유형에 따라 서로 다른 해부학적 사전(Anatomical Prior)을 적용한다. 보고서에 MEN(뇌막종)이라는 키워드가 있으면 외부(경막) 영역에 대한 마스크(M_dural)를 사용해 뇌 실질 내 예측을 억제하고, MET(전이암)에서는 반대로 뇌 실질(M_parench) 영역에 대한 예측을 억제한다. 이는 두 코호트가 서로 다른 위치적 특성을 가지는 점을 활용한 것으로, 모델이 비현실적인 위치에 병변을 예측하는 것을 방지한다. 전체 손실은 지도 학습용 Dice+Cross‑Entropy 손실(Lseg)과 보고서 기반 손실(Lreport)의 가중합으로 구성된다. Lreport은 존재·부재 손실, 크기·개수 손실, 해부학적 사전 손실을 각각 가중치(w_exist, w_size, w_count, w_prior)로 조절한다. 학습은 먼저 라벨이 있는 소수의 데이터(D_M)로 사전 학습한 뒤, 라벨이 없는 대규모 이미지‑보고서 쌍(D_R)과 결합해 미세 조정한다. 실험은 BraTS‑MEN(1000명)과 BraTS‑MET(238명) 두 코호트를 합친 1238개의 스캔을 사용했다. 각 코호트에서 50명씩 라벨이 있는 데이터와 50명씩 라벨이 없는 데이터를 별도로 보유했으며, 보고서는 RadGenome‑Brain MRI 데이터셋에서 수동으로 생성된 4가지 모달리티별 항목을 포함한다. 베이스라인으로는 (1) 라벨만 사용한 Masks‑Only, (2) 기존 R‑Super