모델 기반 MRI 재구성의 환각 현상 적대적 교란으로 드러나다

본 논문은 fastMRI 데이터셋의 뇌·무릎 영상을 대상으로 UNet과 E2E‑VarNet 재구성 모델에 미세한 적대적 교란을 가함으로써, 모델이 원본에 존재하지 않는 구조를 ‘환각’하게 만드는 취약성을 정량화한다. L∞ 제약 하에 거의 눈에 보이지 않는 교란을 설계하고, 목표 영역에 흰 선을 삽입하도록 유도한다. 실험 결과 PSNR·NRMSE·SSIM 등 전통적 품질 지표로는 환각 여부를 구분하기 어렵다는 점을 밝혀, 새로운 검출·방어 메커니…

저자: Suna Buğday, Yvan Saeys, Jonathan Peck

모델 기반 MRI 재구성의 환각 현상 적대적 교란으로 드러나다
본 논문은 최근 의료 영상 재구성에 널리 적용되고 있는 딥러닝 기반 모델, 특히 UNet과 E2E‑VarNet이 ‘환각’이라고 불리는 비현실적인 구조를 생성할 위험성을 정량적으로 분석한다. 저자들은 MRI와 CT와 같은 선형 역문제에서 측정 데이터 y=Φ·x⁰+e가 주어질 때, 기존의 정규화 기반 재구성 방법(예: MoDL)과 달리 딥러닝 모델을 직접 정규화 항으로 사용함으로써 이론적 보장이 약해지는 점을 지적한다. 연구의 핵심은 ‘적대적 교란(Adversarial Perturbation)’을 설계해 원본 k‑space 데이터에 거의 눈에 보이지 않는 변형을 가하고, 재구성 단계에서 모델이 목표 이미지(y_t)를 특정 영역에 삽입하도록 유도하는 것이다. 이를 위해 저자들은 다음과 같은 최적화 문제를 정의한다: δ* = arg min δ ‖m⊙(F(z+δ)−y_t)‖₂²/‖m‖₁ + ‖(1−m)⊙(F(z+δ)−F(z))‖₂²/‖1−m‖₁, 제약조건 ‖δ‖_∞ ≤ ε. 여기서 m은 목표 영역을 지정하는 바이너리 마스크이며, y_t는 원본 재구성에 흰 선을 삽입한 이미지이다. ε는 인간 시각으로는 감지되지 않을 정도의 작은 값(1×10⁻⁶)으로 설정하였다. 손실 함수는 두 부분으로 구성되는데, 첫 번째는 마스크 영역 내에서 목표 이미지와의 차이를 최소화하고, 두 번째는 마스크 외부에서 원본 재구성과의 차이를 최소화한다. 이렇게 하면 교란이 목표 영역에만 영향을 미치면서 전체 이미지 품질은 유지된다. 알고리즘은 기본 반복적 방법(BIM)을 변형한 형태로, 150회 반복(T=150) 동안 작은 스텝 크기(α=1×10⁻⁷)로 δ를 업데이트한다. 복소수 k‑space 데이터 중 실수 부분만 교란을 가함으로써 구현을 단순화했으며, 실험 결과 실수 교란만으로도 충분히 목표 구조를 삽입할 수 있음을 확인했다. 실험은 fastMRI 데이터셋을 사용했으며, 단일 코일·다중 코일 무릎 영상과 다중 코일 뇌 영상을 대상으로 진행되었다. UNet과 E2E‑VarNet 모두 사전 학습된 체크포인트를 이용했으며, E2E‑VarNet은 단일 코일 무릎 영상에 대해서는 체크포인트가 없어 제외하였다. 교란을 적용한 후 재구성된 이미지에서는 목표 흰 선이 정확히 삽입되었으며, 이는 원본 이미지에 존재하지 않는 인위적 구조임에도 불구하고 인간 전문가가 구별하기 어려운 수준이었다. 품질 평가에서는 PSNR, NRMSE, SSIM을 각각 원본-교란 입력, 원본-교란 재구성 쌍에 대해 계산하였다. 결과는 정상 재구성과 교란 재구성 사이에 통계적으로 유의미한 차이가 없음을 보여준다. 즉, 전통적인 이미지 품질 지표는 환각을 감지하는 데 한계가 있다. 관련 연구와 비교했을 때, 본 논문은 ‘목표 기반(targeted)’ 공격을 사용한다는 점에서 차별화된다. 기존 연구(

원본 논문

고화질 논문을 불러오는 중입니다...

댓글 및 학술 토론

Loading comments...

의견 남기기