임상 중심 LLM 기반 방사선 보고서 평가 지표 CRIMSON

본 논문은 흉부 X‑ray 자동 보고서 생성 모델을 평가하기 위한 새로운 메트릭인 CRIMSON을 제안한다. 기존의 BLEU·ROUGE와 같은 표면적 텍스트 유사도 지표는 임상적 정확성을 반영하지 못하고, CheXbert·RadGraph와 같은 라벨 기반 방법도 사전 정의된 라벨 집합에 제한되며, 오류의 임상적 심각성을 구분하지 못한다는 한계가 있었다. CRIMSON은 이러한 문제점을 해결하기 위해 세 가지 핵심 설계를 도입한다. 첫째, 환자 연령, 검사 적응증, 임상 가이드라인 등 전체 임상 컨텍스트를 입력으로 받아 각 발견의 임상 중요도(urgent·actionable·non‑actionable·expected/benign)를 판단한다. 이때 가중치는 1.0, 0.5, 0.25, 0.0으로 정의되어, 긴급한 발견이 누락되면 큰 벌점을, 기대되는 양성 소견이 누락되거나 과다 기술되면 거의 벌점을 주지 않는다. 둘째, 오류를 ‘거짓 발견’, ‘누락된 발견’, 그리고 8가지 속성‑레벨 오류(해부학적 위치·중증도·형태·정량·확신도·진단 과잉·진단 부족·시간·비교)로 세분화한다. 각 속성 오류는 임상적으로 치료 결정에 영향을 미치는지 여부에 따라 ‘중요(0.5)’와 ‘무시(0)’로 가중치를 부여한다. 예를 들어, 결절 위치가 좌·우 폐를 뒤바꾸는 경우는 중요 오류이며, ‘상부’와 ‘중부’ 사이의 미세 차이는 무시한다. 셋째, 위 두 단계에서 얻은 가중치를 기반으로 점수를 산출한다. 맞춘 발견의 가중치 합(C)에서 거짓 발견 가중치(E_false)를 차감하고, 전체 참조 가중치(W_ref)로 정규화한 후, 음수 영역을 부드럽게 처리하기 위해 A=E_false−C를 도입한다. 최종 점수는 S≥0이면 S, S<0이면 –A/(1+A) 형태이며, -1에서 1 사이의 연속적인 값으로 표현된다. CRIMSON의 유효성은 세 가지 실험을 통해 검증되었다. 첫 번째는 ReXVal 데이터셋(50건)에서 6명의 보드 인증 방사선전문의가 직접 ‘임상적으로 중요한 오류 수’를 라벨링한 결과와의 상관관계 분석이다. Kendall’s τ는 0.61‑0.71, Pearson r은 0.71‑0.84로, 기존 메트릭보다 현저히 높은 일치를 보였다. 두 번째는 RadJudge라는 패스‑팔프 테스트에서, 여러 후보 보고서의 순위를 방사선전문의가 정한 정답 순서와 비교했을 때, CRIMSON은 가장 높은 순위 일치율을 기록했다. 세 번째는 RadPref이라는 100쌍 이상의 보고서 쌍에 대한 선호도 평가에서, CRIMSON은 방사선전문의의 선호와 가장 높은 상관을 보이며, 1‑5점 전체 품질 평점에서도 최고의 일치를 달성했다. 기술 구현 측면에서 CRIMSON은 GPT‑5.2를 백엔드 LLM으로 활용하고, MedGemma 모델을 CRIMSON용으로 파인튜닝했다. 이를 통해 병원 내부에서 환자 데이터가 외부 API로 전송되지 않도록 완전 로컬 실행이 가능하도록 설계되었다. 또한 코드와 벤치마크, 파인튜닝된 모델을 모두 GitHub(https://github.com/rajpurkarlab/CRIMSON)에서 공개하여 재현성과 확장성을 보장한다. 결론적으로, CRIMSON은 “임상적 의미를 정량화한 자동 평가”라는 목표를 달성했으며, 발견 수준의 세밀한 오류 분석, 임상 컨텍스트 기반 가중치 부여, 그리고 직관적인 점수 체계로 기존 메트릭의 한계를 극복한다. 향후 흉부 X‑ray뿐 아니라 다른 영상·보고서 분야에도 적용 가능성이 크며, 방사선 AI 모델 개발·검증 단계에서 표준 평가 지표로 자리 잡을 잠재력을 가지고 있다.