자동 조직병리 보고서 생성: 피라미드 특징 추출과 UNI 기반 모델

**1. 서론** 조직병리학은 암 진단의 금본위이며, 전통적으로 병리학자는 현미경으로 수십만 개의 세포와 조직 구조를 해석한다. 디지털 병리학의 도입으로 WSIs(Whole‑Slide Images)가 대규모 데이터로 전환되었지만, 이들의 기가픽셀 규모와 복잡한 조직학적 패턴은 기존 이미지‑텍스트 모델이 직접 적용하기에 부적합하다. 특히, 진단 보고서는 “malignant”, “invasive carcinoma” 등 정밀한 용어를 요구하므로 일반 이미지 캡셔닝 모델은 환각(hallucination) 위험이 크다. 따라서 저자는 (i) 효율적인 이미지 전처리, (ii) 도메인 특화 시각 특징 추출, (iii) 의료용 언어 모델링, (iv) 출력 검증이라는 네 축을 갖는 계층형 프레임워크를 제안한다. **2. 관련 연구** - *병리학 파운데이션 모델*: UNI와 H‑optimus‑1은 대규모 조직 패치에 대해 DINOv2 기반 셀프‑슈퍼바이즈드 학습을 수행해 강력한 시각 표현을 제공한다. 그러나 이들은 특징 추출기일 뿐 텍스트 생성 능력은 없다. - *생성형 비전‑언어 모델*: WSI‑LLaVA, HistGen 등은 MLLM(멀티모달 대형 언어 모델) 기반으로 전체 파이프라인을 end‑to‑end 학습한다. 토큰 프루닝, 동적 샘플링 등으로 메모리 문제를 완화하지만, 학습 비용이 높고 환각 억제 메커니즘이 복잡하다. - *환각 방지*: ReinPath, ChatEXA ONEPath 등은 RLHF나 Retrieval‑Augmented Generation(RAG)를 활용한다. 하지만 RLHF는 대규모 라벨링이 필요하고, RAG는 외부 지식베이스와의 연동이 복잡하다. **3. 방법론** ***3.1 피라미드 패치 선택*** WSI를 2³~2⁶ 배 다운샘플링한 4개의 레벨(ℓ = 6,5,4,3)로 구성한다. 각 레벨에서 HSV 색공간을 이용해 조직 마스크 Mℓ를 만든 뒤, 형태학적 연산(erosion → dilation → dilation → erosion)으로 잡음을 제거한다. 256 × 256 픽셀 패치를 격자화하고, 마스크 커버리지가 10 % 이상인 경우에만 후보로 채택한다. ***3.2 품질‑인식 필터링*** - **라플라시안 분산**: 초점이 흐린 패치는 f(P) < 40이면 제외. - **노출·채도**: 평균 V가 40~245, 평균 S가 12 이상이어야 함. - **어두운 픽셀 비율**: 30 이하의 그레이스케일 픽셀 비율이 20 % 초과하면 제외. 필터링 후, 전체 패치 수가 2 500개를 초과하면 레벨별 비율에 따라 층화 랜덤 샘플링을 수행한다. ***3.3 파운데이션 모델 특징 추출*** UNI ViT‑Large/16(24 레이어, 16 × 16 토큰, d_model = 1 024)을 frozen 상태로 사용한다. 각 패치에 대해 CLS 토큰을 추출해 f ∈ ℝ¹⁰²⁴로 만든 뒤, N × 1 024 형태의 매트릭스 F에 저장한다. 인코더를 고정함으로써 GPU 메모리를 크게 절감하고, 특징을 사전 저장해 디코더 학습과 추론을 독립적으로 수행한다. ***3.4 Transformer 디코더 설계*** - **입력 변환**: F에 선형 투사 Wp(1 024 × 1 024)와 bias를 적용해 M ∈ ℝᴺˣ¹⁰²⁴를 디코더의 메모리로 사용한다. - **토크나이저**: BioGPT 토크나이저(V ≈ 42 384)로 의료 전용 어휘를 확보한다. - **디코더 구조**: 6 레이어, 8 헤드, d_model = 1 024, d_ff = 2 048, dropout = 0.1. 마스크드 셀프‑어텐션(인과적)과 크로스‑어텐션을 결합한다. - **학습**: Teacher‑forcing 방식으로 교차 엔트로피 손실을 최소화한다. AdamW(워밍업 10 epoch, lr 5e‑5 → 5e‑6)와 배치 크기 64로 350 epoch 학습한다. ***3.5 Retrieval‑Based Post‑Processing*** 생성된 보고서를 Sentence‑BERT(MiniLM‑L6‑v2)로 임베딩하고, 훈련 집합의 레퍼런스 보고서와 코사인 유사도를 계산한다. 유사도 τ = 0.85를 초과하면 해당 레포트를 실제 레퍼런스로 교체한다. 이 단계는 모델이 만든 허위 진술을 실질적인 임상 문서로 대체함으로써 신뢰성을 크게 향상시킨다. **4. 실험 및 결과** 논문 본문에 상세 실험 수치는 제시되지 않았지만, 저자는 다음과 같은 정성·정량적 평가를 수행했다고 언급한다. - *텍스트 품질*: BLEU, ROUGE, METEOR 등 전통적인 캡션 지표와 함께, 의료 전문가가 평가한 진단 정확도와 용어 적합성을 측정했다. - *환각 억제*: Retrieval 단계 적용 전후의 오류율을 비교했으며, 85 % 이상의 유사도 임계값에서 환각 발생이 현저히 감소했다. - *연산 효율*: 피라미드 선택과 frozen 인코더 덕분에 전체 파이프라인이 1 GPU(24 GB)에서 1 WSI당 평균 12 분 내에 처리되었다. **5. 논의** 본 연구는 (1) 다중 해상도 피라미드 스캔으로 거시·미시 정보를 동시에 활용, (2) frozen UNI 인코더로 대규모 사전 학습된 조직 특징을 그대로 이용, (3) BioGPT 토크나이저로 의료 용어의 토큰 분할 문제 해결, (4) 간단한 코사인 유사도 기반 검증으로 환각을 억제한다는 네 가지 장점을 갖는다. 특히, 모듈식 설계는 인코더·디코더를 독립적으로 업데이트할 수 있어, 향후 더 큰 멀티모달 LLM이 등장하더라도 기존 파이프라인에 쉽게 통합할 수 있다. 다만, Retrieval 단계가 레퍼런스 데이터베이스에 크게 의존한다는 점과, 고유한 희귀 사례에 대한 대체가 제한적일 수 있다는 한계가 있다. 향후 연구에서는 동적 지식베이스와의 연동, 그리고 RLHF와 같은 정교한 보상 모델을 결합해 더욱 정밀한 검증 메커니즘을 구축할 필요가 있다. **6. 결론** 피라미드 기반 패치 선택·품질 필터링, frozen UNI 파운데이션 모델, BioGPT‑기반 Transformer 디코더, 그리고 Sentence‑BERT 기반 검증을 결합한 본 시스템은 대용량 조직병리 이미지에서 정확하고 신뢰할 수 있는 진단 보고서를 자동으로 생성한다. 계산 효율성과 임상 신뢰성을 동시에 달성함으로써, 디지털 병리학 워크플로우에 실용적인 AI 도구로 활용될 가능성을 제시한다.