딥러닝 기반 유방암 조직 세포밀도 자동 평가

본 논문은 유방암 환자의 수술 후 조직 슬라이드에서 종양 세포밀도(셀룰러리티)를 자동으로 정량화하기 위한 딥러닝 기반 방법들을 제안하고, 공개된 BreastPathQ SPIE 챌린지 데이터셋을 이용해 성능을 검증한다. 연구 배경으로는 현재 임상에서 병리사가 H&E 염색 슬라이드를 눈으로 평가하는 과정이 시간 소모가 크고, 평가자 간 변동성이 높아 치료 결정에 영향을 미칠 수 있다는 점을 들었다. 이를 해결하고자 세 가지 접근법을 설계하였다. 첫 번째 접근법은 약한 라벨(핵 좌표)로부터 생성한 4채널 세그멘테이션 마스크를 활용한다. 세그멘테이션 네트워크는 ResNet‑34를 인코더로, Feature Pyramid Network(FPN)를 디코더로 채택한 U‑Net 구조이며, ELU 활성화와 배치 정규화를 결합해 학습 안정성을 강화하였다. 손실 함수는 이진 교차 엔트로피와 소프트 Jaccard 손실을 가중합한 형태로, 악성 세포 클래스에 4배 가중치를 부여해 클래스 불균형을 보정한다. 학습 과정에서는 데이터 증강, 공간 2D dropout(0.5) 등을 적용해 일반화 능력을 높였다. 세그멘테이션 결과는 4채널 확률 맵 형태로 출력된다. 세그멘테이션 맵을 이용한 두 번째 단계는 두 갈래로 나뉜다. (1) 세그멘테이션 맵을 그대로 ResNet‑34 회귀 네트워크에 입력해 연속형 세포밀도 점수를 예측한다. 이 방법은 병리사가 세포 형태와 분포를 시각적으로 판단하는 과정을 모방한다는 점에서 해석 가능성이 높다. (2) 세그멘테이션 맵에서 81개의 손수 만든 특징을 추출한다. 특징은 여러 임계값에서의 면적 합계, LoG(라플라시안 오브 가우시안) 블롭 수와 블롭 중심 활성도, 각 채널별 총 활성도 등을 포함한다. 이렇게 만든 특징 벡터를 Gradient Boosted Trees(GBT) 회귀 모델에 학습시켜 세포밀도 점수를 추정한다. GBT는 비선형 관계를 효과적으로 포착하면서도 과적합 방지를 위한 정규화 옵션을 제공한다. 세 번째 접근법은 전처리 없이 원본 512×512 H&E 패치를 직접 입력으로 하는 딥 CNN이다. 이 모델 역시 ResNet‑34 기반이며, 회귀 손실(L2)과 101‑클래스(0.00~1.00을 0.01 간격으로 구분) 분류 손실(크로스 엔트로피)을 각각 실험한다. 직접 이미지‑입력 방식은 세그멘테이션 단계가 없으므로 파이프라인이 단순해지지만, 세포 형태에 대한 명시적 정보가 부족해 성능이 다소 낮을 수 있다. 데이터는 캐나다 Sunnybrook 병원에서 수집된 64명의 환자에 대해 2395개의 512×512 패치와, 추가로 153개의 패치에 대해 제공된 핵 좌표(악성, 정상, 림프구) 약한 라벨을 사용했다. 약한 라벨은 가우시안 블롭 형태로 변환해 세그멘테이션 마스크를 생성하였다. 모델 평가는 평균 제곱 오차(MSE), Cohen’s κ, 그리고 intra‑class correlation(ICC) 세 가지 지표를 사용했으며, 기존 연구(κ 0.42, ICC 0.83)와 직접 비교하였다. 실험 결과, 세그멘테이션‑기반 회귀 모델이 가장 높은 성능을 보였으며, Cohen’s κ 0.69(≈0.70)와 ICC 0.89를 기록했다. GBT 기반 방법도 경쟁력 있는 결과를 보여, 특징 기반 회귀가 충분히 유용함을 확인했다. 전처리‑없는 엔드‑투‑엔드 CNN은 κ 0.58 수준으로 다소 낮았지만, 복잡한 세그멘테이션 파이프라인 없이도 실용적인 수준을 유지한다는 장점이 있다. 전체적으로 이 연구는 (1) 강력한 세그멘테이션 아키텍처 설계, (2) 세그멘테이션 결과를 활용한 다중 특징 추출 및 GBT 회귀, (3) 전처리‑없는 엔드‑투‑엔드 CNN 세 가지 전략을 체계적으로 비교함으로써, 유방암 조직 세포밀도 자동화에 대한 새로운 벤치마크를 제시한다. 결과는 병리사의 작업 부담을 경감하고, 진단 일관성을 높이며, 궁극적으로 환자 맞춤형 치료 결정에 기여할 수 있음을 시사한다.