다중스케일 완전합성신경망으로 조직병리 이미지 분할 혁신

본 연구는 조직병리학적 진단이 핵‑세포 수준(≈0.1 µm)부터 조직 전체(≈1 mm)까지 광범위한 스케일을 동시에 고려해야 한다는 사실에 주목한다. 인간 병리학자가 현미경 배율을 전환하며 정보를 종합하는 방식을 모방하기 위해, 저자들은 다중‑인코더 구조를 갖는 U‑Net 기반 완전합성신경망(Fully Convolutional Network, FCN) 패밀리를 제안한다. 먼저, 멀티스케일 병합 블록(msM)을 설계하였다. 이 블록은 메인 인코더(전체 해상도)와 서브 인코더(저해상도)에서 추출된 피처맵을 각각 중심 크롭 후 bilinear up‑sampling을 통해 동일한 공간 해상도로 맞춘다. 이후 채널 차원으로 concat하고, 1×1 컨볼루션을 적용해 차원을 원래대로 축소한다. 이 과정은 서로 다른 스케일 간의 상대적 공간 관계를 보존하면서 정보를 결합한다는 점에서 기존 단순 concat 방식보다 우수하다. 두 번째로 제안된 컨텍스트 분류 게이트는 저해상도 패치만을 입력으로 전역적인 클래스 확률을 예측한다. 예측된 확률은 세그멘테이션 네트워크의 채널별 확률 맵에 곱해져, 전역 컨텍스트가 높은 클래스는 강조되고 낮은 클래스는 억제된다. 또한, 원본 피처맵을 ‘leak’ 형태로 다시 concat하고 1×1 컨볼루션을 거쳐 네트워크가 필요에 따라 전역 정보를 활용하거나 무시하도록 학습한다. 구조적 기반은 ResNet‑18 기반 인코더와 디코더를 갖는 표준 U‑Net이며, 전체 해상도(1×)와 1/4, 1/16 스케일 패치를 동시에 입력한다. 실험은 최근 공개된 세 개의 대규모 Whole‑Slide Image(WSI) 데이터셋, 즉 PAIP 2019(간세포암), BACH 2020(유방암), CAMELYON 2016(림프절 전이)에서 수행되었다. 각 데이터셋에 대해 단일‑스케일 U‑Net, 다중‑스케일 앙상블(하드/소프트 보팅, 로지스틱 회귀)과 비교했을 때, 제안된 msY‑Net‑Merge와 msY‑Net‑Gate는 평균 Dice 점수가 4~7%p 상승했으며, 특히 전역‑지역 정보를 동시에 활용한 msY‑Net‑Merge가 가장 높은 성능을 보였다. 메모리 측면에서도 중요한 장점을 확인했다. 동일 스케일의 개별 U‑Net을 각각 학습하고 앙상블하는 방식은 GPU 메모리 사용량이 10 GB 이상 소모되는 반면, 다중‑인코더 구조는 30~45% 적은 메모리(약 6~7 GB)로 동일 혹은 더 나은 성능을 달성했다. 이는 병렬적으로 여러 스케일을 처리하되, 공유된 디코더와 1×1 컨볼루션을 통한 차원 축소 덕분이다. Ablation 실험에서는 (1) 공간 정렬을 무시하고 단순 concat만 수행할 경우 성능이 현저히 저하됨을 확인했으며, (2) 컨텍스트 분류 게이트만 사용해도 일정 수준의 개선이 가능하지만, 병합 블록과 결합했을 때 최적의 결과를 얻는다는 점을 입증했다. 또한, 추가적인 서브 인코더를 저해상도 스케일(예: 1/8)로 더 늘려도 메모리 비용이 크게 증가하지 않아, 작업 특성에 맞는 맞춤형 다중‑스케일 설계가 가능함을 보였다. 결론적으로, 이 논문은 인간 병리학자의 다중‑배율 관찰 방식을 딥러닝 모델에 구조적으로 구현함으로써, 초고해상도 WSI에서의 세그멘테이션 정확도를 크게 향상시켰으며, 메모리 효율성까지 확보한 점이 큰 의의이다. 코드와 모델은 GitHub(https://github.com/ipmi-icns-uke/multiscale)에서 오픈소스로 제공되어, 향후 다양한 병리학 과제에 손쉽게 적용·확장할 수 있는 기반을 제공한다.