현미경 이미지 데이터 증강을 통한 재료 데이터 마이닝 혁신

본 논문은 재료 데이터 마이닝에서 흔히 마주치는 ‘실험 데이터 부족’ 문제를 해결하고자, 실제 현미경 이미지와 물리 기반 시뮬레이션 이미지를 융합한 새로운 데이터 증강 방식을 제안한다. 연구 배경으로는 대용량 데이터가 딥러닝 모델 성능을 좌우한다는 점과, 재료 과학에서는 고품질 실험 데이터를 얻기 위해 시간·노력·전문 지식이 많이 소요된다는 점을 들었다. 특히 미세구조 이미지의 경우, 픽셀‑레벨 라벨링이 매우 까다롭기 때문에 대규모 데이터셋 구축이 어려운 실정이다. 제안 방법은 크게 세 단계로 구성된다. 첫 번째 단계는 Monte‑Carlo Potts 모델을 이용해 다결정(polycrystalline) 구조를 3차원으로 시뮬레이션하고, 이를 2차원 슬라이스 이미지와 정확한 경계 라벨로 변환하는 과정이다. 시뮬레이션은 물리적 메커니즘을 충실히 반영하지만, 조명, 잡음, 결함 등 실험적 변동성을 포함하지 않아 ‘완벽하게 깨끗한’ 이미지가 된다. 두 번째 단계에서는 이러한 시뮬레이션 이미지를 실제 실험 이미지의 스타일과 결합하기 위해 조건부 생성 적대 신경망(cGAN) 기반 이미지‑투‑이미지 변환 모델을 학습한다. 입력은 시뮬레이션 이미지와 라벨, 목표는 실험 이미지와 동일한 명암·텍스처·노이즈 특성을 갖는 합성 이미지이다. 이 과정에서 라벨은 변형되지 않으며, 물리적 구조는 그대로 유지된다. 세 번째 단계는 생성된 합성 이미지를 실제 이미지와 함께 데이터셋에 포함시켜 U‑Net 기반 세그멘테이션 모델을 훈련시키는 것이다. 데이터셋 구성은 다음과 같다. 실제 실험 이미지 136장을 400×400 픽셀 패치로 나누어 훈련용 2,800패치와 테스트용 1,008패치를 만든다. 시뮬레이션으로는 28,800장의 이미지와 라벨을 확보했으며, 스타일 전이 후 동일한 수량의 합성 이미지를 얻었다. 실험에서는 (1) 전체 실험 데이터만 사용, (2) 전체 시뮬레이션 데이터만 사용, (3) 실험+시뮬레이션 데이터를 직접 혼합, (4) 실험 35%와 합성 전체 데이터를 혼합한 네 가지 학습 시나리오를 비교하였다. 평가 지표는 다양한 IoU 임계값에서 평균 정밀도(MAP)와 조정 랜드 지수(ARI)이다. 결과는 다음과 같다. 실험 데이터 전체 사용 시 MAP 0.5845, ARI 0.8655를 기록했으며, 실험 35%와 합성 전체를 혼합했을 때 MAP 0.603, ARI 0.882로 전체 실험 데이터만 사용한 경우보다 약간 높은 성능을 보였다. 반면, 시뮬레이션만 사용하거나 실험·시뮬레이션을 직접 혼합한 경우는 MAP이 0.1 이하, ARI가 0.0778 등 현저히 낮았다. 이는 시뮬레이션 이미지가 현실적인 잡음과 변동성을 결여하고 있기 때문이며, 스타일 전이 과정이 이러한 차이를 효과적으로 메워준다는 것을 의미한다. 시간 효율성 측면에서는 실험 이미지 한 장을 얻는 데 평균 1,200 초가 소요되는 반면, 시뮬레이션은 12 초, 스타일 전이 기반 합성은 0.1 초에 불과했다. 따라서 합성 데이터 구축에 필요한 전체 시간은 실험 데이터 획득 시간에 비해 무시할 수준이며, 전체 데이터 준비 비용을 약 65% 절감할 수 있다. 논문의 주요 기여는 (1) 물리 기반 시뮬레이션과 실제 이미지 스타일을 결합한 합성 데이터 생성 프레임워크, (2) 제한된 실험 데이터 환경에서도 높은 세그멘테이션 성능을 유지할 수 있는 데이터 증강 전략, (3) 실험·시뮬레이션·스타일 전이 각각의 시간·비용 효율성을 정량적으로 제시한 점이다. 또한 제안 방법은 미세구조 이미지 외에도 전자현미경, X‑ray CT, 의료 영상, 위성 사진 등 다양한 도메인에 적용 가능함을 시사한다. 향후 연구에서는 더 복잡한 시뮬레이션 모델(Phase‑field, Molecular Dynamics)과 최신 이미지 변환 기술(Diffusion 모델, CycleGAN)을 결합해 다중 스케일·다중 물성 정보를 동시에 보존하는 합성 데이터를 생성하고, 이를 기반으로 재료 설계·최적화 파이프라인에 직접 연결하는 방향이 기대된다.