MIDST 챌린지: 확산 모델 기반 합성 테이블 데이터의 멤버십 추론 위협 평가

본 논문은 2025년 IEEE SaTML 학술대회에서 개최된 MIDST(Membership Inference over Diffusion‑models‑based Synthetic Tabular data) 챌린지를 상세히 기술한다. 챌린지는 합성 테이블 데이터가 실제 데이터의 통계적 특성을 보존하면서도 프라이버시 공격에 얼마나 견고한지를 정량화하고자 설계되었다. 배경으로는 GDPR·PIPEDA·CCPA 등 전 세계적인 데이터 보호 규제가 강화됨에 따라, 금융·헬스케어 등 고감도 분야에서 합성 데이터 활용이 급증하고 있지만, 프라이버시 위험에 대한 체계적인 평가가 부족하다는 점을 들었다. 챌린지는 네 가지 트랙으로 구성되었다. (1) 블랙박스·단일 테이블, (2) 화이트박스·단일 테이블, (3) 블랙박스·다중 테이블, (4) 화이트박스·다중 테이블. 블랙박스 트랙에서는 참가자에게 합성 데이터만 제공하고, 화이트박스 트랙에서는 모델 파라미터와 학습 로그까지 제공한다. 데이터는 체코 은행의 공개 데이터셋인 Berka에서 추출한 20,000건의 거래 테이블을 기본으로 하며, 다중 테이블 트랙에서는 대출·신용카드·고객 정보 등 7개의 연관 테이블이 추가된다. 모델은 Vector Institute가 제공한 세 가지 확산 기반 합성 모델을 사용한다. TabDDPM과 TabSyn은 단일 테이블에 적용되는 모델이며, ClavaDDPM은 다중 테이블 간 관계를 클러스터 기반으로 가이드하는 모델이다. 각 모델에 대해 30개의 그림자 모델이 사전 제공되어, 참가자는 이를 활용해 공격을 설계하거나 자체 모델을 추가로 학습할 수 있다. 평가 방식은 멤버십 추론 정확도를 TPR@10% FPR(진양성률을 10% 거짓양성률 제한 하에서 측정)로 정의한다. 각 트랙마다 20개의 테스트 모델에 대해 멤버와 비멤버 샘플이 각각 절반씩 제공되며, 참가자는 0~1 사이의 신뢰도 점수를 제출한다. 채점 프로그램은 전체 점수들을 연결해 최적의 임계값을 찾아 위 지표를 산출한다. 대회 결과는 총 71팀, 700여 건의 제출이 있었으며, Tartan Federer 팀이 네 트랙 모두에서 1위를 차지했다. 화이트박스·단일 테이블 트랙에서 46% TPR@0.1 FPR를 기록했으며, 블랙박스·단일 테이블에서는 25%에 머물렀다. 다중 테이블 트랙은 화이트박스에서 35%, 블랙박스에서 23%를 기록했다. 특히 화이트박스·다중 테이블 트랙에서는 유의미한 성과를 내는 팀이 거의 없었으며, 대부분 무작위 추정 수준에 머물렀다. 우승팀들의 공격 전략을 살펴보면, Tartan Federer는 SecMI(이미지 기반 확산 모델 공격)에서 영감을 받아 손실값, 노이즈 초기화, 시간 단계별 그라디언트 차이를 특징으로 하는 머신러닝 기반 메타 공격을 설계했다. Yan Pang 팀은 멤버와 비멤버 샘플 간 그라디언트 차이를 직접 활용한 GSA(Gradient Similarity Attack)를 적용했다. 블랙박스 트랙에서는 Cyber‑BGU 팀이 그림자 모델과 보조 머신러닝 분류기를 결합한 복합 공격을, CIT ADEL & UQAM 팀이 RMIA·DOMIAS와 같은 기존 공격 결과와 고워 거리(Gower distance)를 메타 특징으로 활용한 앙상블 방식을 제시했다. 논문은 또한 향후 연구 방향을 제시한다. 첫째, TabSyn과 같은 잠재공간 확산 모델이 현재 공격에 상대적으로 강인한지 여부를 검증할 필요가 있다. 둘째, 단일 테이블과 다중 테이블 간 공격 성능 차이가 기대와 다르게 나타난 점을 고려해, 다중 테이블 관계를 효과적으로 활용하는 새로운 공격·방어 메커니즘이 요구된다. 셋째, 확산 모델 외에도 GAN, VAE 등 다른 합성 데이터 생성 기법과의 프라이버시 위험 비교가 필요하다. 마지막으로, 차등 프라이버시와 같은 형식적 보호 기법을 합성 파이프라인에 통합하고, 멤버십 추론 외에도 재식별 공격, 속성 추론 공격 등 다양한 위협 모델에 대한 포괄적 평가 체계가 필요함을 강조한다. 결론적으로, MIDST 챌린지는 확산 기반 합성 테이블 데이터가 통계적 유용성은 확보하지만, 멤버십 정보 누출이라는 실질적인 프라이버시 위험을 내포하고 있음을 입증했다. 이는 합성 데이터 활용을 고려하는 기업·기관이 단순히 “합성 = 익명”이라는 가정을 버리고, 정량적 프라이버시 평가와 사전 방어 설계가 필수임을 시사한다.