컨포멀 예측을 활용한 개념 드리프트 지역화

본 논문은 개념 드리프트(Concept Drift) 현상이 머신러닝 시스템의 안정성을 위협하는 핵심 문제임을 강조하고, 특히 드리프트가 발생한 구체적인 샘플을 식별하는 ‘드리프트 지역화(Drift Localization)’의 중요성을 부각한다. 기존 연구들은 주로 kd‑tree, quad‑tree, k‑means, LDD‑DIS 등과 같은 비지도 군집화 기법이나, 시간 라벨을 예측하는 결정 트리를 이용한 모델 기반 접근법을 사용해 데이터 공간을 로컬 그룹으로 나눈 뒤, 각 그룹 내에서 시간 분포 차이를 통계 검정한다. 그러나 이러한 로컬 검정은 고차원 이미지 스트림과 같이 신호가 희박한 상황에서 그룹 형성이 불안정하고, 그룹당 샘플 수가 적어 검정력(p‑value)이 크게 감소한다는 근본적인 한계가 있다. 이에 저자들은 컨포멀 예측(Conformal Prediction)이라는 프레임워크를 도입한다. 컨포멀 예측은 모델이 출력한 점수(예: 클래스 확률)를 기반으로 ‘예측 집합(F(x))’을 구성하고, 정해진 신뢰 수준 α에 대해 정답이 집합에 포함될 확률을 보장한다. 논문은 “시간 라벨이 하나라도 예측 집합에서 제외되면 해당 샘플은 비드리프트 가설을 기각한다”는 아이디어를 적용한다. 구체적으로, 각 시간 라벨 c에 대해 컨포멀 점수 p_c(x)를 계산하고, 최소값 p_drifting(x)=min_c p_c(x)를 드리프트 검정의 p‑value로 사용한다. 캘리브레이션 단계에서 별도의 검증 데이터를 확보하기 어려운 상황을 고려해, 부트스트랩(bootstrap) 방식을 활용한다. 전체 데이터를 n_boot 번 무작위 샘플링해 in‑bag과 out‑of‑bag을 구분하고, in‑bag 데이터로 모델(Decision Tree 혹은 MLP 등)을 학습한다. 이후 out‑of‑bag 샘플을 이용해 각 클래스별 순위 기반 컨포멀 점수를 계산한다. 이렇게 얻은 점수를 각 부트스트랩마다 누적하고, 최종적으로 각 샘플에 대해 중앙값을 p‑value로 반환한다. 다수의 부트스트랩에서 동일한 결론이 도출될 경우, 이는 앙상블 검정 효과와 동일하게 작용한다. 알고리즘 1은 전체 흐름을 단계별로 정리한다. 1) 부트스트랩 샘플링, 2) 모델 학습, 3) out‑of‑bag을 이용한 컨포멀 점수 계산, 4) 각 샘플에 대한 점수 누적, 5) 중앙값을 최종 p‑value로 산출한다. 이 과정은 기존 로컬 검정이 요구하는 복잡한 그룹 생성과 샘플 분할을 대체하고, 전역적인 확률 보장을 제공한다는 점에서 혁신적이다. 실험은 세 가지 이미지 스트림을 대상으로 수행된다. 첫 번째는 기존에 널리 사용되는 패션‑MNIST 데이터셋을 원본 형태로 사용한다. 두 번째는 NINCO라는 외부 OOD 벤치마크이며, 여기서는 DINOv2 ViT‑S/14 임베딩을 적용한다. 세 번째는 저자들이 새롭게 제안한 Fish‑Head 데이터스트림으로, ImageNette에서 “tech” 클래스를 좌우 방향으로 세분화해 미세한 시각적 변화를 드리프트로 만든다. 모든 데이터에 대해 2×250(또는 2×60) 샘플을 사용해 드리프트 전후를 구분하고, 500번 반복 실험을 통해 ROC‑AUC를 평가한다. 결과는 다음과 같다. 패션‑MNIST와 NINCO에서는 제안된 컨포멀 기반 방법(CP‑DT, CP‑MLP)이 기존 kd‑tree, LDD‑DIS, MB‑DL(Decision Tree + permutation) 등보다 일관되게 높은 AUC를 기록한다. 특히 MLP을 사용했을 때 가장 큰 성능 향상이 관찰된다. Fish‑Head 데이터에서는 CP‑DT가 가장 높은 AUC를 달성했으며, MB‑DL(Decision Tree + permutation)과 비슷한 수준을 보였지만, 다른 기존 방법들은 전반적으로 낮은 성능을 보였다. 이는 미세한 시각적 변화를 포착하는 데 전역적인 컨포멀 검정이 유리함을 시사한다. 부트스트랩 수에 대한 민감도 분석에서도 부트스트랩 수가 100~300 사이에서는 AUC가 급격히 상승하고, 이후에는 포화 현상이 나타난다. 이는 충분히 많은 부트스트랩이 확보되면 캘리브레이션 품질이 안정되지만, 과도한 부트스트랩은 계산 비용만 증가한다는 실용적 교훈을 제공한다. 논문은 몇 가지 한계와 향후 연구 방향을 제시한다. 첫째, 드리프트 샘플이 극히 적은 소규모 상황에서는 캘리브레이션 셋이 충분히 확보되지 않을 위험이 있다. 둘째, 사용된 딥 임베딩이 드리프트 탐지 성능에 미치는 영향을 정량화할 필요가 있다. 셋째, 현재는 이진 드리프트 검정에 초점을 맞추었지만, 다중 시간 구간이나 연속적인 드리프트 추적에도 확장 가능성을 탐색해야 한다. 결론적으로, 이 연구는 “컨포멀 예측 + 부트스트랩 캘리브레이션”이라는 새로운 조합을 통해 고차원 이미지 스트림에서 드리프트 지역화를 효과적으로 수행할 수 있음을 입증했으며, 기존 로컬 검정 방식의 근본적인 한계를 극복하는 실용적인 대안을 제시한다.