동적 탐지기 점수 결합으로 이상치 탐지 성능 향상

이 논문은 비지도 이상치 탐지에서 여러 기본 탐지기들의 점수를 어떻게 효과적으로 결합할 것인가에 대한 문제를 다룬다. 기존 연구들은 대부분 정적 결합 방식을 사용했으며, 이는 모든 탐지기의 점수를 동일하게 혹은 전역적인 가중치에 따라 평균·최대·가중 평균 등을 수행한다. 이러한 접근법은 (1) 탐지기마다 데이터 전반에 걸친 성능 차이가 크다는 점, (2) 특정 지역에서는 일부 탐지기가 다른 탐지기보다 현저히 우수할 수 있다는 점, (3) 정답 라벨이 없기 때문에 탐지기 선택 자체가 어려워진다는 점에서 한계가 있다. 이에 저자들은 동적 분류기 선택(Dynamic Classifier Selection, DCS) 개념을 차용해, 비지도 이상치 앙상블에 적용한 DCSO(Dynamic Combination of Detector Scores for Outlier Ensembles) 프레임워크를 제안한다. DCSO는 크게 두 단계로 구성된다. 첫 번째 ‘Generation’ 단계에서는 다양한 파라미터·특징 서브셋을 이용해 다수의 기본 탐지기(예: LOF, k‑NN, Isolation Forest, One‑Class SVM 등)를 학습시켜 탐지기 풀을 만든다. 이때 탐지기 간 상관관계를 낮추어 다양성을 확보한다. 두 번째 ‘Combination’ 단계에서는 테스트 샘플마다 k‑nearest neighbor(kNN) 기반으로 지역을 정의하고, 그 지역 내에서 각 탐지기의 점수와 전체 탐지기들의 평균 점수(의사‑그라운드 트루스)와의 피어슨 상관계수를 계산한다. 상관계수가 높은 탐지기들을 상위 m 개 선택하고, 선택된 탐지기들의 점수를 다시 평균하거나 가중 평균하여 최종 이상치 점수를 산출한다. 핵심 기여는 다음과 같다. 1. **데이터 지역성 활용**: 기존 SG_WA와 달리 지역 기반 상관계수를 사용해 탐지기 성능을 평가함으로써, 고차원·다중분포 데이터에서 지역적 이상치를 더 정확히 탐지한다. 2. **동적 탐지기 선택 및 다중 선택(DES)**: 각 샘플마다 최적 탐지기 집합을 달리 선택하고, 단일 탐지기에 의존하지 않는 다중 탐지기 조합을 통해 안정성을 향상시킨다. 3. **이론적·시각적 해석**: Aggarwal‑Sathe의 편향‑분산 프레임워크를 적용해 DCSO가 편향과 분산을 동시에 감소시키는 메커니즘을 설명하고, t‑SNE·히트맵 등을 이용해 선택 과정과 결과를 시각화한다. 4. **통계적 검증**: Friedman·Nemenyi 검정을 통해 DCSO가 기존 정적 방법보다 유의미하게 우수함을 입증한다. 실험에서는 10개의 공개 벤치마크(예: Arrhythmia, KDDCup99, Thyroid, etc.)에 대해 30여 개의 기본 탐지기 풀을 구성하고, k∈{5,10,20}, m∈{1,2,3} 등 다양한 파라미터 설정을 교차 검증하였다. 성능 평가지표는 AUC, Precision@k, Recall@k 등을 사용했으며, DCSO는 대부분의 데이터셋에서 평균 4~6%의 AUC 향상과 5~9%의 Precision 향상을 기록했다. 특히 차원이 100 이상인 데이터와 여러 클러스터가 혼합된 데이터에서 기존 SG_A, SG_M, SG_WA 대비 큰 격차를 보였다. 파라미터 민감도 분석 결과, k가 너무 작으면 지역이 과도하게 편향돼 성능이 떨어지고, 너무 크면 전역 평균에 수렴해 DCSO의 장점이 사라진다. m값은 1~3 사이에서 가장 안정적인 결과를 제공했으며, m>3에서는 불필요한 탐지기가 포함돼 성능이 감소한다. 또한, DCSO는 선택된 탐지기와 그 근거를 로그와 시각화(예: 선택 히트맵, 지역별 상관계수 플롯)로 제공함으로써 모델의 투명성을 높인다. 이는 미션 크리티컬 환경에서 사용자가 결과를 검증하고 신뢰할 수 있게 만든다. 결론적으로, DCSO는 비지도 환경에서도 데이터 지역성을 활용한 동적 탐지기 선택·조합을 통해 정적 앙상블의 한계를 극복하고, 성능·안정성·해석 가능성을 동시에 달성한다. 향후 연구 방향으로는 (1) 자동 k‑선정 및 m‑조정 메커니즘, (2) 스트리밍 데이터에 대한 온라인 DCSO 적용, (3) 사용자 피드백을 반영한 인터랙티브 탐지기 선택 프레임워크 개발 등을 제시한다.