모델 내부 범위 활용 초고속 이상 탐지

본 논문은 머신러닝 시스템에서 필수적인 이상 탐지(Anomaly Detection, AD)를 기존 예측 모델과 별도로 운영하는 전통적 접근법의 비효율성을 지적하고, 예측 모델 자체에 내재된 정보를 활용하는 “On‑Model AD”라는 새로운 설정을 제안한다. 저자들은 특히 딥러닝 모델이 학습 과정에서 각 뉴런이 정상 데이터에 대해 생성할 수 있는 활성화 값의 범위를 학습한다는 관찰에 기반해, 이 범위를 직접 이용하는 알고리즘인 RangeAD를 설계하였다. ### 1. 연구 배경 및 동기 - 실제 서비스에서는 입력 데이터의 오염, 개념 드리프트, 블랙 스완 이벤트 등으로 인해 모델 성능이 급격히 저하될 위험이 있다. 이를 방지하기 위해 AD가 필요하지만, 별도의 AD 모델을 추가하면 연산 비용이 증가하고, 두 모델 간 “정상” 정의가 일치하지 않을 위험이 있다. - 기존 AD 방법은 원본 입력 공간에 적용하거나, 예측 모델의 임베딩을 추출해 별도 탐지기에 전달한다. 그러나 고차원 데이터에서 차원 저주가 발생하고, 임베딩 추출을 위해 추가 파라미터 튜닝 및 학습이 필요하다. ### 2. On‑Model AD 설정 On‑Model AD는 “이미 학습된 예측 모델 f(·)와 정상 데이터 Xₚᵣₑₚ만 있으면 충분하다”는 전제 하에, f의 내부 파라미터와 구조를 그대로 활용해 이상 점수를 산출한다. 이는 세 단계로 구성된다. 1) **Training Phase** – 기존 예측 모델을 정상 데이터(라벨 포함)로 학습한다. 2) **Preparation Phase** – 학습된 모델에 정상 데이터 Xₚᵣₑₚ을 입력해 각 뉴런 nₖᵢ의 활성화 분포를 수집하고, σ‑quantile(예: 1 %와 99 %)를 이용해 정상 구간 I_normal(nₖᵢ) =