분류를 위한 p값 활용과 비모수적 구현

논문은 먼저 분류 문제를 확률적 모델로 설정한다. 관측된 특징벡터 X와 미관측 클래스 라벨 Y가 결합된 확률변수 (X,Y)를 가정하고, 훈련 데이터 𝒟={ (X_i,Y_i) }_{i=1}^n 이 독립적으로 수집된다고 전제한다. 전통적인 분류기는 점예측 Ŷ(X,𝒟) 혹은 사후확률 wθ(X)=P(Y=θ|X) 를 제공한다. 그러나 사전확률 wθ가 불확실하거나 변동할 경우, 사후확률에 기반한 의사결정은 과도하게 보수적이거나 불안정해질 수 있다. 이를 보완하기 위해 저자는 각 클래스 θ에 대해 영가설 H0: Y=θ를 설정하고, 해당 영가설을 검정하는 p값 πθ(X,𝒟)를 정의한다. p값은 (1.1)식과 같이 “조건부 수준 α 이하”를 만족하도록 설계되며, πθ가 α보다 크면 H0를 기각하지 않는다. 따라서 예측 영역 bYα(X,𝒟)= {θ : πθ(X,𝒟)>α} 은 1‑α 수준에서 Y를 포함할 확률을 보장한다. 이론적 최적화 단계에서는 사전확률 wθ와 조건부밀도 fθ가 알려진 경우를 분석한다. Neyman‑Pearson Lemma을 적용해, 각 클래스에 대한 최적 p값은 π*θ(x)=Pθ{ (fθ/f)(Z) ≤ (fθ/f)(x) } 로 주어진다. 이 p값은 클래스별 사후확률 wθ(x)와 단조 관계에 있으며, 특히 두 클래스(L=2) 상황에서는 사전확률에 전혀 의존하지 않는다. 최적 p값은 위험 함수 Rα(πθ)=Pθ(πθ>α) 를 최소화함으로써, 기존 베이지안 사후확률 기반 분류기보다 더 효율적인 불확실성 측정을 제공한다. 실제 적용을 위해서는 Pθ를 비모수적으로 추정해야 한다. 저자는 순열 검정 아이디어를 차용해, 훈련 데이터 내 동일 클래스 표본들의 거리 혹은 밀도 순서를 이용해 p값을 계산한다. 구체적으로, 최근접 이웃(k‑NN) 방법을 변형해 테스트 점 X와 같은 클래스 표본 사이의 거리 분포를 비교하고, 그 상대적 위치를 p값으로 변환한다. 이 방법은 각 클래스의 표본 크기 Nθ가 α⁻¹보다 클 때 정확한 수준을 유지한다는 이론적 보장을 갖는다. 또한, 대규모 데이터에 대해 효율적인 구현을 위해 KD‑tree, Ball‑tree 등 공간 인덱싱 구조를 활용하거나, 사전 계산된 거리 행렬을 재사용한다. 다중 사용(validity under repeated use) 문제도 논의된다. 단일 사용에서는 (1.2)식이 성립하지만, 동일 훈련 데이터를 여러 번 재사용하면 (1.3)식 형태의 오차가 발생한다. 저자는 이 오차가 O(1)임을 보이며, 실제 적용 시 교차검증이나 부트스트랩을 통해 보정할 수 있음을 제시한다. 또한, “지역 식별성(local identifiability)” 개념을 도입해, 혼합 모델에서 각 클래스가 충분히 구분될 수 있는 조건을 수학적으로 정의하고, 이를 통해 최적 p값과 비모수 p값이 동일한 asymptotic 행동을 보임을 증명한다. 마지막으로 계산 복잡도와 시각화 방안을 제시한다. p값을 색상 혹은 회색조로 매핑한 그래프를 통해 각 클래스의 신뢰도를 직관적으로 확인할 수 있다. ROC 곡선, 위험-예측 영역 곡선 등 기존 성능 지표와 결합해 평가할 수 있다. 결론적으로, 본 연구는 (1) p값 기반 예측 영역 정의, (2) 이상적 상황에서의 최적 p값 도출, (3) 비모수적 순열‑kNN 방법으로의 실용적 확장, (4) 단일·다중 사용에 대한 유효성 분석, (5) 계산 효율성 및 시각화 방안 등을 포괄적으로 제공함으로써, 기존 분류기보다 불확실성 표현이 풍부하고 해석이 직관적인 새로운 분류 프레임워크를 제시한다.