데이터 품질을 가늠하는 스펙트럼: 라벨 노이즈 진단을 위한 고유값 꼬리 지수

본 논문은 신경망 가중치 행렬의 스펙트럼 특성이 데이터 품질, 특히 라벨 노이즈와 어떤 관계가 있는지를 체계적으로 조사한다. 서론에서는 과잉 파라미터화된 신경망이 왜 일반화되는가에 대한 기존 이론적 논의를 소개하고, 무작위 행렬 이론(RMT)이 가중치 행렬 분석에 적합한 프레임워크임을 강조한다. 특히 초기 가중치가 Marchenko‑Pastur(MP) 분포를 따르며, 학습 과정에서 이 분포에서 벗어나는 현상이 학습된 구조를 반영한다는 점을 언급한다. 관련 연구로는 Martin과 Mahoney가 제안한 “heavy‑tailed self‑regularization”과 그들의 꼬리 지수 α가 모델 품질을 나타낸다는 주장, 그리고 이후 연구들이 α가 특정 상황(예: CV 모델)에서만 유의미함을 지적한 점을 정리한다. 이 논문은 이러한 선행 연구를 바탕으로 두 가지 독립적인 변동 축을 설계한다. 첫 번째 실험(EXP‑010)은 라벨 노이즈를 0%부터 100%까지 21단계로 점진적으로 증가시키고, 각 단계마다 3개의 랜덤 시드를 사용해 MLP(MNIST), CNN(CIFAR‑10), ResNet‑18(CIFAR‑10)을 학습한다. 두 번째 실험(EXP‑011)은 동일한 데이터(MNIST)에서 라벨을 깨끗하게 유지하면서 네트워크 폭(64~512), 깊이(2~4), 학습률(0.001~0.1), 가중치 감쇠(0~10⁻¹) 등 180개의 하이퍼파라미터 조합을 3번씩 반복한다. 스펙트럼 지표는 다음과 같이 정의된다. (1) 꼬리 지수 α: 고유값 상위 90%에 Hill 추정기를 적용해 얻는다. (2) 효과적 랭크: 고유값 확률분포의 엔트로피 기반 정규화값. (3) 아웃라이어 비율: λ₊(MP 상한) 위에 있는 고유값 비율. (4) MP 편차: Kolmogorov‑Smirnov 통계량. 대조 지표로는 전역 L₂ 노름, 층별 Frobenius 노름, 최적 층 Frobenius 노름, 최대 스펙트럴 노름, 스펙트럴 노름 곱 등을 사용한다. 실험 결과는 크게 두 부분으로 나뉜다. 라벨 노이즈 실험에서는 병목층(MLP의 중간 은닉층, CNN의 마지막 FC, ResNet‑18의 중간 residual block)의 α가 테스트 정확도와 거의 완벽한 선형 관계를 보였다. LOO 교차검증에서 α의 R²는 0.984이며, 두 번째로 높은 효과적 랭크는 0.750, 가장 좋은 전통 지표인 최적 층 Frobenius 노름은 0.149에 불과했다. 그래프는 α가 증가할수록 테스트 정확도가 감소하는 명확한 경향을 보여준다. 또한 Hill 추정기의 임계값 q를 0.70~0.95로 바꾸어도 α의 순위는 크게 변하지 않아 상대적 순서는 안정적이다. 반면 하이퍼파라미터 변동 실험에서는 모든 지표가 약한 예측력을 보였다. 전역 L₂ 노름이 0.219, 합계 Frobenius 노름이 0.204로 가장 높았으며, α는 0.167에 머물렀다. 이는 데이터 품질이 일정한 상황에서는 가중치 행렬의 스펙트럼 자체보다는 전체 규모나 정규화 정도가 약간의 차이를 설명한다는 점을 시사한다. 또한 레벨 스페이싱 비율 ⟨r⟩에 대한 부정적 결과를 제시한다. 초기와 학습 후 모두 ⟨r⟩≈0.53(GOE) 수준을 유지했으며, 이는 Wishart 행렬의 보편성 때문이라는 이론적 설명을 제공한다. 따라서 ⟨r⟩은 가중치 행렬 분석에 적합하지 않다. 이론적 해석에서는 BBP 전이를 이용해 아웃라이어 개수와 데이터 품질 사이의 관계를 정량화한다. 라벨 노이즈가 없는 경우, 학습된 신호는 클래스 수 k에 비례하는 O(k)개의 아웃라이어만을 생성한다. 반면 무작위 라벨을 암기하려면 병목층 차원 n에 비례하는 O(n)개의 아웃라이어가 필요하다. 실험에서 관측된 아웃라이어 비율(실제 라벨 ~ 6%, 무작위 라벨 ~ 76%)은 이 예측과 일치한다. 마지막으로, 실제 인간 주석 오류가 포함된 CIFAR‑10N에 대해 학습된 α 기반 노이즈 탐지기를 적용했을 때 9%의 라벨 오류를 3%의 오탐률로 성공적으로 식별했다는 실용적 결과를 제시한다. 전체적으로 논문은 스펙트럼 기반 지표, 특히 꼬리 지수 α가 데이터 품질(라벨 노이즈) 진단에 매우 강력함을 입증하고, 일반화 예측이라는 보편적 목표에는 한계가 있음을 명확히 구분한다. 이는 향후 모델 평가와 데이터 정제 파이프라인에 스펙트럼 분석을 도입할 근거를 제공한다.