무한분산 잡음에서 M‑추정기의 위험을 좌우하는 켤레 영역 이분법

본 논문은 고차원 선형 회귀에서 잡음의 분산이 무한히 커지는 경우, 손실 함수의 Fenchel 켤레 영역이 유한한지 여부가 M‑추정기의 위험(리스크)을 결정한다는 ‘켤레 영역 이분법’을 제시한다. 켤레 영역이 유한하면 Huber·절대값·분위수 손실과 같이 위험이 유한하게 제한되고, 영역이 무한하면 제곱 손실은 위험이 발산한다. 전자는 전이(transfer) 정규화를 필요로 하지 않으며, 후자는 적절한 전이 정규화와 잡음에 맞춘 정규화 스케일링을…

저자: Charalampos Agiropoulos

무한분산 잡음에서 M‑추정기의 위험을 좌우하는 켤레 영역 이분법
본 논문은 고차원 선형 회귀 모델 y = Xβ* + w 를 대상으로, 샘플 수 n 과 차원 p 가 비례적으로 증가(p/n→γ>0)하는 asymptotic regime에서, 잡음 w_i 가 α∈(1,2) 인 정규변동 꼬리를 가져 분산이 무한히 커지는 상황을 분석한다. 기존 고차원 회귀 이론은 대부분 잡음의 분산이 유한하고 고정된 경우에만 정확한 위험(리스크) 특성을 제공했으며, 무한분산 잡음에서는 기존의 bias‑variance 분해가 무의미해졌다. 저자는 이러한 공백을 메우기 위해 ‘켤레 영역 이분법(Conjugate Domain Dichotomy)’이라는 새로운 이론적 프레임워크를 제시한다. **1. 모델 설정 및 가정** - 설계 행렬 X는 X = Z Σ_x^{1/2} 형태이며, Z는 i.i.d. 표준 정규 원소를 갖는 n×p 행렬이다. Σ_x는 고정된 양정치 행렬이며, 그 스펙트럼 분포는 compact support 를 갖는 확률 측도 μ 로 수렴한다. - 잡음 w_i 는 i.i.d.이며, 꼬리 확률 P(|w_i|>t)=c t^{-α}(1+o(1)) (α∈(1,2), c>0) 를 만족한다. 따라서 첫 절대 모멘트 E|w|는 유한하지만 두 번째 모멘트는 무한이다. **2. Fenchel 켤레와 이중 변수의 역할** M‑추정기는 일반적으로 \

원본 논문

고화질 논문을 불러오는 중입니다...

댓글 및 학술 토론

Loading comments...

의견 남기기