튜닝 파라미터의 비대칭 효과와 대규모 이론

본 연구는 통계·머신러닝 모델에서 자주 사용되는 튜닝 파라미터 λ가 추정 과정에 도입되는 방식과 그로 인한 추가적인 무작위성을 체계적으로 분석한다. 전통적으로 λ는 교차 검증(CV), AIC, BIC 등 위험 추정량을 최소화하는 방식으로 선택되며, 이때 선택된 λ̂는 데이터에 의존하는 랜덤 변수이다. 기존 이론은 λ를 고정된 값으로 가정하고 θ̂(λ)의 점근적 정상성을 다루지만, 실제 분석에서는 λ̂를 사용함으로써 θ̂(λ̂)의 분포가 변형된다. 이러한 차이를 무시하면 추정량의 분산이 과소평가되고, 신뢰구간이 과도하게 좁아지는 문제가 발생한다. 논문은 먼저 일반적인 Z‑estimation 프레임워크를 도입한다. 데이터 Z₁,…,Zₙ은 i.i.d.이며, 각 λ에 대해 θ̂(λ)는 φ(Z,θ,λ)=0을 만족하는 해로 정의된다. 여기서 φ는 손실 함수 ψ의 미분 형태를 포함할 수 있다. λ̂는 훈련 오차 TE(λ)=n⁻¹∑ψ(Zᵢ,θ̂(λ)) 혹은 LOOCV CV(λ)=n⁻¹∑ψ(Zᵢ,θ̂^{(-i)}(λ))의 최소화로 얻어진다. λ̂가 내부 최소점에 존재한다면 TE′(λ̂)=0 혹은 CV′(λ̂)=0이라는 1차 조건을 만족한다. 이때 저자들은 확장 파라미터 α̂=(θ̂(λ̂),λ̂,θ̂′(λ̂))를 정의하고, 이를 η(z,α)라는 3‑차원 함수의 기대값 Ψ(α)=E