공변량 이동 하에서 모델 오차 증폭을 방지하는 새로운 회귀 알고리즘

본 논문은 머신러닝 실무에서 흔히 발생하는 분포 이동(distribution shift) 문제를, 특히 모델이 완벽히 맞춰지지 않은 상황(L∞‑misspecification)에서 다룬다. 저자들은 두 가지 핵심 가정을 설정한다. 첫째, 훈련분포 D_train 과 테스트분포 D_test 가 동일한 베이즈 회귀 함수 f⋆ 를 공유한다는 공변량 이동 가정이다. 둘째, 두 분포의 주변 밀도 비율 C∞=sup_x d_test(x)/d_train(x) 가 유한하고, 함수 클래스 F 가 L∞‑오차 ε∞ 로 f⋆ 를 근사한다는 가정이다. 이러한 설정은 실제 신경망, 강화학습, 컴퓨터 비전 등에서 모델이 어느 정도 근사하지만 완전히 맞지 않는 경우를 포괄한다. 첫 번째 주요 결과는 기존 경험위험 최소화(ERM) 방법이 이 상황에서 “오차 증폭” 현상을 일으킨다는 것이다. 정량적으로, 무한히 많은 훈련 샘플을 사용하더라도 ERM이 선택하는 최적 함수 f̂_ERM 은 테스트 손실 R_test(f̂_ERM) ≥ C∞·ε∞² 를 보인다. 이는 L∞‑근사 가능한 좋은 함수 ¯f 가 존재함에도 불구하고, ERM이 L2(D_train) 기준으로 f⋆ 에 가장 가깝게 투사하면서 오류를 특정 영역에 집중시키기 때문이다. 논문은 이를 시각적으로 Figure 1 로 제시하고, 두 원소만 갖는 함수 클래스 {¯f, f_bad} 로 구성된 반례를 통해 증명한다. 이 문제를 해결하기 위해 저자들은 ‘불일치 기반 회귀(Disagreement‑Based Regression, DBR)’ 라는 새로운 알고리즘을 제안한다. 핵심 아이디어는 두 함수 f와 g 사이의 예측 차이가 큰 영역(I_f,g)만을 손실 계산에 사용하고, 모든 가능한 g 에 대해 최악의 경우를 고려하는 견고 최적화 형태를 취한다. 구체적으로,   W_τ^{f,g}(x)=1_{|f(x)-g(x)|≥τ},   f̂_DBR = arg min_{f∈F} max_{g∈F} (1/n)∑_{i=1}^n W_τ^{f,g}(x_i)·