GAM에서 기저 차원 선택을 위한 효율적인 검증 방법

이 논문은 일반화 가법 모델(GAM)에서 페널티 회귀 스무더를 사용할 때, 스무딩 함수의 기저 차원(k)의 적절성을 판단하는 두 가지 새로운 검증 방법을 제시한다. 기존에는 k를 직접 최적화하거나 GCV·AIC·REML 같은 평활 파라미터 선택 기준과 동시에 탐색하는 방법이 있었지만, 이는 전체 모델을 여러 번 재적합해야 하므로 계산 비용이 크게 늘어난다. 저자는 이러한 문제를 해결하고자, 모델 적합 후 남은 잔차를 이용해 k가 충분히 큰지를 빠르게 검증할 수 있는 두 절차를 고안했다. 첫 번째 방법은 “잔차 차분 기반 가설 검정”이다. 모델에 포함된 특정 평활 변수 x_j에 대해, 해당 변수의 값에 따라 잔차를 정렬하고 인접한 관측치 간 차분을 구한다. 차분 제곱의 평균을 이용해 잔차 분산의 비편향 추정치 φ_Δ를 계산하고, 모델에서 추정된 잔차 분산 φ̂와 비교한다. κ = φ_Δ / φ̂ 가 1에 가깝다면 k가 충분히 크다고 판단한다. 다변량 경우에는 각 관측치의 M 최근접 이웃을 찾아 차분을 구하고, 동일한 방식으로 φ_Δ를 추정한다. κ의 귀무분포는 잔차를 무작위 재배열하여 시뮬레이션함으로써 p‑값을 얻는다. p‑값이 작으면 k를 늘려야 함을 의미한다. 이 검정은 O(n log n) 정도의 연산량만 필요하므로 대규모 데이터에도 적용 가능하다. 두 번째 방법은 “잔차 재평활”이다. 현재 선택된 k로 전체 모델을 적합하고, 그 잔차를 추출한다. 동일한 평활 변수에 대해 두 배(2k)의 기저 차원을 사용해 새로운 스무팅 함수를 적합한다. 만약 재평활된 함수 f*_j가 눈에 띄는 패턴을 보이거나, 유효 자유도(effective df)가 최소값보다 현저히 크다면, 기존 k가 부족하다는 신호이다. 필요 시 k를 단계적으로 증가시키면서 검증을 반복한다. 이 방법은 전체 모델을 재적합하지 않고, 관심 변수 하나에 대해서만 재평활을 수행하므로 계산 비용이 제한적이다. 세 번째 절차는 기존의 GCV·REML 기반 k 탐색이다. 후보 k 집합(예: 10, 20, 40, 80)마다 전체 모델을 재적합하고, GCV 혹은 REML 값을 최소화하는 k를 선택한다. 이는 가장 정확할 수 있으나 연산량이 급증한다. 논문은 위 네 알고리즘(가설 검정(pv), 잔차 재평활(sm), GCV(gcv), REML(reml))을 다양한 시뮬레이션 설정에 적용해 비교하였다. 첫 번째 시뮬레이션은 단변량 함수 f₁(단조), f₂(버ump), f₃(여러 주기 사인) 등을 사용했으며, 표본 크기 n=100,200에 대해 300번씩 반복하였다. 두 번째 시뮬레이션은 이변량 함수 f(x₁,x₂)를 사용해 n=400,900에서 200번 반복하였다. 마지막은 두 개의 단변량 스무팅 항을 포함한 additive 모델을 n=200,400에서 평가했다. 평균 제곱오차(MSE)와 선택된 k의 분포를 살펴보면, 가설 검정과 잔차 재평활이 GCV·REML에 비해 거의 동일한 예측 정확도를 유지하면서도 훨씬 적은 연산 시간을 요구한다는 점이 확인되었다. 특히 REML은 작은 표본(예: n=100)에서 과도하게 큰 k를 선택해 MSE가 약간 상승하는 경향을 보였다. 반면 가설 검정은 잔차 분산 차이를 이용해 빠르게 k가 충분한지 판단하고, 필요 시만 k를 늘리므로 불필요한 연산을 최소화한다. 결론적으로, 저자는 k 선택을 위한 두 가지 경량 검증 절차가 기존의 전면 탐색 방법에 비해 계산 효율성이 뛰어나며, 실제 모델 진단 과정에 쉽게 통합될 수 있음을 주장한다. 다만, 평균‑분산 관계 위반이나 잔차 자기상관 등 k와 무관한 모델 위배가 존재할 경우 위 검증이 오탐을 일으킬 수 있으므로, 모델 진단 전반에 걸친 종합적인 검토가 필요함을 강조한다. 연구는 EPSRC 지원을 받아 수행되었으며, 제안된 방법은 mgcv와 같은 기존 GAM 패키지에 바로 적용 가능하다.