효율적인 베이지안 다변량 표면 회귀

본 논문은 다변량 가우시안 응답을 모델링하기 위한 새로운 베이지안 회귀 프레임워크를 제시한다. 기존의 가법 스플라인 모델은 knot 위치를 고정하거나, 차원 수가 적은 경우에만 효과적으로 적용될 수 있었다. 그러나 다변량 표면 모델에서는 knot이 q‑차원 공간에 분포해야 하므로, 적절한 위치를 찾는 것이 매우 어려워진다. 이를 극복하기 위해 저자들은 세 가지 핵심 아이디어를 도입한다. 첫째, 모델을 세 부분으로 명확히 구분한다. 선형 성분(원본 변수와 절편) → X₀B₀, 가법 스플라인 성분 → Xₐ(ξₐ)Bₐ, 그리고 다차원 인터랙션을 포착하는 표면 스플라인 성분 → Xₛ(ξₛ)Bₛ 로 구성한다. 가법 부분은 각 변수마다 별도의 1‑차원 knot을 사용해 비선형성을 크게 설명하도록 설계하고, 표면 부분은 다차원 radial basis function(예: thin‑plate spline)으로 제한된 수의 knot만 사용한다. 이렇게 하면 표면 부분이 차원의 저주에 의해 과도하게 복잡해지는 것을 방지하면서도, 변수 간 상호작용을 충분히 모델링할 수 있다. 둘째, 모든 knot 위치(ξₐ와 ξₛ)를 사후분포에서 직접 추정한다. 기존 방법은 고정된 knot을 사전 클러스터링(k‑means 등)으로 선정하고, 이후 RJMCMC를 통해 knot 수만 조정했지만, knot 자체를 이동시키는 메커니즘이 부재했다. 저자들은 회귀 계수 B를 분석적으로 적분한 뒤, 남은 knot에 대한 주변 사후분포를 이용해 Metropolis‑Hastings 제안을 수행한다. 제안 분포는 사후의 로그우도에 대한 기울기(gradient)를 이용해 설계되며, 이는 고차원 공간에서도 효율적인 탐색을 가능하게 한다. 또한, 희소성 구조를 활용해 그라디언트 계산을 O(n q) 수준으로 줄인다. 셋째, 과적합을 방지하기 위해 각 파트와 각 반응 변수별 독립적인 shrinkage 하이퍼파라미터 λ을 도입한다. B₀, Bₐ, Bₛ 각각에 대해 λ₀, λₐ, λₛ를 베이지안 방식으로 추정하며, λ은 로그 정규 사전분포를 갖는다. 이는 “unit information prior”와 유사한 스케일을 제공하면서도, 데이터에 따라 강하거나 약한 shrinkage를 자동으로 선택하게 만든다. 또한, 공분산 행렬 Σ는 inverse‑Wishart 사전분포를 사용하고, 사전 평균은 선형 회귀에서 얻은 추정값으로 설정한다. MCMC 알고리즘은 고정된 knot 수를 전제로 하지만, 최적의 knot 수는 베이지안 교차검증(log predictive score)으로 사전에 선택한다. 이는 RJMCMC가 knot 수까지 샘플링하는 복잡성을 회피하면서도, 병렬화된 교차검증을 통해 실용적인 모델 선택을 가능하게 한다. 실험에서는 두 가지 시나리오를 제시한다. 첫 번째는 다양한 비선형 형태와 상호작용을 포함한 시뮬레이션 데이터이며, 두 번째는 기업 레버리지(p = 2) 데이터를 사용한 실제 적용이다. 두 경우 모두 자유롭게 이동 가능한 knot 모델이 고정 knot 모델에 비해 예측 오차가 크게 감소하고, 특히 표면 부분에서의 상호작용 효과를 정확히 포착한다는 결과가 나타났다. 또한, 제안된 MCMC는 수천 번의 반복을 몇 분 내에 수행할 수 있어, 고차원 다변량 회귀에서도 계산 효율성이 뛰어나다는 점을 강조한다. 결론적으로, 이 논문은 (1) 모델 구조의 명확한 분해를 통한 파라미터 차원의 감소, (2) 전체 knot을 동시에 업데이트하는 고효율 MCMC, (3) 파트별·반응별 shrinkage prior를 통한 자동 정규화라는 세 축을 결합함으로써, 다변량 비선형 회귀 문제에 대한 실용적이고 확장 가능한 베이지안 솔루션을 제공한다.