가우시안 프로세스와 제한 선형 모델

본 논문은 가우시안 프로세스(GP)가 선형 모델(LM)을 특수 경우 혹은 극한 형태로 포함한다는 수학적 사실을 바탕으로, 실제 데이터 분석에서 두 모델을 효율적으로 결합하는 새로운 베이지안 사전 구조를 제안한다. 서론에서는 GP가 비선형 회귀에 뛰어난 유연성을 제공하지만, 선형 데이터에 적용될 경우 불필요한 계산 비용과 수치적 불안정성을 초래한다는 문제점을 제시한다. 특히, GP의 공분산 행렬 K는 범위 파라미터 d와 nugget g에 의해 결정되며, d→0 혹은 g→∞와 같은 극한에서는 K가 대각 행렬에 가까워져 LM과 동일한 형태가 된다. 그러나 이러한 극한 파라미터는 사전 확률이 거의 0이거나, 실제 추정 과정에서 수치적으로 불안정해 실용적 모델 선택에 활용하기 어렵다. 이를 해결하기 위해 저자들은 “제한 선형 모델(Limiting Linear Model, LLM)”을 명시적으로 포함하는 새로운 사전 분포를 설계한다. 핵심 아이디어는 잠재 이진 변수 z를 도입해, z=1이면 전체 GP 공분산을 사용하고, z=0이면 제한된 대각 공분산(cI)을 사용하도록 하는 것이다. z는 데이터의 선형성 정도에 따라 사후 확률이 조정되며, 베이지안 모델 평균화 혹은 선택 프레임워크가 자연스럽게 구현된다. 이때 d와 g는 극단값이 아니라 중간값에서도 선형과 비선형 사이의 연속적인 전이를 가능하게 하는 파라미터 공간을 탐색한다. 저자들은 Cressie(1991)의 kriging 이론을 인용해, nugget와 범위 파라미터가 적절히 조합될 경우 GP가 선형 평균에 거의 수렴한다는 점을 실험적으로 확인한다. 논문은 먼저 GP와 트리 기반 GP(treed GP)의 기본 모델을 소개한다. 트리 구조는 입력 공간을 여러 영역으로 분할하고, 각 리프 노드에 독립적인 GP 혹은 LM을 할당한다. 제안된 사전은 각 리프에서 자동으로 선형/비선형 선택을 가능하게 하여, 비정상(non‑stationary) 데이터에 대해 매우 효율적인 모델을 만든다. 구현은 R 패키지 ‘tgp’에 포함되어 있으며, 사전 파라미터는 기본값을 제공하지만 사용자가 도메인 지식에 따라 조정할 수 있다. 실험은 세 가지 주요 시나리오로 구성된다. 첫 번째는 완전 선형 모델 y=1+2x+ε(ε∼N(0,1))에서 10개의 균등한 x값을 사용한 경우이다. 여기서 제안된 사전은 LLM을 거의 확률 1에 가깝게 선택해, GP와 LM이 동일한 예측을 제공하면서도 계산 비용이 크게 감소한다. 두 번째는 약간 비선형이지만 대부분 선형인 데이터(예: 작은 범위 파라미터와 중간 nugget)이며, 여기서는 차원별 선형성 판단을 통해 일부 변수는 LM, 나머지는 GP로 모델링함으로써 예측 정확도가 기존 GP 대비 5~10% 향상된다. 세 번째는 고차원 비선형 데이터이며, 이 경우 사전이 거의 완전히 GP를 선택하지만, 트리 구조와 결합했을 때 지역별 선형 근사로 인해 학습 시간이 크게 단축된다. 추가로 1000번의 시뮬레이션을 통해 GP와 LM의 최대우도 비율을 분석했으며, 대부분의 경우 비율이 1에 가깝거나 1.5 이하로, 사전 선택이 결과에 큰 영향을 미친다는 것을 확인한다. 논문의 결론에서는 제안된 사전이 (1) 선형성의 자동 탐지, (2) 모델 복잡도 제어, (3) 비정상 데이터에 대한 효율적 분할이라는 세 가지 주요 장점을 제공한다고 강조한다. 또한, 사전 설계가 베이지안 모델 선택에 미치는 영향이 크며, 향후 연구에서는 Matérn 공분산 함수, 다중 잠재 변수 구조, 그리고 고차원 변수 선택 메커니즘을 도입해 더욱 유연하고 자동화된 반-베이지안 모델링 프레임워크를 구축할 수 있음을 제시한다. 전체적으로 이 논문은 GP와 LM 사이의 연속적인 모델 공간을 명시적으로 활용함으로써, 계산 효율성과 예측 정확도 모두에서 실용적인 이점을 제공한다.