일반화·확장 가능한 딥 가우시안 프로세스 에뮬레이터

본 논문은 현대 과학·공학 시뮬레이션에서 점점 늘어나는 비정형·확률적 출력에 대응하기 위해, 일반화 딥 가우시안 프로세스(Generalized Deep Gaussian Process, GDGP)라는 새로운 서러게이트 모델링 프레임워크를 제안한다. 기존 가우시안 프로세스(GP) 에뮬레이터는 연속형 가우시안 출력과 동질적(동일한) 변동성을 전제로 설계돼 왔으며, 이질분산(heteroskedastic) 가우시안이나 이산·비가우시안 데이터에 대해서는 별도 모델링이 필요했다. 저자들은 이러한 한계를 딥 가우시안 프로세스(DGP)의 다층 구조와 일반화 선형 모델(GLM)의 likelihood 레이어를 결합함으로써 해결한다. 먼저 DGP의 기본 구조를 재검토한다. DGP는 L‑layer 피드포워드 네트워크 형태로, 각 레이어는 다수의 독립적인 정규 GP {GP(p)ₗ} 를 포함한다. 입력 x 는 첫 레이어에 전달되고, 각 레이어의 출력 W(p)ₗ 은 다음 레이어의 입력이 된다. 전통적인 DGP는 최종 출력 F 가 연속형 가우시안 관측 Y 와 직접 연결돼 있어, 비가우시안 관측을 다루기 어렵다. GDGP는 이 구조에 최상위 “likelihood” 레이어를 삽입한다. 구체적으로, 최종 DGP 출력 F 의 각 차원 q 에 대해 알려진 단조 링크 g_q 를 적용해 파라미터 ϕ_i (예: 평균, 분산, 성공 확률 등)를 얻고, 이를 통해 p(y_i|ϕ_i) 형태의 관측 분포를 정의한다. 이때 포아송, 음이항, 제로인플레이션 변형, 범주형 등 다양한 확률분포를 선택할 수 있다. 따라서 GDGP는 비정상성(non‑stationarity)과 비가우시안성(non‑Gaussianity)을 동시에 모델링한다. 추론은 완전 베이지안 MCMC가 계산적으로 비현실적이므로, Stochastic Imputation(SI)이라는 근사 방법을 사용한다. SI는 먼저 GP 하이퍼파라미터 θ 를 고정하고, 잠재 변수 W와 F 에 대해 Elliptical Slice Sampling(ESS) 기반 Gibbs 샘플링을 수행한다. 각 레이어의 사후는 다변량 정규분포이므로 ESS가 효율적이며, 이 과정을 여러 번 반복해 다수의 “imputation” 샘플을 얻는다. 학습 단계에서는 Stochastic EM(SEM) 알고리즘을 적용해 θ를 최대우도 추정한다. 추정된 θ와 imputation 샘플을 이용해, LGP(Linked Gaussian Process) 근사를 통해 새로운 입력 x₀ 에 대한 예측 분포 p(y₀|x₀) 를 빠르게 계산한다. 대규모 데이터에 대한 확장성을 위해 두 가지 핵심 기술을 도입한다. 첫째, Vecchia 근사는 입력 수 N 이 매우 클 때 공분산 행렬을 희소하게 근사해 O(N) 연산 복잡도로 만든다. 저자들은 Vecchia 근사를 SI와 결합해, ESS 단계에서 필요한 공분산 연산을 효율적으로 수행한다. 둘째, 복제(다중 시뮬레이션 실행) 데이터를 다룰 때, 복제 간 공분산 구조를 공유하도록 설계해 복제 수가 증가해도 추가 연산이 거의 발생하지 않도록 최적화하였다. 특히 이질분산 가우시안 경우, 평균·분산에 대한 닫힌 형태식(closed‑form)을 도출해 계산량을 크게 줄였다. 실험에서는 합성 데이터와 실제 시뮬레이터(에이전트 기반 모델, 환경 정책 모델 등)를 사용해 GDGP를 기존 방법들과 비교한다. 비교 대상에는 이질분산 GP, 트리 기반 GP, 최근 제안된 DGP‑binary 모델 등이 포함된다. 결과는 다음과 같다. (1) 비가우시안(포아송·음이항·범주형) 상황에서 GDGP는 예측 평균과 불확실성 추정에서 현저히 낮은 RMSE와 적절한 신뢰구간 커버리지를 보였다. (2) 이질분산 가우시안 경우, GDGP가 제안한 닫힌 형태식 덕분에 기존 이질분산 GP보다 2~3배 빠른 학습 속도를 기록했다. (3) 입력 수가 10⁴에서 10⁶ 수준으로 확대될 때, Vecchia‑SI 조합이 10배 이상 속도 향상을 제공하면서도 예측 정확도는 유지되었다. 마지막으로, 구현은 오픈소스 R 패키지 dgpsi에 포함된다. 패키지는 다양한 커널(제곱 지수, Matérn 등)과 링크 함수(로그, 로그‑링크, 소프트맥스 등)를 지원하며, 사용자 친화적인 API와 시각화 도구를 제공한다. 이를 통해 연구자는 복잡한 확률 시뮬레이터를 손쉽게 서러게이트 모델로 전환하고, 베이지안 최적화·감도 분석·캘리브레이션 등에 활용할 수 있다. 요약하면, GDGP는 비정상성, 이질분산, 비가우시안성을 동시에 만족하는 통합 서러게이트 프레임워크이며, Vecchia 기반 확장성과 Stochastic Imputation을 통해 대규모 데이터에서도 실용적인 성능을 제공한다. 이는 현대 과학·공학 시뮬레이션의 불확실성 정량화와 효율적인 의사결정에 중요한 기여를 할 것으로 기대된다.