자동화된 가우시안 프로세스 융합을 위한 일반화된 전문가 곱 모델

본 논문은 다중 확률 모델, 특히 가우시안 프로세스(GP) 전문가들의 예측을 효율적으로 결합하기 위한 새로운 프레임워크인 일반화된 전문가 곱(gPoE)을 제안한다. 저자는 기존의 전문가 결합 방법—배깅, 스택킹, 혼합 전문가(MoE), 전통적인 전문가 곱(PoE)—이 네 가지 핵심 요구사항을 동시에 만족하지 못한다는 점을 지적한다. 첫째, 개별 전문가를 독립적으로 학습하고 병렬화할 수 있는 스케일러빌리티(i); 둘째, 입력에 따라 가중치가 변하는 입력 의존적 결합(ii); 셋째, 결합 결과가 정규화된 확률분포를 유지해 후속 의사결정에 활용 가능하도록 하는 확률적 정합성(iii); 넷째, 신뢰도가 낮은 전문가의 영향을 자동으로 억제해 전체 모델의 견고함을 보장하는 로버스트성(iv)이다. 전통적인 PoE는 각 전문가의 확률밀도를 곱하고 정규화하는 방식으로, 가우시안 전문가라면 평균과 공분산이 간단히 정밀도 행렬의 합의 역으로 표현된다. 그러나 PoE는 전문가가 과도하게 낮은 분산(높은 정밀도)을 보고할 경우, 해당 전문가가 전체 예측을 과도하게 좌우하게 되는 취약점이 있다. 이를 보완하기 위해 저자는 각 전문가의 신뢰도를 α_i(x) 라는 양으로 도입한다. α_i(x) 는 입력 x에서 전문가 i가 제공하는 정보량을 나타내며, 구체적으로 사전 분산과 사후 분산의 로그 차이, 즉 엔트로피 변화 ΔH_i(x) 로 정의한다. ΔH_i(x)=0이면 해당 전문가가 해당 입력에 대해 학습 데이터로부터 아무 정보도 얻지 못한 것으로 간주되어 α_i(x)=0이 되고, 결합에서 완전히 배제된다. 반대로 ΔH_i(x) 가 클수록 해당 전문가가 유용한 정보를 제공한다는 의미이며, α_i(x) 가 1에 가까워져 기존 PoE와 동일하게 동작한다. α_i(x) 를 적용하면 각 전문가의 정밀도 행렬 Σ_i^{-1}(x) 가 α_i(x) 배만큼 스케일링되므로, 결합 평균 m(x) 와 공분산 Σ(x) 은 다음과 같이 계산된다. m(x)=\Big(\sum_i α_i(x) T_i(x) m_i(x)\Big)\Big(\sum_i α_i(x) T_i(x)\Big)^{-1} Σ(x)=\Big(\sum_i α_i(x) T_i(x)\Big)^{-1} 여기서 T_i(x)=Σ_i^{-1}(x) 이다. 이 식은 가우시안 형태를 유지하면서 각 전문가의 기여도를 입력에 따라 동적으로 조절한다. 실험에서는 세 개의 대규모 회귀 데이터셋(KIN40K, SARCOS, UK‑APT)을 사용하고, 각 데이터셋에 대해 256개의 데이터 포인트를 갖는 512개의 GP 전문가를 세 가지 방식(무작위 서브셋, 로컬 GP, 트리 기반 GP)으로 구성하였다. 모든 전문가와 결합 방식은 독립적으로 학습되었으며, 32코어 머신에서 전체 학습 시간이 1분 이하로 완료되었다. 평가 지표는 표준화된 평균 제곱 오차(SMSE)와 표준화된 음의 로그 가능도(SNLP)이다. 결과는 gPoE가 모든 실험 설정에서 배깅, MoE, 전통적 PoE보다 현저히 낮은 SMSE와 SNLP 값을 기록하였다. 특히 PoE는 과신된 전문가 때문에 SNLP에서 매우 큰 오류를 보였으며, 이는 엔트로피 기반 α_i(x) 가 과신을 억제하는 효과를 입증한다. 트리 기반 gPoE(tree‑gPoE)는 테스트 포인트가 속한 트리 경로상의 전문가만을 활성화함으로써 추가적인 성능 향상을 달성하였다. 또한, gPoE를 사용한 단순 GP 전문가(256개 데이터 포인트, 기본 ARD+화이트 커널)들은 SVI‑GP와 같은 최신 희소 GP 방법과 비교했을 때 RMSE 기준으로 동등하거나 더 나은 성능을 보였다. 이는 gPoE가 복잡한 커널 튜닝이나 희소 인덱스 선택 없이도 높은 예측 정확도를 제공함을 의미한다. 다만, gPoE는 전문가들의 가우시안 분포를 곱하는 구조이므로 다중 모달(다중 피크) 분포를 표현하지 못한다는 한계가 있다. 저자는 이를 보완하기 위해 “generalized product of mixture of Gaussian processes”와 같이 곱과 혼합을 결합한 모델을 향후 연구 과제로 제시한다. 또한, 엔트로피 변화 외에 KL 발산 등 다른 신뢰도 측정 방법을 탐색하고, 엔트로피 변화가 충분히 크더라도 모델 오차가 심한 경우 신뢰도가 떨어질 수 있다는 역방향 사례에 대한 이론적 분석이 필요함을 언급한다. 결론적으로, gPoE는 (i) 독립적 병렬 학습, (ii) 입력 의존적 가중치, (iii) 확률적 정합성, (iv) 불안정 전문가 억제라는 네 가지 핵심 요구를 모두 만족하는 실용적인 전문가 결합 프레임워크이다. 대규모 GP 앙상블, 자동 모델 선택, 그리고 다른 희소 GP 기법과의 결합 등에 널리 활용될 가능성이 높다.