실용적 EGO, 누거 적용에도 무후회 최적화

본 논문은 노이즈가 없는 베이지안 최적화(Bayesian Optimization, BO)에서 가장 널리 사용되는 알고리즘 중 하나인 EGO(Efficient Global Optimization)의 실무 구현, 즉 작은 양의 누거(ε>0)를 공분산 행렬에 추가한 형태(practical EGO)의 이론적 성능을 정량적으로 분석한다. 1. **배경 및 동기** - 전통적인 EGO는 deterministic GP를 사용해 posterior mean μ₀ₜ와 variance σ₀ₜ²를 계산한다. 그러나 샘플이 서로 가깝게 모이면 공분산 행렬이 ill‑conditioned가 되어 Cholesky 분해가 실패한다. 이를 방지하기 위해 실무에서는 εI 형태의 누거를 추가한다. - 누거는 수치적 안정성을 제공할 뿐 아니라, 최근 연구에서는 GP의 통계적 특성을 개선한다는 점도 보고되었다. 하지만 누거가 포함된 EGO의 누적 후회(regret) 상한은 아직 알려지지 않았다. 2. **문제 정의** - 목표는 f:ℝᵈ→ℝ 라는 블랙박스 함수를 최소화하는 것이며, f는 RKHS H_k(C) 안에 존재하고 ‖f‖_{H_k} ≤ B 로 제한된다. - 순간 후회 rₜ = f(xₜ)−f(x*) ≥ 0, 누적 후회 R_T = Σ_{t=1}^T rₜ 로 정의한다. - EI 획득 함수는 E