정보 효율적인 전역 최적화를 위한 엔트로피 탐색

본 논문은 전역 최적화 문제를 확률적 프레임워크로 재정의하고, 정보 이득을 극대화하는 새로운 알고리즘 “Entropy Search”(엔트로피 탐색)를 제안한다. 전통적인 전역 최적화는 함수값 자체를 최소화하려는 “밴딧” 접근과 달리, 여기서는 최소점 x_min의 위치에 대한 불확실성을 직접 모델링하고, 그 불확실성을 최소화하는 것이 목표이다. 이를 위해 먼저 함수 f에 대한 사전을 가우시안 프로세스(GP)로 설정한다. GP는 평균 함수 m(x)와 커널 k(x,x′)에 의해 정의되며, 관측값 y_i = f(x_i)+ε_i (ε_i∼N(0,σ_n²)) 를 통해 사후 GP를 얻는다. 사후 GP는 새로운 관측점이 추가될 때마다 평균 μ(x)와 공분산 Σ(x,x′)가 갱신된다. 다음으로, 최소점에 대한 확률 분포 p_min(x) = P