저차원 문제를 위한 모델 기반 샘플링 최적화

본 논문은 비용이 매우 높은 블랙박스 함수를 최적화하기 위한 새로운 방법론인 Model Guided Sampling Optimization(MGSO)를 제안한다. 기존의 효율적 전역 최적화(EGO) 알고리즘은 가우시안 프로세스(GP)를 이용해 기대 개선(Expected Improvement, EI) 혹은 확률 개선(Probability of Improvement, PoI)의 최댓값을 구해 소수의 후보만 선택한다. 이러한 접근은 탐색 공간을 제한하고 지역 최소점에 빠질 위험이 있다. MGSO는 이러한 한계를 극복하기 위해 PoI 자체를 확률분포로 해석하고, 전체 인구(N개의 후보)를 샘플링하는 방식을 채택한다. 알고리즘은 다음 단계로 구성된다. 1) 입력 공간에 대한 초기 무작위 샘플을 생성하고 실제 블랙박스 함수를 평가한다. 2) 얻어진 (x, y) 쌍을 데이터베이스에 저장하고, 이를 학습 데이터로 사용해 GP 모델을 구축한다. GP는 평균 ĥf(x)와 표준편차 ŝ(x)를 제공하며, 하이퍼파라미터는 최대우도법으로 최적화한다. 3) 임계값 T(보통 현재 최적값 근처)를 설정하고, PoI_T(x)=Φ((ĥf(x)−T)/ŝ(x))를 계산한다. 4) 이 PoI를 확률밀도처럼 취급해 마코프 체인 혹은 직접 샘플링을 통해 N개의 새로운 후보를 생성한다. 5) GP가 예측한 최소점 x_min을 추가하고, 가장 가까운 샘플과 교체한다. 6) 새 후보들을 실제 함수로 평가하고 데이터베이스를 갱신한다. 7) 일정 조건(예: 공분산 행렬이 거의 반정정밀해지는 경우, 후보 재jection이 빈번한 경우)에서 입력 공간을 현재 최적점 주변의 작은 바운딩 박스로 축소하고, 이를