확률 프로그램을 위한 코스투파인 순차적 몬테카를로

본 논문은 확률 프로그래밍 모델을 활용하는 현대 베이지안 추론에서, 순차적 몬테카를로(SMC)와 같은 샘플링 기반 알고리즘이 직면하는 고차원 상태 공간 문제를 해결하고자 한다. 저자들은 모델 자체가 가진 구조적 정보를 이용해, 원본 프로그램을 “코스‑투‑파인”(coarse‑to‑fine) 형태의 다중 레벨 프로그램으로 변환하는 일반적인 알고리즘을 제안한다. 먼저 배경으로 확률 프로그램과 SMC의 기본 개념을 소개한다. 확률 프로그램은 샘플링(sample)과 팩터(factor) 구문을 통해 무작위 선택과 조건부 확률을 기술한다. SMC는 쉬운 분포에서 시작해 점진적으로 목표 분포에 접근하는 일련의 중요도 샘플링 단계와 재샘플링, 필요시 MCMC 재활성화 단계로 구성된다. 이때 단계 간 KL 발산이 작을수록 입자들이 효율적으로 이동한다는 점을 강조한다. 핵심 알고리즘은 사용자 정의 함수 coarsenValue 와 refineValue 를 통해 변수값을 점진적으로 추상화한다. coarsenValue 는 구체적인 값 → 더 거친 값으로 매핑하고, refineValue 는 그 역으로 거친 값 → 가능한 구체값 집합을 반환한다. 이 두 함수는 서로 역함수 관계를 만족해야 하며, 다형적(coarse) 함수를 사용해 변수 종류별 맞춤형 추상화를 지원한다. 변환 과정은 네 가지 요소에 적용된다. 1) 상수와 원시 함수는 그대로 유지하되, 입력이 추상화된 경우 출력도 추상화된 형태로 변환한다. 2) 샘플링 구문은 현재 레벨의 추상화된 값에 조건부로 의존하도록 재정의하고, 원래 분포를 복원하기 위해 조건부 확률을 보정한다. 3) 팩터 구문은 “휴리스틱 팩터”를 삽입해 입자들이 높은 사후 확률 영역을 선호하도록 유도한다. 이 휴리스틱 팩터는 다음 레벨에서 상쇄되는 보정 팩터와 쌍을 이루어 전체 모델의 주변 분포를 변형하지 않는다. 4) 프로그램 주소 체계(address)를 활용해 동일한 랜덤 선택을 서로 다른 레벨에서 일관되게 매핑한다. 이렇게 생성된 코스‑투‑파인 프로그램은 SMC의 단계별 목표 분포가 “N‑coarsest 레벨의 상태 공간”이 되도록 설계된다. 가장 거친 레벨에서는 입자들이 넓은 영역을 탐색하고, 점진적으로 세밀한 레벨로 이동하면서 불필요한 영역을 빠르게 배제한다. 결과적으로 입자 소멸 현상이 감소하고, 재샘플링 비용이 절감된다. 실험에서는 세 가지 모델에 적용하였다. 첫 번째는 격자 기반 이징 모델로, 2×2부터 8×8까지 확장하면서 코스‑투‑파인 SMC가 기존 단일 레벨 SMC 대비 동일 정확도에서 약 30%~50%의 실행 시간 절감을 보였다. 두 번째는 깊이‑대‑시차(depth‑from‑disparity) 모델로, 거친 레벨에서 시차의 전반적 구조를 먼저 추정함으로써 파라미터 탐색 비용을 크게 낮출 수 있었다. 세 번째는 팩터리얼 히든 마코프 모델로, 상태 수가 급증하는 상황에서도 코스‑투‑파인 접근이 입자 다양성을 유지하고, 수렴 속도를 향상시켰다. 제한점으로는 모든 ERP(primitive random primitive)가 서로 독립적이어야 한다는 전제가 있다. 의존 관계가 있는 경우 사전 변환을 통해 최대 엔트로피 ERP로 대체하고, 보정 팩터를 추가해야 한다. 또한, 적절한 coarsenValue 함수를 설계하는 것이 핵심이지만, 자동화된 방법론은 아직 제시되지 않았다. 향후 연구에서는 자동 코스‑투‑파인 설계, 비독립 ERP 처리, 그리고 더 복잡한 모델에 대한 확장성을 탐구할 예정이다. 전반적으로, 이 논문은 확률 프로그래밍 언어의 구조적 정보를 활용해 기존 SMC 알고리즘에 최소한의 수정만으로 코스‑투‑파인 추론을 적용할 수 있는 실용적인 프레임워크를 제공한다는 점에서 의미가 크다.