차원의 저주를 풀다 해싱과 최적화로 이산 적분

본 논문은 고차원 이산 공간에서 정의된 가중치 합, 즉 파티션 함수 W=∑_{σ∈Σ}w(σ)를 근사하는 새로운 알고리즘 WISH(Weighted‑Integrals‑and‑Sums‑By‑Hashing)를 제안한다. 전통적인 샘플링 기반 추정은 차원의 저주로 인해 샘플 수가 지수적으로 증가하고, 변분 방법은 정확도에 대한 이론적 보장이 부족한 반면, WISH는 무작위 해시 함수를 이용해 탐색 공간을 균등하게 절삭하고, 절삭된 각 서브스페이스에서 최대 가중치를 찾는 제한된 수의 최적화(또는 MAP) 질의를 수행한다. 핵심 구성 요소는 다음과 같다. 1. **해시 함수와 파라티 제약**: A∈{0,1}^{i×n}, b∈{0,1}^i 로 정의된 선형 파라티 제약 Aσ=b (mod 2)를 이용해 Σ를 2^i개의 버킷으로 무작위 분할한다. 이 해시 함수는 pairwise independent 특성을 가지며, 각 버킷에 속한 구성들의 수가 평균적으로 2^{n−i}가 되도록 보장한다. 2. **최적화 오라클**: 각 해시 샘플에 대해 “버킷 안에서 가장 무거운 구성” σ_i^* = argmax_{σ: Aσ=b} w(σ) 를 구한다. 이는 MAP 질의와 동일한 형태이며, 현대 SAT·MIP·ILP 솔버가 효율적으로 처리할 수 있다. 3. **중앙값 기반 추정**: 동일 레벨 i에 대해 T=Θ(log n·log 1/δ) 번의 독립 해시 샘플을 생성하고, 각 샘플에서 얻은 최대 가중치 w_i^{(t)} 의 중앙값 M_i 를 계산한다. 중앙값은 이상치에 강인하며, Chernoff 경계와 해시의 독립성으로부터 M_i 가 2^i번째 순위 가중치 b_i 를 (1±ε) 범위 안에 포함한다는 확률적 보장을 얻는다. 4. **수직 슬라이스 합산**: b_i 를 이용해 W를 수직 슬라이스 형태로 근사한다. 구체적으로, W≈M_0 + Σ_{i=0}^{n−1} 2^i·(M_i−M_{i+1}) 로 계산한다. 이 식은 각 슬라이스의 면적을 2^i 배로 스케일링한 것이며, b_i 를 α‑근사하면 전체 합은 2α‑근사한다. 이론적 분석에서는 다음을 증명한다. - **정확도**: 알고리즘이 반환하는 값 \hat{W}는 확률 1−δ 로 실제 W의 상수 배(구체적으로 4·α) 안에 존재한다. - **복잡도**: 최적화 호출 횟수는 Θ(n log n log 1/δ) 로, 각 호출은 기존 MAP 솔버에 위임 가능하므로 전체 시간 복잡도는 다항 시간이다. 이는 #P‑완전 문제를 BPP^NP 수준의 확률적 알고리즘으로 해결한다는 복잡도 이론과 일치한다. 실험에서는 세 가지 도메인에 적용하였다. 1. **무작위 클리크 구조 이징 모델**: 파티션 함수 값을 정확히 알 수 있는 작은 인스턴스와 비교했을 때, WISH는 평균 1.2배 오차 내에 추정했으며, MCMC나 변분 방법보다 훨씬 빠르고 안정적이었다. 2. **격자형 이징 모델**: 알려진 정확한 파티션 값을 기준으로, WISH는 5% 이내의 상대 오차를 보였으며, 특히 높은 온도 구간에서 MCMC가 수렴하지 못하는 경우에도 일관된 결과를 제공했다. 3. **Sudoku 퍼즐 (조합 최적화)**: Sudoku를 0‑1 변수와 제약식으로 모델링하고, 파티션 함수를 “가능한 해의 수”로 해석하였다. 기존 카운팅 기법이 불가능한 상황에서 WISH는 10^3 ~ 10^5 범위의 해 수를 정확히 추정하였다. 또한, 각 레벨의 최적화는 완전히 독립적이므로 GPU 클러스터나 클라우드 환경에서 수천 개의 MAP 질의를 동시에 수행할 수 있다. 중간 결과를 이용해 “anytime” 형태로 점진적 근사를 제공하므로, 제한된 시간 안에서도 유용한 추정값을 얻을 수 있다. 결론적으로, 이 논문은 해시 기반 샘플링과 강력한 최적화 오라클을 결합함으로써 고차원 이산 적분 문제에 대한 실용적이고 이론적으로 보장된 솔루션을 제시한다. 특히 MAP 질의를 효율적으로 제공할 수 있는 도메인(그래픽 모델, 조합 최적화, 이산 물리 모델 등)에서 파티션 함수 추정, 마진 계산, 모델 선택 등에 혁신적인 접근법을 제공한다.