위어스트라스 변환 기반 병렬 MCMC 샘플러

본 논문은 “Parallelizing MCMC via Weierstrass Sampler”라는 제목으로, 대규모 베이지안 추론에서 데이터 전체를 하나의 MCMC 체인으로 처리하기 어려운 문제를 해결하고자 한다. 저자들은 데이터를 m개의 비중첩 부분집합 X₁,…,X_m 으로 나눈 뒤, 각 부분집합에 대해 독립적으로 MCMC를 실행한다. 이때 각 부분집합의 사후분포를 f_i(θ)=p(θ|X_i) 라고 하면, 전체 사후는 독립곱식 p(θ|X)∝∏_{i=1}^m f_i(θ) 로 표현된다. 그러나 이 곱을 직접 샘플링하는 것은 고차원에서 계산적으로 불가능하고, 기존 연구는 (a) 각 f_i를 평균하여 근사하거나, (b) 커널 밀도 추정(KDE)을 통해 연속적인 밀도로 변환한 뒤 곱을 취하는 방식을 사용했다. 평균법은 부분집합 사후가 거의 정규일 때만 유효하고, KDE는 차원 저주와 부분집합 사후가 겹치지 않는 경우에 큰 오차를 발생시킨다. 이를 극복하기 위해 저자들은 1885년 위어스트라스가 제안한 위어스트라스 변환을 차용한다. 위어스트라스 변환은 함수 f에 가우시안 커널 K_h를 컨볼루션함으로써 부드러운 함수 W_h f를 만든다. 변환 후의 함수는 h→0 일 때 원래 함수로 수렴한다는 성질을 갖는다. 논문에서는 각 부분집합 사후 f_i에 위어스트라스 변환을 적용해 W_{h_i} f_i(θ)=∫K_{h_i}(θ−t_i) f_i(t_i)dt_i 로 정의하고, 이 변환된 밀도들의 곱을 다시 정규화하면 전체 사후의 근사밀도 ˜f(θ)∝∏_{i=1}^m W_{h_i} f_i(θ) 가 된다. 수학적 분석에서는 먼저 1차원 경우에 대해 정리 1을 제시한다. 가정은 (i) 각 f_i가 두 번 미분 가능하고 (ii) 커널 K가 유한한 2차 모멘트를 갖는 경우이다. 이때 h_i가 충분히 작아 h²=∑_{i=1}^m h_i² ≤c₀⁻¹이면, 전체 사후와 근사밀도 사이의 총변동거리 TV(f,˜f) ≤2 r₀ r₁⁻¹ h² 로 상한이 잡힌다. 여기서 r₀는 f_i들의 최대값과 다른 부분집합 사후들의 적분값에 의존하고, r₁은 커널의 2차 모멘트와 최대값에 의해 결정된다. 다변량 확장도 동일한 형태의 정리 3.1 로 제시되며, 커널 공분산 행렬 H_i의 트레이스가 h²에 대응한다. 중요한 점은 이 오차 상수가 샘플 크기 N에 의존하지 않으며, 오직 밴드폭 파라미터에만 의존한다는 것이다. 이론적 근거를 바탕으로 실제 샘플링 알고리즘을 설계한다. 알고리즘 1은 다음 단계로 구성된다. (1) 전체 사후에 대한 초기 근사 ˆf(θ) (라플라스 근사, 변분 근사 등)를 구하고, 여기서 N개의 초기 θ_k 를 샘플링한다. (2) 각 부분집합 i 에 대해 병렬로 N개의 t_i^{(k)} 를 샘플링한다. 이때 t_i^{(k)}는 조건부 분포 dN(t_i|θ_k, H_i)·f_i(t_i) 에서 추출한다. (3) 모든 t_i^{(k)} 를 모아 평균 ȳ^{(k)}=∑_i w_i t_i^{(k)} (w_i∝H_i⁻¹) 를 계산하고, 새로운 θ̃^{(k)} 를 N(ȳ^{(k)}, (∑_i H_i⁻¹)⁻¹) 로 샘플링한다. (4) 위 과정을 한 번 수행하면 초기 근사와 실제 사후 사이의 거리 ‖f₁−˜f‖가 (1−η)‖f₀−˜f‖ 로 감소함을 정리 2가 보장한다. η는 초기 분포와 무관하게 양의 상수이며, 반복 적용 시 기하급수적 수렴이 기대된다. 밴드폭 H_i 선택은 두 가지 고려사항이 있다. 첫째, H_i가 작을수록 위어스트라스 변환의 근사오차가 작아져 전체 사후와의 차이가 감소한다. 둘째, H_i가 너무 작으면 Gibbs 샘플러의 혼합 속도가 느려져 실제 계산 비용이 증가한다. 저자들은 Fukunaga(1972)의 최적 밴드폭 공식을 차용해 전체 사후에 대한 최적 H₀≈((p+2)/4)^{−2/(p+4)} N^{−2/(p+4)} Σ̂ 로 정의하고, 초기 H_i를 m·H₀ 로 설정한다. 정제 과정이 진행될수록 H_i를 m⁻¹·H₀ 수준으로 축소함으로써 초기 단계에서는 넓은 커널로 빠른 혼합을, 후반부에서는 좁은 커널로 정확한 근사를 달성한다. 실험에서는 (i) 선형 회귀 모델, (ii) 로지스틱 회귀, (iii) 다변량 정규 모델, (iv) 베이지안 혼합 모델 등 네 가지 시나리오를 사용하였다. 각 실험에서 m=5,10,20 등 다양한 부분집합 수와 차원 p=5~100을 변동시켰으며, 위어스트라스 샘플러는 평균법과 KDE 기반 결합에 비해 평균 제곱 오차(MSE), KL 발산, 그리고 예측 정확도 면에서 일관되게 우수한 성능을 보였다. 특히 고차원 비정규 상황에서 KDE는 샘플 수가 급격히 늘어나야 하는 반면, 위어스트라스 샘플러는 밴드폭만 적절히 조정하면 안정적인 근사를 제공하였다. 결론적으로, 위어스트라스 변환을 활용한 병렬 MCMC 프레임워크는 (1) 커널 스무딩의 차원 저주를 회피하고, (2) 부분집합 사후 간 겹침 부족 문제를 완화하며, (3) 이론적으로 제어 가능한 오차 한계를 제공한다는 세 가지 핵심 장점을 가진다. 이 방법은 대규모 데이터 환경에서 통신 비용을 최소화하면서도 정확한 베이지안 추론을 수행하고자 하는 실무자와 연구자에게 실용적인 대안을 제시한다.