다중 영역 샘플링과 베이지안 네트워크 구조 추론

본 논문은 다중 모드 후방분포를 효과적으로 요약하고 샘플링하기 위한 새로운 프레임워크를 제시한다. 전통적인 베이지안 추론에서는 사후분포 p(θ|y) 의 평균이나 기타 무조건적 기대값을 Monte Carlo 샘플로부터 추정한다. 그러나 사후분포가 여러 국소 최적점(모드)을 갖는 경우, 평균은 실제 데이터 생성 메커니즘을 반영하지 못하고, 해석이 어려워진다. 이를 해결하고자 저자는 샘플 공간을 각 모드의 “흡인 영역”(domain of attraction) 으로 분할하고, 각 영역별 확률 질량 λ_k 와 조건부 기대값 μ_{h,k} 를 동시에 추정하는 “도메인 기반 표현(DR)”을 정의한다. DR은 정의상 2×K 배열이며, 전체 기대값은 λ_k·μ_{h,k} 의 합으로 분해된다. 이때 K는 전체 모드 수이며, 실제 관심 있는 모드가 많지 않을 경우 중요한 영역만 선택해 요약할 수 있다. 그러나 DR을 정확히 추정하려면 모든 영역에서 충분한 샘플이 필요하다. 기존 MCMC 방법은 저밀도 경계에서 전이 확률이 거의 0에 가깝기 때문에, 일부 모드에 대한 샘플이 거의 수집되지 않는다. 이에 저자는 “다중‑도메인(Multi‑Domain, MD) 샘플러”를 고안한다. 핵심 아이디어는 (1) 샘플 공간을 두 단계로 파티셔닝하고, (2) 각 파티션에 가중치를 부여해 인위적으로 균등한 방문 빈도를 만들며, (3) 로컬 이동과 전역 이동을 혼합해 저밀도 영역을 효율적으로 통과하도록 설계한다. 첫 번째 파티션은 앞서 정의한 도메인 인덱스 I_M(x) 로, 각 점이 어느 모드 ν_k 로 수렴하는지를 나타낸다. 두 번째 파티션은 로그 밀도 구간 H_1>…>H_L 로 정의된 J(x) 로, 밀도 수준에 따라 서브 영역을 만든다. 이렇게 하면 전체 공간은 (M+1)×L 개의 서브 영역 D_{kj} 로 나뉜다. 각 서브 영역에 가중치 w_{kj} 를 부여해 수정된 목표 밀도 p(x;W) ∝ p(x)·exp(w_{kj})·1_{x∈D_{kj}} 를 만든다. 이상적인 가중치 W* 은 각 서브 영역의 실제 질량과 일치하도록 설정되며, 이때 샘플은 모든 도메인에 대해 거의 동일한 비율로 수집된다. 가중치 업데이트는 Wang‑Landau 알고리즘을 변형한 형태로, 매 반복마다 현재 샘플이 속한 D_{kj} 의 방문 횟수를 기록하고, 감소 스케줄 γ_t 를 적용해 w_{kj} 를 조정한다. γ_t 가 충분히 작아지면 가중치는 수렴하고, 이후 샘플링은 고정된 p(x;W*) 를 목표로 진행된다. 샘플 제안 단계에서는 두 가지 제안을 혼합한다. (a) 로컬 제안 q(x,y) 은 현재 위치 주변에서 작은 변동을 만들며, (b) 전역 제안 r(y;ν_k,V_k) 은 현재 도메인에 대한 모드 ν_k 와 그 공분산 V_k 를 이용해 새로운 후보를 생성한다. 전역 제안은 “모드 기반 점프”라고 할 수 있으며, 저밀도 경계에서도 큰 폭의 이동을 가능하게 한다. 두 제안은 확률 p_mx 로 섞어 사용한다. 알고리즘은 다음과 같이 진행된다. 초기 가중치 W_1, 파라미터 V_1k, 초기 상태 X_1 을 설정하고, 매 반복 t 에서 (1) 제안 Y 를 생성, (2) Y 의 로그 밀도 구간 J(Y) 와 gradient descent 로 도메인 I_M(Y) 를 판단, (3) Metropolis‑Hastings 비율을 계산해 p(x;W_t) 를 목표로 수용 여부를 결정, (4) 수용된 경우 X_{t+1}=Y, 아니면 X_{t+1}=X_t, (5) 방문한 D_{kj} 에 대해 w_{kj} 를 업데이트한다. 수렴 이론은 두 부분으로 증명된다. 첫째, 가중치 업데이트는 Robbins‑Monro 조건을 만족하므로 W_t → W* (a.s.) 로 수렴한다. 둘째, 고정된 W* 에 대해 MH 알고리즘은 에르고딕하고 기하급수적으로 수렴한다. 실험에서는 먼저 2차원 인공 데이터(세 개의 모드)에서 MD 샘플러가 각 모드에서 거의 동일한 샘플 수를 확보하고, DR을 통해 각 모드의 질량과 평균을 정확히 복원함을 보였다. 전통적 MH는 대부분 한 모드에 머물러 다른 모드의 질량을 크게 과소추정한다. 두 번째 실험은 베이지안 네트워크 구조 학습이다. 단일 세포 단백질‑신호 데이터(수천 개 세포, 11~20개의 단백질)를 이용해 DAG 구조를 추정한다. 사후분포는 매우 다중모드이며, 기존 방법은 평균 그래프(모드 평균)만 제공한다. MD 샘플러는 각 모드별 DAG 집합을 식별하고, 각 모드의 사후 확률 λ_k 와 조건부 기대값 μ_{h,k} (예: 엣지 존재 확률)를 제공한다. 결과적으로 AUROC, AUPRC, 로그우도 등 성능 지표가 크게 향상되었으며, 특히 저밀도 영역에 존재하는 대안적 경로(예: 새로운 인산화 경로)가 발견되어 생물학적 통찰을 제공한다. 논문의 주요 기여는 다음과 같다. 1) 다중 모드 후방분포를 “도메인” 단위로 명시적으로 분할하고, 각 도메인별 요약 정보를 제공하는 DR 개념을 도입. 2) 가중치 기반 이중 파티셔닝과 전역·로컬 혼합 제안을 결합한 MD 샘플러를 설계, 이를 통해 모든 도메인에서 균등 샘플링을 실현. 3) 수렴 이론을 제공하고, 실제 고차원 베이지안 네트워크 학습에 적용해 기존 방법 대비 정확도와 해석력을 크게 향상. 향후 연구 방향으로는 (a) 자동화된 모드 탐지 및 도메인 정의 방법, (b) 비연속 파라미터(예: 그래프 구조)에서 gradient flow 를 정의하는 일반화, (c) 실시간 가중치 조정 및 병렬 구현을 통한 대규모 데이터 적용 가능성 등이 제시된다.