대규모 베이지안 엔터티 해석을 위한 분산 블링크(d‑blink)

본 논문은 베이지안 엔터티 해석(Bayesian Entity Resolution, ER) 문제를 대규모 데이터에 적용하기 위한 새로운 모델인 d‑blink(Distributed Bayesian Linkage)을 제안한다. 기존 베이지안 ER 모델은 모든 레코드 쌍을 비교해야 하는 이차적 복잡도 때문에 수십만 건 이상의 데이터에 적용하기 어려웠으며, 이를 해결하기 위해 흔히 사용되는 deterministic blocking(사전 블로킹)은 블록 경계가 고정되어 사후 불확실성 전파가 차단되고, 블록 설계가 부정확하면 매칭 정확도가 크게 떨어지는 단점이 있었다. d‑blink은 이러한 문제점을 근본적으로 해소하기 위해 네 가지 핵심 아이디어를 도입한다. 첫째, **보조 변수(auxiliary variable) 표현**을 도입한다. 레코드와 잠재 엔터티를 블록에 할당하는 이산형 변수 \(z\) 를 모델에 포함시켜, 블록 할당 자체를 확률적 추정 과정에 포함한다. 이 변수는 Gibbs 샘플링 과정에서 다른 파라미터와 동시에 업데이트되며, 블록이 고정되지 않고 데이터에 따라 동적으로 변한다. 논문은 이 보조 변수 도입이 전체 사후 분포 \(\pi(\theta|X)\) 를 보존한다는 정리를 증명함으로써, 블록 설계가 사후 추정에 편향을 주지 않음을 이론적으로 보장한다. 둘째, **k‑d 트리를 이용한 균형 블록 생성** 방법을 제시한다. 레코드의 다차원 속성 공간을 k‑d 트리로 재귀적으로 분할해, 각 블록에 포함되는 레코드 수가 거의 동일하도록 만든다. 이는 클러스터 환경에서 작업 부하를 균등하게 분산시켜, 워커 노드 간의 스케줄링 오버헤드를 최소화한다. 또한, 트리 분할 시 속성별 거리 척도를 활용해 유사 레코드가 동일 블록에 배치될 확률을 높여, 블록 내부 매칭 효율을 극대화한다. 셋째, **분산 부분‑수축 Gibbs 샘플러**를 설계한다. 기존 Gibbs 샘플러는 블록 할당을 고정하고 엔터티 매핑을 순차적으로 업데이트하면서 높은 자기상관을 보였다. d‑blink은 블록 변수 \(z\) 를 조건부로 샘플링하고, 엔터티 매핑 \(\lambda\) 를 부분‑수축(partially‑collapsed) 방식으로 업데이트한다. 즉, \(\lambda\) 를 샘플링할 때 블록 변수와 일부 하이퍼파라미터를 통합해 사후 분포의 변동성을 감소시켜, 믹싱 속도를 크게 향상시킨다. 실험에서는 동일한 이터레이션 수에서 기존 Gibbs 대비 5‑10배 빠른 수렴을 확인했다. 넷째, **연산 효율성을 위한 추가 최적화**를 적용한다. 블록 내부 레코드 쌍 비교를 빠르게 수행하기 위해 해시 테이블, 비트맵 등 인덱싱 구조를 활용하고, 새로운 교란 샘플링(perturbation sampling) 알고리즘을 도입해 블록 내 업데이트 비용을 O(1) 수준으로 낮춘다. 이러한 설계 덕분에 전체 파이프라인을 Apache Spark 기반으로 구현했으며, 오픈소스 패키지와 R 인터페이스를 제공해 실무자와 연구자가 손쉽게 활용할 수 있다. 실험에서는 두 개의 합성 데이터셋과 세 개의 실제 데이터셋, 그리고 2010년 미국 인구조사와 행정 데이터의 결합 사례를 포함한 총 6개 데이터셋을 대상으로 성능을 평가했다. d‑blink은 기존 blink 모델 대비 평균 300배 이상의 실행 시간 감소를 보였으며, 정확도(F1 점수)에서는 블록 설계에 따른 손실이 거의 없었다. 특히 인구조사 사례에서는 블록 간 중복을 최소화하면서도 미확인 레코드 매칭을 성공적으로 수행해, 정책 분석에 바로 활용 가능한 고품질 사후 분포를 제공했다. 결론적으로 d‑blink은 **확률적 블로킹 + k‑d 트리 기반 균형 블록 + 부분‑수축 Gibbs + 분산 구현**이라는 네 축을 결합해 베이지안 ER의 이론적 완전성과 실용적 확장성을 동시에 달성한 프레임워크이다. 이는 대규모 행정·통계 데이터 통합, 의료 기록 매칭, 인구 조사 등 다양한 분야에서 정확한 불확실성 전파와 고속 연산을 동시에 요구하는 상황에 적용 가능하며, 향후 베이지안 클러스터링·마이크로클러스터링 모델에도 확장될 여지를 제공한다.