정확한 추정기로 향상된 최소 해시와 b비트 최소 해시

본 논문은 고차원 0/1 벡터(집합) 간 유사도 추정에 널리 사용되는 최소 해시(minwise hashing)와 최근 제안된 b비트 최소 해시(b‑bit minwise hashing)의 추정 정확도를 근본적으로 개선하는 방법을 제시한다. 첫 번째 부분에서는 기존 최소 해시에서 흔히 사용되는 추정식 ˆR_M = (1/k)∑_{j=1}^k 1{min(π_j(S₁))=min(π_j(S₂))} 가 실제 데이터에서 비효율적임을 지적한다. 이 식은 두 집합의 크기 f₁, f₂ 가 동일할 때만 최적이며, 실무에서는 f₁/f₂ 비율이 크게 변동한다(예: 웹스팸 데이터에서 평균 5.5, 표준편차 9.5). 따라서 동일 사건만 이용하면 불필요한 분산이 발생한다. 이를 해결하기 위해 저자들은 세 가지 상호배타적 사건을 정의한다. - P₌ : 최소 해시값이 동일할 확률 = a/(f₁+f₂−a) = R (Resemblance) - P_< : 첫 번째 집합의 최소값이 더 작을 확률 = (f₁−a)/(f₁+f₂−a) - P_> : 두 번째 집합의 최소값이 더 작을 확률 = (f₂−a)/(f₁+f₂−a) 여기서 a는 교집합 크기이며, 세 사건은 다항분포를 이룬다. 각각의 관측 횟수 k_=, k_<, k_>는 k·P₌, k·P_<, k·P_> 의 기대값을 갖는다. 이를 기반으로 교집합 크기 a에 대한 무편향 추정량 ˆa_=, ˆa_<, ˆa_> 를 도출하고, 분산식을 (13)–(15) 로 제시한다. 하지만 a는 사전에 알 수 없으므로, 전체 다항분포의 로그우도 L(a)=k_=logP₌+k_logP_> 를 미분해 0이 되는 â_MLE 를 구한다. 이 식은 k = f₁+f₂·a − k_<·(f₂/(f₁−a)) − k_>·(f₁/(f₂−a)) = 0 과 같이 정리되며, 수치해석을 통해 해결한다. â_MLE 는 대규모 k 에 대해 편향이 0에 수렴하고, 분산은 (17) 로 표현된다. 이 분산은 기존 추정기보다 항상 작으며, 특히 f₂/f₁ < 0.5 이고 포함도 T = a/f₂ ≈ 1 일 때 100배까지 감소한다. 실험에서는 웹스팸 데이터와 실제 웹 크롤링에서 추출한 두 단어 집합(A‑THE, THIS‑PERSON)을 대상으로 시뮬레이션을 수행하였다. MSE 결과는 â_MLE 가 â_= 에 비해 1~2 자릿수 낮은 값을 보였으며, 이론적 분산과도 일치하였다. 이는 MLE 가 실무에서도 실질적인 성능 향상을 제공함을 입증한다. 두 번째 부분에서는 b비트 최소 해시를 다룬다. 기존 연구는 “하위 b비트가 동일할 확률” P_b,= 만을 이용해 R(또는 s=a/D) 을 추정했으며, 이는 전체 정보의 일부만 활용한다는 한계가 있다. 저자들은 전체 2^b×2^b 비트 조합 확률 P_b,(t,d) 를 명시적으로 도출한다. 여기서 t, d는 각각 S₁, S₂ 의 최소 해시값의 하위 b비트이며, r₁=f₁/D, r₂=f₂/D, s=a/D 로 표현한다. 식 (19)–(21) 은 P_<, P_>, P_= 를 포함한 전체 확률을 제시한다. 이 다항모델에 대해 역시 MLE 를 적용한다. 그러나 2^b·2^b 개의 셀을 모두 사용하면 계산량이 급증하므로, 저자들은 계산 효율성을 고려한 다섯 단계의 추정기를 제안한다. 1. ˆs_{b,f} : 전체 2^b·2^b 셀을 이용한 완전 MLE (가장 정확하지만 가장 비용이 많이 듦) 2. ˆs_{b,do} : 대각선 2^b 셀과 두 개의 합계 셀(P_<, P_>)을 이용한 MLE (정확도와 비용의 균형) 3. ˆs_{b,d} : 대각선 2^b 셀만 이용한 MLE (계산량 감소) 4. ˆs_{b,=} : 기존 방식인 P_b,= 만 이용한 추정기 (가장 단순) 5. ˆs_{b,≈} : P_b,= 와 P_<, P_> 를 합친 간소화 추정기 시뮬레이션 결과는 b=4~8 일 때 ˆs_{b,do} 가 ˆs_{b,=} 보다 평균 2~5배 낮은 분산을 보이며, 특히 저유사도 영역에서 차이가 크게 나타난다. 따라서 저장 비용은 그대로 유지하면서 추정 정확도를 크게 향상시킬 수 있다. 논문의 주요 기여는 다음과 같다. - 최소 해시와 b비트 최소 해시의 추정 문제를 3‑cell(또는 2^b·2^b‑cell) 다항분포로 재구성함. - 전체 사건을 활용한 최대우도추정(MLE)을 도입해 기존 편향·분산 문제를 근본적으로 해결함. - 포함도(Containment) 추정에 대한 명시적 분석을 제공, 저유사도·고포함 상황에서 큰 이득을 확인함. - 다양한 실험을 통해 이론적 분산 감소가 실제 데이터에서도 실현됨을 입증함. 이러한 결과는 검색, 데이터베이스, 머신러닝 등에서 대규모 집합 유사도 계산이 필요한 모든 응용 분야에 적용 가능하며, 특히 저장·전송 비용이 제한된 환경에서 b비트 해시와 결합된 고정밀 추정기로 기존 방법을 대체할 수 있는 실용적인 대안을 제시한다.