양자화 기반 초고속 내적 검색

본 논문은 대규모 데이터베이스에서 쿼리와 가장 큰 내적을 갖는 벡터를 빠르게 찾는 문제인 Maximum Inner Product Search(MIPS)를 다루며, 기존의 LSH 기반 방법이 차원 증강과 비대칭 변환을 필요로 하는 한계를 극복하고자 한다. 저자들은 ‘Quantization‑based Inner Product(QUIP)’라는 새로운 접근법을 제안한다. 1. **문제 정의 및 배경** MIPS는 추천 시스템, 대규모 분류 등에서 핵심 연산이며, 브루트포스는 O(nd) 시간 복잡도로 비현실적이다. 기존 연구는 L2‑NNS 혹은 각도 기반 NN으로 변환하거나, Asymmetric Locality Sensitive Hashing(ALSH) 등으로 근사했지만, 이들 방법은 벡터를 고차원으로 확장하거나, 쿼리와 데이터베이스에 서로 다른 변환을 적용해야 하는 복잡성을 가진다. 2. **QUIP 프레임워크** - **서브스페이스 분할**: 입력 벡터를 무작위 퍼뮤테이션 후 K개의 블록(서브스페이스)으로 나눈다. 각 블록은 차원 l = d/K를 가진다. - **코드북 학습**: 각 서브스페이스마다 C개의 코드북 벡터 U^{(k)} ∈ ℝ^{l×C}를 학습한다. 데이터베이스 벡터 x는 서브스페이스 k에서 가장 가까운 코드북 u^{(k)}_{c(x)} 로 근사한다(원‑핫 할당 α^{(k)}_x). - **내적 근사**: 쿼리 q는 양자화되지 않은 원본 형태를 유지한다. 전체 내적은 Σ_{k} q^{(k)T} u^{(k)}_{c(x)} 로 근사되며, 각 서브스페이스별 내적은 사전 계산된 lookup table을 통해 O(1) 시간에 얻는다. 3. **학습 절차** - **데이터베이스 전용 학습**: 쿼리 공분산 Σ_Q^{(k)}를 사용해 Mahalanobis 거리 기반 k‑means를 수행한다. 목표는 기대 제곱 오차 E_{q,x}