b비트 최소해시로 200GB 데이터 로지스틱 회귀와 SVM 학습

본 연구는 대규모 고차원 데이터셋에 대한 효율적인 차원 축소와 학습 방법을 모색한다. 기존에 저자들이 제안한 b‑bit 최소해시(b‑bit minwise hashing) 알고리즘은 64비트 전체 해시값 대신 최하위 b비트만 저장함으로써 저장 공간을 크게 절감하면서도 집합 유사도 추정에 필요한 통계적 특성을 유지한다. 이론적으로 b‑bit 최소해시의 추정 분산은 전통적인 minwise hashing보다 훨씬 작으며, VW(Vowpal Wabbit) 해시가 갖는 분산과 동일하게 random projection에 비례한다는 점을 이전 연구에서 밝혀냈다. 하지만 기존 실험은 24GB 규모의 웹스팸 데이터에 국한돼 있었고, 산업 현장에서 사용되는 수백 테라바이트 규모의 데이터와는 차이가 있었다. 이를 보완하기 위해 저자들은 RCV1 데이터를 기반으로 원본 피처와 모든 2‑차 조합, 1/30 비율의 3‑차 조합을 추가해 차원 수가 10⁹ 수준인 200GB 데이터셋을 생성하였다. 이 데이터는 67,739,910개의 샘플과 평균 7,424개의 비제로 피처를 포함한다. 전처리 단계에서는 각 샘플에 대해 k개의 독립적인 랜덤 순열을 적용하고, 각 순열 결과의 최하위 b비트를 추출한다. 이렇게 얻은 (k·b) 비트 정보를 2ᵇ·k 차원의 희소 벡터로 확장해 LIBLINEAR에 입력한다. 실험에서는 k를 30부터 500까지, b를 1,2,4,8,12,16으로 변동시키며 SVM과 로지스틱 회귀를 학습하였다. 결과는 다음과 같다. 1. 정확도 측면: k=30, b=12일 때 테스트 정확도가 90%를 초과했으며, b=16이면 92%에 근접했다. 동일 정확도를 VW 해시로 얻기 위해서는 k=2¹⁴(≈16384)까지 필요했다. 이는 동일 저장 용량(비트 수) 대비 b‑bit 최소해시가 훨씬 높은 효율성을 보인다는 것을 의미한다. 2. 학습 시간 측면: b와 k가 증가함에 따라 학습 시간도 증가했지만, 전체적인 트레이닝 시간은 데이터 로딩 시간과 비슷하거나 그보다 짧았다. 특히 GPU를 이용해 해시값을 생성하면 전처리 시간이 전체 로딩 시간의 1/7 이하로 감소했다. 3. 해시 함수 선택: 가장 간단한 2‑universal 해시 함수를 사용해 순열을 대체했을 때도 정확도에 차이가 없었다. 이는 실제 시스템에서 복잡한 완전 순열을 저장·관리할 필요가 없으며, 단순 해시 함수만으로도 충분히 좋은 성능을 얻을 수 있음을 시사한다. 4. 파라미터 C에 대한 민감도: SVM과 로지스틱 회귀 모두 C≥1에서 최적 성능을 보였으며, 다양한 C 값을 한 번에 실험할 수 있는 전처리된 데이터의 재사용성이 큰 장점으로 작용한다. 결론적으로, b‑bit 최소해시 기법은 대규모 고차원 데이터에 대해 저장 효율성, 학습 정확도, 전처리 비용 모두에서 VW 해시보다 우수함을 실증하였다. 또한, GPU 가속 전처리와 기존 LIBLINEAR 같은 솔버와의 호환성을 통해 연구자와 실무자가 손쉽게 적용할 수 있는 실용적인 방법론을 제공한다. 향후 TB 단위 이상의 데이터셋에 대한 추가 실험이 계획되어 있으며, 현재까지의 결과만으로도 산업 현장에서의 대규모 텍스트·검색 데이터 처리에 큰 기대를 걸 수 있다.