대규모 데이터 시각화를 위한 O(N log N) t‑SNE 구현: Barnes‑Hut‑SNE

본 논문은 고차원 데이터의 구조를 저차원으로 시각화하는 데 널리 사용되는 t‑SNE 알고리즘의 계산 복잡도를 크게 낮춘 새로운 구현인 Barnes‑Hut‑SNE를 제안한다. 기존 t‑SNE는 입력 데이터와 임베딩 공간 모두에서 N × N 규모의 유사도 행렬을 구성하고, 이를 기반으로 KL‑divergence를 최소화하기 위해 모든 포인트 쌍 사이의 attractive 및 repulsive force를 계산한다. 이 과정은 시간·메모리 복잡도가 O(N²)이며, 수천 개 정도의 샘플에만 실용적이었다. 저자들은 두 가지 핵심 아이디어로 이 문제를 해결한다. 첫 번째는 입력 고차원 공간에서의 유사도 행렬 P를 희소화하는 것이다. Vantage‑Point 트리를 구축해 각 포인트마다 perplexity u에 해당하는 최근접 이웃 b·u(보통 b≈3)를 찾고, 이 이웃들에 대해서만 Gaussian 커널 기반의 p_{ij}를 계산한다. 이렇게 하면 전체 유사도 행렬의 비제로 원소 수가 O(u N)으로 감소하고, 트리 구축·검색 비용은 O(u N log N)이다. 두 번째는 임베딩 공간에서의 repulsive force를 근사하는 것이다. t‑SNE의 repulsive term은 Student‑t 커널을 사용한 N‑body 상호작용으로 볼 수 있다. 저자들은 천체 물리학에서 N‑body 문제를 해결하기 위해 고안된 Barnes‑Hut 알고리즘을 차용한다. 임베딩 포인트들을 2‑D 쿼드트리(또는 3‑D 옥트리)로 분할하고, 각 셀에 질량 중심(y_cell)과 포인트 수(N_cell)를 저장한다. 트리 탐색 시, 셀‑포인트 거리와 셀 크기의 비율이 θ보다 작으면 셀 전체를 하나의 질량점으로 요약해 힘을 계산한다. 이 요약 기준은 k·‖y_i − y_cell‖ / r_cell < θ 로 정의되며, θ는 사용자가 조절 가능한 정확도‑속도 파라미터이다. 요약된 셀에 대해 repulsive force는 N_cell·q_{i,cell}·(y_i − y_cell) 형태로 계산되며, 전체 repulsive term은 O(N log N) 시간에 근사된다. 논문은 또한 dual‑tree 알고리즘을 실험했지만, 셀‑셀 상호작용을 관리하는 추가 비용 때문에 최종 구현에서는 Barnes‑Hut 방식을 채택했다. 실험에서는 네 가지 데이터셋(MNIST, CIFAR‑10, NORB, TIMIT)을 사용해 성능을 평가했다. 모든 실험에서 초기 임베딩은 작은 분산을 가진 Gaussian으로 초기화하고, 1 000번의 gradient descent를 수행했으며, perplexity는 30, 초기 학습률은 200, 모멘텀은 0.5→0.8로 설정했다. 결과는 다음과 같다. (1) 계산 시간: θ = 0.5일 때 MNIST 70 k 샘플을 약 200초, CIFAR‑10 70 k 샘플을 약 300초, TIMIT 1 M 샘플을 약 5 분에 임베딩했다. 표준 t‑SNE는 동일한 규모에서 수시간에서 수일이 걸렸다. (2) 정확도: 1‑NN 오류는 θ를 0.5에서 0.8까지 늘려도 1‑2% 정도만 증가했으며, 시각적 클러스터링 품질은 거의 동일했다. (3) 메모리 사용량: 희소 P와 O(N) 크기의 쿼드트리 덕분에 메모리 요구량이 O(N) 수준으로 감소했다. 종합적으로, Barnes‑Hut‑SNE는 기존 t‑SNE의 시각화 품질을 유지하면서 수백만 개 데이터까지 확장 가능한 실용적인 솔루션을 제공한다. 또한, Vantage‑Point 트리와 Barnes‑Hut 근사의 조합이 고차원 데이터 분석에 있어 효율적인 N‑body 근사 방법으로 활용될 가능성을 보여준다.