초고속 적색편이 군집화: 바이어 초거리와 SDSS 데이터 적용

본 논문은 데이터 과학과 천문학 분야에서 빈번히 발생하는 대규모 연속형 변수의 군집화 문제를 새로운 관점에서 접근한다. 기존의 병합형 계층 군집(agglomerative hierarchical clustering)은 모든 쌍에 대한 거리 계산을 필요로 하여 O(n²) 시간 복잡도를 갖는다. 저자들은 이 한계를 극복하기 위해 바이어 거리(Baire distance)를 도입한다. 바이어 거리는 두 실수값을 소수점 이하 자리수까지 문자열로 표현하고, 두 문자열이 공유하는 가장 긴 공통 접두사의 길이를 기반으로 정의된다. 구체적으로, x와 y가 동일한 첫 번째 자리부터 k번째 자리까지 일치하면 d_B(x,y)=2^{−k}; 일치하지 않으면 1이다. 이 정의는 초계량(ultrametric) 성질을 만족하며, 트리 형태의 p‑adic(또는 m‑adic) 코딩과 동등하게 해석될 수 있다. 알고리즘은 다음과 같이 동작한다. 먼저 데이터 집합의 각 원소를 정해진 정밀도(예: 소수점 이하 3자리)까지 문자열로 변환한다. 그 후, 첫 번째 자리(0~9)마다 10개의 빈을 만들고, 각 빈 안에 다시 두 번째 자리별 10개의 하위 빈을 만든다. 이 과정을 원하는 정밀도 ℓ까지 반복하면 최대 10^{ℓ}개의 노드가 생성된다. 각 데이터 포인트는 자신의 자리수에 해당하는 빈에 한 번만 삽입되므로 전체 연산은 n·ℓ, 즉 O(n)이다. 이 방법을 SDSS(Sloan Digital Sky Survey) 데이터에 적용한다. SDSS는 100 백만 개 이상의 천체를 관측했으며, 그 중 약 50만 개에 대해 스펙트럼 적색편이(z_spec)와 포토메트릭 적색편이(z_phot)가 제공된다. 저자들은 z_spec와 z_phot를 0~1 구간으로 정규화하고, 최대 4자리까지의 소수점 이하를 사용해 바이어 클러스터링을 수행했다. 클러스터링 결과는 접두사 일치 정도에 따라 계층적으로 구분된다. 예를 들어, 첫 번째 자리(정수부)만 일치하는 경우가 전체의 61.14%를 차지하고, 두 번째 자리까지 일치하는 경우가 19.40%, 세 번째 자리까지 일치하는 경우가 2.07%이다. 특히 3자리까지 일치하는 데이터는 전체의 21.7%에 해당하며, 이들 사이에서는 z_spec와 z_phot 간의 상관관계가 매우 높다. 클러스터별로 평균 z_spec와 z_phot 차이를 계산하고, 동일 클러스터 내에서 최근접 이웃 회귀(clusterwise nearest neighbor regression)를 적용한다. 이는 각 클러스터에 대해 개별적인 선형 변환 혹은 비선형 매핑 함수를 학습하게 하여, 전역적인 모델보다 지역적인 특성을 더 정확히 반영한다. 실험 결과, 바이어 기반 로컬 회귀는 전통적인 선형 회귀나 다층 퍼셉트론보다 동일 데이터에 대해 평균 절대 오차가 약 15% 감소했으며, 연산 시간은 O(n) 덕분에 기존 O(n²) 방법 대비 30배 이상 빠르게 수행되었다. 또한, 저자들은 바이어 초계량이 데이터 압축과 연관된다는 점을 강조한다. 동일 접두사를 공유하는 문자열은 서로를 부분적으로 압축할 수 있어, 메모리 사용량을 크게 절감한다. 실제 구현에서는 대부분의 빈이 비어 있어 트리는 매우 희소(sparse)하며, 메모리 요구량은 n·ℓ에 비례한다. 논문은 마지막으로 바이어 거리 기반 군집화가 k‑means와 유사한 군집 구조를 재현하지만, 거리 계산이 필요 없고 트리 탐색만으로 군집을 형성한다는 장점을 제시한다. 따라서 대규모 천문 데이터베이스에서 실시간 질의, 빠른 매핑, 그리고 지역적 회귀 모델 구축에 적합한 방법으로 평가된다. 향후 연구 방향으로는 다른 연속형 과학 데이터(예: 기후 모델링, 유전체 데이터)에도 적용 가능성을 탐색하고, 다중 변수(다차원) 상황에서의 확장성을 검토한다.