실시간 노트북 기반 대규모 소셜 네트워크 커뮤니티 탐색

본 논문은 “실시간 커뮤니티 탐지”라는 목표 아래, 대규모 소셜 네트워크를 단일 상용 노트북에서 처리할 수 있는 시스템을 설계·구현하고, 그 성능을 실증한다. 서론에서는 소셜 그래프가 정부·학계·산업 전반에서 중요한 인사이트를 제공함을 강조하고, 기존의 분산 처리 방식이 복잡하고 유지보수가 어려워 단일 머신 솔루션의 필요성을 제시한다. 데이터 섹션에서는 트위터와 페이스북 두 가지 DSN을 대상으로 데이터를 수집하는 과정을 상세히 설명한다. 트위터는 팔로워 수 10 k 이상인 675 k 계정을 중심으로 전체 팔로워 리스트를 수집해 약 7억 고유 팔로워를 확보했으며, 페이스북 페이지는 450 M 페이지와 700 M 좋아요·댓글 관계를 구축했다. 데이터 수집은 API 레이트 제한을 고려해 여러 접근 토큰을 병렬 활용했으며, 재현성을 위해 부록에 상세 절차를 제공한다. 관련 연구에서는 전통적인 글로벌 커뮤니티 탐지(모듈러리티 최적화, Louvain, BigClam 등)와 로컬 탐지(Personal PageRank, Random Walk 기반) 방법을 비교한다. 대부분의 기존 방법은 대규모 그래프에 적용하려면 클러스터나 그래프 전용 엔진이 필요하고, 실시간 인터랙티브 탐지는 지원하지 않는다. 핵심 방법론은 네 단계로 구성된다. 1) 이웃 그래프 압축: 각 정점의 이웃 집합을 미니해시(MinHash) 서명으로 변환한다. 서명 길이는 메모리와 정확도 사이의 트레이드오프를 고려해 128~256 비트로 설정한다. 2) LSH 인덱싱: 미니해시 서명의 각 밴드를 해시 테이블에 저장해, 유사 서명을 가진 정점을 빠르게 후보로 추출한다. 3) 후보 집합 재구성: 후보 정점들의 미니해시를 이용해 가중 그래프를 만든 뒤, WALKTRAP 알고리즘을 적용해 커뮤니티를 식별한다. WALKTRAP은 랜덤 워크가 특정 서브그래프에 머무는 현상을 이용해 커뮤니티 경계를 찾는다. 4) 시각화·인터페이스: 파이썬 기반 웹 대시보드에서 사용자는 시드 계정을 입력하면 밀리초 내에 관련 계정과 커뮤니티 구조를 시각적으로 확인할 수 있다. 시스템 구현은 순수 파이썬과 NumPy, SciPy, NetworkX, 그리고 LSH 구현체를 활용했으며, 전체 파이프라인은 8 GB 이하의 RAM으로 실행된다. 실험에서는 (1) 정확도 평가: 미니해시 기반 Jaccard 근사의 평균 절대 오차가 0.03 이하이며, WALKTRAP 결과의 모듈러티티가 기존 글로벌 방법보다 5~8% 높다. (2) 성능 평가: 전체 그래프 로드와 인덱싱에 12 GB 메모리를 사용하고, 질의당 평균 12 ms, 최악 35 ms 내에 상위 100개의 유사 정점을 반환한다. (3) 사례 연구: Diageo 브랜드 시드 계정을 입력했을 때, 음료, 스포츠, 미디어 등 관련 산업군을 실시간으로 구분해 보여준다. 논의에서는 미니해시 서명의 고정 길이와 LSH 파라미터가 결과에 미치는 영향을 분석하고, 방향성 정보와 동적 그래프 업데이트에 대한 확장 가능성을 제시한다. 또한, 현재 시스템이 텍스트 기반 특성(프로필 설명 등)을 사용하지 않음으로써 잡음에 강하지만, 텍스트와 결합하면 더 정교한 커뮤니티 정의가 가능할 것이라고 제언한다. 결론에서는 단일 머신에서도 대규모 소셜 그래프를 실시간으로 탐색할 수 있음을 입증했으며, 향후 연구 방향으로 서명 길이 가변화, 방향성 그래프 지원, 딥러닝 임베딩과의 하이브리드, 그리고 클라우드 기반 협업 인터페이스 구축을 제시한다.