링크 이상 탐지를 통한 소셜 스트림 신흥 주제 발견

소셜 네트워크 서비스가 일상 생활에 깊숙이 스며들면서, 실시간으로 새로운 이슈나 토픽이 어떻게 발생하고 확산되는지를 파악하는 연구가 활발히 진행되고 있다. 기존의 토픽 탐지 방법은 주로 텍스트 기반의 단어 빈도나 TF‑IDF, LDA와 같은 토픽 모델링 기법에 의존해 왔으며, 이는 텍스트가 풍부한 환경에서는 효과적이지만, 이미지·동영상·URL 등 비텍스트 콘텐츠가 주를 이루는 현대 SNS에서는 한계가 있다. 또한, 동의어·다의어 문제와 키워드 선정의 주관성도 탐지 지연을 초래한다. 본 논문은 이러한 한계를 극복하고자, SNS 포스트에 내재된 “멘션”이라는 링크 구조를 핵심 신호로 활용한다. 멘션은 사용자가 다른 사용자에게 직접적인 반응(답글, 멘션, 리트윗 등)을 보이는 행위이며, 이는 토픽이 확산되는 경로를 직접적으로 반영한다. 저자는 멘션 행동을 두 가지 확률적 요소로 분해한다. 첫 번째는 한 포스트에 포함된 멘션 수 k이며, 이는 파라미터 θ를 갖는 기하분포로 모델링한다. 두 번째는 멘션 대상 사용자 집합 V이며, 이는 각 사용자 v에 대한 확률 πᵥ를 갖는 다항분포로 가정한다. 학습 단계에서는 각 사용자의 최근 T일(논문에서는 30일) 동안의 포스트를 수집해, 베타 사전(α,β)와 결합한 베타‑기하 모델을 통해 k에 대한 사후 예측분포 P(k|T) 를 도출한다. 멘션 대상에 대해서는 최대우도 추정이 새로운 사용자에 대해 0 확률을 부여하는 문제를 피하기 위해, 중국 레스토랑 프로세스(CRP)를 차용한다. 즉, 기존에 관측된 사용자 v에 대해서는 mᵥ/(m+γ) 의 확률을, 이전에 등장하지 않은 새로운 사용자에 대해서는 γ/(m+γ) 의 확률을 할당한다(여기서 m은 전체 멘션 횟수, γ는 하이퍼파라미터). 새로운 포스트 x=(t,u,k,V)가 도착하면, 위 두 확률을 곱해 전체 로그우도 −log P(k|T)−∑_{v∈V}log P(v|T) 를 계산하고 이를 이상 점수 s(x) 로 정의한다. 이 점수는 사용자가 평소에 보이는 멘션 패턴과 비교해 얼마나 이질적인지를 정량화한다. 다음으로, 모든 사용자의 이상 점수를 시간 창 τ(예: 1분) 단위로 평균해 시계열 s′_j 를 만든다. 이 시계열에 대해 두 단계의 변화점 검출을 수행한다. 첫 번째 단계에서는 s′_j 를 AR(자동회귀) 모델에 적합시키고, Sequentially Discounting Normalized Maximum Likelihood(SDNML) 코딩을 이용해 새로운 데이터가 기존 모델에 얼마나 부합하지 않는지를 로그 손실 형태로 측정한다. 이 로그 손실을 κ(예: 15) 길이의 이동 평균으로 부드러워 y_j 를 만든다. 두 번째 단계에서는 y_j 에 대해 동일한 SDNML 절차를 다시 적용해 최종 변화점 점수 Score(y_j)를 얻는다. Score(y_j)의 분포는 동적 임계값 최적화(DTO) 알고리즘을 통해 실시간으로 적응형 임계값 η(j)를 설정한다. DTO는 점수 히스토그램을 유지하며, 사전에 정의된 허용 오차 ρ(예: 0.05) 이하가 되도록 상위 tail‑probability에 해당하는 점수를 임계값으로 선택한다. Score(y_j) 가 η(j) 를 초과하면 알람이 발생한다. 실험은 트위터에서 수집한 네 개의 실제 토픽 데이터셋을 대상으로 수행되었다. 각 데이터셋은 토픽에 관련된 사용자 리스트를 사전에 정의하고, 해당 사용자들의 멘션 로그를 수집했다. 데이터셋 규모는 ‘Job hunting’(200명), ‘YouTube’(160명), ‘NASA’(90명), ‘BBC’(47명)이다. 비교 대상은 동일 데이터에 대해 키워드 빈도 기반 변화점 검출을 수행한 것으로, 키워드는 각 토픽을 가장 잘 대표한다고 판단되는 단어를 수동으로 선택했다. 키워드 빈도 시계열에 DTO만 적용했으며, SDNML은 적용하지 않았다(키워드 빈도는 희소해 SDNML 적용이 비효율적이었다). 결과는 멘션 기반 이상 점수가 키워드 빈도보다 일관되게 빠르게 급증함을 보여준다. 특히 ‘NASA’와 ‘BBC’ 데이터셋에서는 멘션 기반 탐지가 10~30분 정도 앞서 토픽 시작을 포착했으며, ‘Job hunting’과 ‘YouTube’에서도 동등하거나 약간 앞선 성능을 기록했다. 정밀도·재현율 측면에서도 멘션 기반 버스트 모델이 키워드 기반 버스트 모델보다 우수했다. 논문의 주요 기여는 다음과 같다. 첫째, 멘션 행동을 확률적으로 모델링해 사용자별 정상 패턴을 학습하고, 이를 기반으로 실시간 이상 점수를 산출하는 프레임워크를 제시하였다. 둘째, 이상 점수를 집계해 전체 네트워크 수준의 변화점을 감지하기 위해 SDNML과 DTO를 결합한 효율적인 변화점 검출 파이프라인을 구현하였다. 셋째, 실제 트위터 데이터에 적용해 텍스트 기반 방법보다 빠른 탐지를 입증함으로써, 비텍스트 중심의 SNS 환경에서도 효과적인 토픽 탐지 가능성을 확인하였다. 한계점으로는 멘션이 거의 발생하지 않는 저활동 사용자에 대해 모델이 불안정할 수 있으며, γ 파라미터 설정이 탐지 민감도에 큰 영향을 미친다. 또한, 멘션 내용 자체(텍스트 의미)나 멘션 간의 구조적 관계(예: 멘션 네트워크의 클러스터링)를 고려하지 않아 복합적인 토픽 전파 메커니즘을 완전히 포착하지 못한다. 향후 연구에서는 멘션 텍스트와 이미지 메타데이터를 통합한 다중모달 확률 모델, 그래프 신경망 기반 동적 연결 구조 학습, 그리고 실시간 스트리밍 환경에서의 확장성을 고려한 분산 구현 등을 탐색할 계획이다.