Title: A Well-Behaved Alternative to the Modularity Index
ArXiv ID: 1108.4658
발행일: 2011-08-24
저자: Linton C. Freeman
📝 초록 (Abstract)
네트워크 데이터에서 클러스터를 발견하기 위한 알고리즘 개발은 현재 네트워크 연구의 주요 관심사다. 이러한 알고리즘은 그래프 G = (V, E) 형태로 나타나며, V는 정점 집합이고 E는 무순서 정점 쌍 집합이다. 클러스터 발견 알고리즘은 정점을 m개 이상의 하위 집합으로 분할하여 각 하위 집합 내에서는 밀접한 연결이 많지만 서로 간의 연결은 희박한 구조를 목표로 한다. 이러한 하위 집합을 사회학자들은 '그룹', 물리학자들은 '커뮤니티', 컴퓨터 과학자들은 '클러스터'라고 부르며, 본 논문에서는 중립적인 용어인 '결합 부분집합'을 사용한다. 널리 사용되는 지표인 모듈러티 Q는 외부 간선의 빈도에 따라 감소하고 내부 간선의 빈도에 따라 증가해야 하지만, 여러 구조적 속성에서 제대로 작동하지 않는다는 문제가 있다. 이 논문에서는 이러한 문제를 해결하기 위해 Borgatti의 η 지표를 소개하며, η는 관찰된 연결 패턴과 이상적인 분할 사이의 상관 관계를 계산한다.
💡 논문 핵심 해설 (Deep Analysis)
이 논문은 네트워크 클러스터링 알고리즘에서 사용되는 모듈러티 지수 Q에 대한 한계와 Borgatti의 η 지표를 소개하고, 이를 통해 더 정확한 분할 평가 방법을 제시한다.
1. 모듈러티 지수 Q의 문제점
Q는 네트워크 데이터에서 클러스터링 성능을 측정하는 데 주로 사용되지만, 여러 가지 한계를 가지고 있다. 첫째, Q는 외부 간선의 증가에 따라 감소하고 내부 간선의 증가에 따라 증가해야 하지만, 실제로는 그렇지 않다. 예를 들어, 완벽한 클러스터링을 나타내는 그래프에서 한 개의 내부 간선이 제거되더라도 Q 값은 변하지 않는다. 이는 Q가 내부 간선의 유무에 무관하게 일정한 값을 반환하기 때문에 발생한다.
둘째, Q는 외생 요인들에 의해 영향을 받는다. 예를 들어, 하위 집합의 개수가 증가하면 Q 값이 증가하는 경향이 있으며, 이는 모든 간선이 동일한 하위 집합에 속할 확률이 높아짐에 기인한다. 또한, 각 클러스터 내에서 간선 수가 불평등하게 분포되어 있으면 Q 값은 감소한다.
2. Borgatti의 η 지표
η는 Ucinet에서 사용되는 피어슨 상관 제품 모멘트를 기반으로 하며, 노드 간 관찰된 간선 패턴과 완벽한 분할 사이의 상관 관계를 계산한다. 이는 1.0과 -1.0 사이의 값을 가지며, 완벽한 분할을 나타내는 경우 η 값은 1.0이 된다.
η의 장점 중 하나는 Q와 달리 하위 집합의 수에 민감하지 않다는 것이다. 예를 들어, 그림 1과 동일한 그래프가 100개의 결합 부분집합을 가진 경우에도 η 값은 여전히 1.0이다. 또한, 각 클러스터 내에서 간선 수가 불평등하게 분포되어 있어도 η는 이를 반영하지 않는다.
3. Q와 η의 비교
Q와 η를 비교하면, Q는 외부 간선이 존재할 때 감소하는 경향이 있지만, 하위 집합의 개수나 간선 불평등에 민감하다는 한계가 있다. 반면, η는 이러한 문제점을 해결하며, 관찰된 분할이 이상적인 분할에 얼마나 가까운지를 측정한다.
η는 Q와 달리 G의 정도 분포에 기반한 기대값 집합에 정규화되지 않지만, 이로 인해 발생하는 비용은 모듈러티 지수 Q가 야기하는 모호성을 제거하는데 사소하다고 볼 수 있다.
4. 결론
이 논문을 통해 우리는 네트워크 클러스터링 알고리즘에서 사용되는 모듈러티 지수 Q의 한계를 인식하고, Borgatti의 η 지표가 이를 해결할 수 있는 대안임을 확인한다. η는 직관적이며, 관찰된 연결 패턴과 이상적인 분할 사이의 상관 관계를 통해 더 정확한 클러스터링 성능 평가를 가능하게 한다.
이 연구는 네트워크 데이터 분석에서 중요한 역할을 하는 클러스터링 알고리즘의 성능 평가 방법에 대한 새로운 통찰력을 제공하며, 향후 연구에서는 η 지표를 활용한 다양한 응용 사례와 그 효과를 검증하는 것이 필요하다.
📄 논문 본문 발췌 (Excerpt)
## 네트워크 데이터의 클러스터링 알고리즘과 모듈러티 지수
현재 네트워크 연구의 주요 관심사는 네트워크 데이터에서 클러스터를 발견하기 위한 알고리즘 개발입니다. 네트워크 데이터는 정점 집합 V와 무순서 정점 쌍 집합 E로 구성된 그래프 G = (V, E) 형태로 나타납니다. 이러한 알고리즘은 V의 정점을 m개 이상의 하위 집합으로 분할하여, 각 하위 집합 내에서는 밀접한 연결이 많지만, 서로 간의 연결은 희박한 구조를 목표로 합니다. 사회학자들은 이러한 하위 집합을 ‘그룹’이라고 부르지만, 물리학자들은 ‘커뮤니티’라고 하고, 컴퓨터 과학자들은 ‘클러스터’라고 부릅니다. 그러나 이러한 명칭의 차이를 막론하고, 모든 분야는 동일한 구조적 형태를 다루고 있습니다. 따라서 본문에서는 중립적인 용어인 ‘결합 부분집합’을 사용하여 이러한 구조를 지칭하겠습니다.
이러한 클러스터 발견 알고리즘은 반드시 정점을 결합 부분집합의 특성에 부합하는 하위 집합으로 분할한다고 보장하지 않습니다. 뉴먼과 기르반 [1]은 다음과 같이 언급했습니다:
우리의 알고리즘은 무의미한 커뮤니티 구조가 없는 완전히 무작위 네트워크에서도 항상 네트워크를 커뮤니티로 분할하지만, 이러한 분할의 품질을 평가하는 방법이 유용할 것입니다.
결합 부분집합 발견 알고리즘의 결과 품질 지수는 두 가지 속성을 고려해야 합니다:
(1) 외부 간선의 빈도: 서로 다른 하위 집합에 속하는 정점 쌍을 연결하는 간선.
(2) 내부 간선의 빈도: 동일한 하위 집합에 속하는 정점 쌍을 연결하는 간선. 이러한 지수는 외부 간선의 증가에 따라 감소하고, 내부 간선의 증가에 따라 증가해야 합니다. 또한, 이러한 두 가지 간선에 직접적으로 관련이 없는 외생 요인의 영향은 받아서는 안 됩니다.
네트워크의 특정 분할의 품질을 평가하는 널리 사용되는 지표는 뉴먼과 기르반의 모듈러티 Q [1]입니다. Q는 하위 집합 내 간선에 초점을 맞춥니다.
여기서 ei는 네트워크에서 하위 집합 내 간선의 비율을 나타내고, E(di)²는 무작위적으로 생성된 간선이 유지하면서 정점의 관찰된 정도 분포를 조건으로 하위 집합 내 간선의 예상 비율입니다.
외부 간선 빈도에 관해 Q는 적절하게 작동합니다. 이를 확인하기 위해 두 클러스터로 분할된 경우를 살펴보겠습니다. 이는 우리가 추구하는 결합 부분집합의 완벽한 사례입니다. 외부 간선은 두 클러스터 사이에 연결되지 않으며, 모든 가능한 내부 간선은 각 클러스터 내에서 존재합니다. 그림 1에 나타난 하위 집합에 대해 Q는 0.50의 값을 반환합니다.
그림 2에 나타난 두 결합 부분집합을 살펴보면, 새로운 외부 간선이 표시되어 있습니다. 이 간선은 두 클러스터 사이를 가로지릅니다. 이 경우 Q는 0.468로 감소합니다. 더 많은 외부 간선이 추가될수록 이러한 감소 패턴은 지속됩니다. 그림 3은 추가적인 교차형 외부 간선이 도입됨에 따라 Q 값의 감소를 보여줍니다. 그러나 Q는 여러 다른 구조적 속성에 대해서는 잘 작동하지 않습니다.
먼저 내부 간선을 고려해 봅시다. 그림 1에 나타난 완벽한 결합 부분집합에서 Q = 0.50입니다. 이 분할에서는 각 클러스터 내 모든 가능한 내부 간선이 존재합니다. 이제 각 클러스터에서 한 개의 간선을 제거한 경우를 상상해 보세요(그림 4 참조). 이상적으로는 Q 값이 감소해야 합니다. 그러나 그림 4에 나타난 분할의 Q 값은 여전히 0.50입니다. 간선 제거는 Q 값을 낮추지 않았습니다. 더 나아가 간선을 지속적으로 제거하면, 한쪽 클러스터에 남은 간선이 하나만 남을 때까지 Q 값은 0.50으로 유지됩니다. 결합 부분집합 발견 알고리즘은 많은 내부 간선을 포함하는 분할을 찾는 것을 목표로 하지만, Q는 내부 간선의 유무에 무관하게 일정한 값을 반환합니다.
또한, Q가 생성한 값은 두 가지 외생 요인의 영향에도 혼란스러워집니다: 하위 집합의 개수와 간선 불평등입니다. 하위 집합의 개수가 증가하면 Q 값이 증가하는 경향이 있으며, 이는 모든 간선이 동일한 하위 집합에 속할 확률이 높아짐에 기인합니다.
평가 도구로서의 Q와 η: 한계와 장점 비교
부분 집합의 수가 평가 대상이 되는 범위를 제한한다는 점에서, Q가 도출할 수 있는 최대값은 m - 1/m입니다. 따라서 그림 1에 나타난 완벽한 분할은 Q = 0.50이라는 값을 가집니다. 반면, 두 개의 동일한 결합 부분 집합 대신 100개의 결합 부분 집합이 있다면, Q는 0.99가 됩니다. 그러나 이러한 경우에도 분할의 완벽성은 동일합니다.
