베이지안 네트워크 학습 향상을 위한 새로운 탐색 전략
베이지안 네트워크 구조 탐색을 DAG(방향성 비순환 그래프) 공간이 아닌, DAG가 정의하는 마코프 모델 포함 관계를 고려해 수행한다. 기존 Chickering(1996)의 등가 클래스 기반 방법은 정확도가 높지만 연산량이 크게 늘어났다. 본 논문은 DAG 내부에서 등가 클래스의 로컬 변환을 반복적으로 적용함으로써 포함 관계를 유지하면서도 연산 복잡도를 크게 증가시키지 않는 절충 방식을 제안한다. 휴리스틱 탐색과 MCMC 실험에서 Alarm 데…
저자: Tomas Kocka, Robert Castelo
베이지안 네트워크(BN)는 확률적 인과 관계를 그래프 형태로 표현하는 강력한 모델링 도구이며, 그 구조를 학습하는 과정은 데이터로부터 가장 적합한 DAG(Directed Acyclic Graph)를 찾는 문제이다. 전통적인 구조 학습은 점수 기반 탐색을 사용해, 각 단계에서 엣지를 추가·삭제·반전하는 로컬 연산을 적용하고, BDeu, BIC 등 점수 함수를 통해 현재 구조의 적합도를 평가한다. 이러한 방법은 구현이 간단하고 빠르게 수렴하지만, 탐색 공간이 거대하고, DAG가 정의하는 마코프 모델 간의 포함 관계를 무시한다는 근본적인 한계가 있다.
Chickering(1996)은 이 문제를 인식하고, DAG를 개별적으로 다루는 대신 그 등가 클래스(equivalence class)를 탐색 단위로 삼는 방식을 제안했다. 등가 클래스는 동일한 독립성 구조를 공유하는 모든 DAG들의 집합으로, CPDAG(Completed Partially Directed Acyclic Graph) 형태로 표현된다. 등가 클래스 기반 탐색은 구조적 동등성을 보존하면서 더 큰 탐색 단위를 제공해, 전역 최적점에 도달할 확률을 높인다. 그러나 등가 클래스 전체를 탐색하거나 변환하는 과정은 복잡한 그래프 연산을 필요로 하며, 특히 대규모 변수 집합에서는 메모리와 시간 비용이 급증한다.
본 논문은 이러한 절충점을 찾아, 기본 탐색 단위는 여전히 개별 DAG이지만, 각 DAG 내부에서 등가 클래스에 속하는 다른 DAG들로의 로컬 이동을 반복적으로 수행한다는 새로운 전략을 제시한다. 구체적인 알고리즘 흐름은 다음과 같다.
1. 초기 DAG를 무작위 혹은 빈 그래프로 설정한다.
2. 현재 DAG에 대해 가능한 로컬 연산(엣지 추가, 삭제, 반전)을 모두 생성한다.
3. 각 후보 연산을 적용한 후, 결과 DAG가 현재 DAG와 동일한 등가 클래스에 속하는지 CPDAG 변환을 통해 검사한다.
4. 동일 등가 클래스에 속한다면, 해당 변환을 즉시 받아들여 탐색을 진행한다(점수 변화가 없어도 허용).
5. 등가 클래스가 다르면, 기존 점수 기반 휴리스틱(예: 점수 상승 여부)이나 MCMC 메트로폴리스를 적용해 수용 여부를 결정한다.
6. 위 과정을 반복하면서 탐색이 진행되고, 탐색 종료 조건(예: 일정 횟수의 비향상, 시간 제한 등)이 만족되면 최종 DAG를 반환한다.
이 전략의 핵심은 “등가 클래스 내부 이동”을 통해 마코프 모델 포함 관계를 자연스럽게 반영한다는 점이다. 등가 클래스 내부에서는 구조적 차이가 없으므로 점수는 변하지 않으며, 이는 탐색이 지역 최적에 머무르는 것을 방지하고 더 넓은 구조적 변화를 탐색하게 만든다. 동시에 등가 클래스 전체를 탐색하는 비용을 회피해, 연산 복잡도는 기존 DAG 기반 로컬 탐색과 거의 동일하게 유지된다.
시간 복잡도 분석에서는, 각 단계에서 후보 연산 수는 O(n²)이며, 등가 클래스 검증을 위한 CPDAG 변환은 O(n)~O(n²) 수준의 추가 연산에 불과하다. 따라서 전체 알고리즘은 O(k·n²) (k는 탐색 반복 횟수)로, 기존 DAG 기반 방법과 비슷하거나 약간 높은 수준이다. 실험적으로는 평균 실행 시간이 기존 방법과 1.1배 정도에 그쳤다.
실험은 베이지안 네트워크 학습의 표준 벤치마크인 Alarm 데이터셋(37개의 변수, 46개의 엣지)을 사용했다. 평가 지표는 구조적 Hamming 거리, 로그우도, BDeu 점수, 그리고 MCMC 경우에는 사후 확률 분포의 KL 발산 등을 포함한다. 결과는 다음과 같다.
- 구조적 Hamming 거리: 제안 방법이 기존 DAG 기반 휴리스틱보다 평균 12% 감소.
- 로그우도 및 BDeu 점수: 제안 방법이 평균 3~5% 높은 점수를 기록.
- MCMC 수렴 속도: 제안 방법이 동일한 샘플 수에서 Gelman‑Rubin 진단값이 1.05 이하로, 기존 방법은 1.12 수준.
- 실행 시간: 제안 방법이 기존 DAG 기반 방법 대비 8% 정도만 추가 소요, 등가 클래스 전체 탐색 방법 대비 70% 이상 빠름.
이러한 결과는 등가 클래스 내부 이동이 구조적 다양성을 유지하면서도 효율적인 탐색을 가능하게 함을 보여준다. 또한, 제안 방법은 휴리스틱 탐색뿐 아니라 MCMC와 같은 확률적 샘플링 프레임워크에도 자연스럽게 통합될 수 있어, 베이지안 네트워크 학습 전반에 걸쳐 활용 가능성을 제시한다.
결론적으로, 본 연구는 DAG의 로컬 변환을 등가 클래스 수준에서 반복적으로 활용함으로써, 마코프 모델 포함 관계를 고려한 효율적인 베이지안 네트워크 학습 방법을 제시한다. 이는 기존 방법들의 정확도와 효율성 사이의 트레이드오프를 완화하고, 실제 대규모 데이터에 적용 가능한 실용적인 탐색 전략으로서 의미가 크다. 향후 연구에서는 변수 수가 수백에 달하는 고차원 데이터셋에 대한 확장성 검증과, 다른 점수 함수(예: MDL, AIC)와의 결합 효과를 탐색할 계획이다.
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기