베이지안 가법 회귀 트리: BART의 원리와 응용

본 논문은 비모수 베이지안 회귀·분류 방법론인 BART(Bayesian Additive Regression Trees)를 제시한다. BART는 “합-트리”(sum‑of‑trees) 모델을 기반으로 하며, 각 트리를 약한 학습기로 제한하는 정규화 사전(prior)을 도입한다. 모델 수식은 Y = Σ_{j=1}^m g(x;T_j,M_j) + ε, ε∼N(0,σ²) 로, 여기서 g(·)는 이진 회귀 나무이며, T_j는 트리 구조, M_j는 터미널 노드 평균값이다. 1. **모델 설계** - **트리 사전(p(T_j))**: 깊이 d에 따라 비터미널 노드가 될 확률을 α(1+d)^{−β} 로 정의한다. 기본값 α=0.95, β=2 로 설정하면 평균 2~3개의 터미널 노드를 갖는 얕은 트리가 우선 생성된다. 이는 개별 트리가 과도하게 복잡해지는 것을 방지한다. - **터미널 노드 사전(p(μ_{ij}|T_j))**: 정규분포 N(μ_μ,σ_μ²) 를 사용한다. μ_μ는 0으로 고정하고, σ_μ는 전체 트리 수 m과 사전 신뢰구간 파라미터 k에 따라 σ_μ = 0.5/(k√m) 로 설정한다. 이렇게 하면 합산된 기대값 E