베이지안 브리지 스파스 회귀와 효율적 MCMC 구현

논문은 회귀와 분류 모델에서 손실함수에 α‑거듭제곱 절대값 페널티를 부여한 브리지 추정기의 베이지안 버전을 개발한다. 베이지안 프레임워크에서는 사후분포 p(β|y)∝exp{−½‖y−Xβ‖²−ν∑|β_j|^α} 로 정의되며, 이는 Gaussian likelihood와 독립적인 exp‑power 사전의 결합으로 해석된다. 저자들은 이 사전을 두 가지 서로 다른 혼합 형태로 표현한다. 첫 번째는 α‑stable 확률변수를 혼합한 정규분포 형태로, West(1987)의 결과를 이용한다. 이 경우 λ_j 라는 로컬 스케일 변수가 도입되어 β_j 를 조건부 정규으로 만들지만, λ_j 의 사후분포가 지수적으로 기울어진 α‑stable 분포가 되어 직접적인 샘플링이 어려워진다. 이를 해결하기 위해 Devroye(2009)의 최신 안정분포 샘플링 알고리즘을 적용했으며, 특히 설계 행렬이 고도로 공선성(collinearity)을 가질 때 효율적이다. 두 번째 전략은 완전 단조(n‑monotone) 밀도에 대한 Bernstein‑Schönberg‑Williamson 정리를 활용해, Bartlett‑Fejer(삼각) 커널을 혼합하는 방식이다. 여기서는 ω_j 라는 두 성분 혼합 감마분포를 도입해 β_j 를 삼각 커널 형태의 조건부 밀도로 표현한다. 이 접근법은 α‑stable 변수의 복잡성을 회피하고, 직교 설계(orthogonal design) 상황에서 전역 스케일 파라미터 τ 의 혼합 비율을 빠르게 탐색한다. 또한, 다중극값(multimodality) 현상을 명시적으로 드러내어 MCMC 가 지역 최적점에 머무르는 문제를 완화한다. 논문은 이 두 방법이 서로 보완적인 효율성을 보인다는 점을 실험적으로 입증한다. 특히, τ 의 자동 조정과 전역 스케일 파라미터의 높은 혼합 효율은 기존의 horseshoe, double‑Pareto 등과 비교해 현저히 빠른 수렴을 보인다. 이론적으로는 β_j 의 사전이 α∈(0,1) 구간에서 헤비테일을 가지며, 이는 오라클 속성(oracle property)과 연계된 레드스크리밍(score) 함수를 제공한다. 베이지안 관점에서 보면, 이러한 헤비테일 사전은 큰 계수를 과도하게 수축시키지 않으면서도 희소성을 촉진한다. 또한, 전역 스케일 τ 와 로컬 스케일 ω_j 를 계층적 베이지안 구조로 모델링함으로써, 페널티 파라미터 ν 와 지수 α 에 대한 불확실성을 자연스럽게 통합한다. 실험에서는 시뮬레이션 데이터와 실제 데이터(예: 당뇨병 데이터)를 사용해, 베이지안 브리지가 고전 브리지 추정기보다 예측 정확도와 추정 위험에서 우수함을 확인했다. 특히, 전역 스케일 τ 의 MCMC 체인 혼합 속도가 horseshoe와 비교해 크게 개선되었으며, 이는 Figure 1에 시각적으로 제시된다. 최종적으로, 저자들은 R 패키지 BayesBridge 를 공개하여, 제안된 두 MCMC 알고리즘을 실무에 바로 적용할 수 있게 하였다.