일반화 베타 혼합 가우시안

본 논문은 고차원 회귀 분석에서 변수 선택과 추정을 동시에 수행할 수 있는 연속형 수축 사전의 설계와 효율적인 추론 방법을 제시한다. 서론에서는 기존의 Lasso(라쏘)와 베이지안 라쏘가 Gaussian 혹은 double‑exponential 사전과 연결된다는 점을 언급하고, 이러한 전통적 사전이 단일 스케일 파라미터와 가벼운 꼬리 때문에 큰 신호에 대한 과‑수축(over‑shrinkage) 문제를 야기한다는 한계를 제시한다. 이를 보완하기 위해 최근 제안된 horseshoe, Strawderman‑Berger(SB), NEG, NG 등 다양한 수축 사전이 소개되며, 이들 사전이 “강한 0 부근 집중 + 무거운 꼬리”라는 두 가지 desiderata를 동시에 만족한다는 점이 강조된다. 그러나 기존 사전들은 각각 서로 다른 계층 구조를 가지고 있어 비교·통합이 어려웠고, 일부는 공액(conjugate) 구조가 없어 MCMC 구현이 복잡했다는 문제점이 있다. 이에 저자들은 베타 분포를 세 파라미터 a, b, φ 로 일반화한 Three‑Parameter Beta(TPB) 분포를 정의한다. TPB의 확률밀도는 기존 베타에 (1+(φ−1)x)^{-(a+b)} 라는 조정항을 곱한 형태이며, a와 b는 각각 0 부근의 집중도와 꼬리 두께를 제어하고, φ는 전역 수축 강도를 조절한다. TPB는 Gauss‑hypergeometric(GH)와 compound‑confluent‑hypergeometric(CCH) 분포의 특수 경우이며, 하이퍼지오메트릭 함수 2F1 로 표현될 수 있다. TPB를 이용해 정규 스케일 혼합(Normal‑Scale‑Mixture) 형태의 사전인 TPB‑N을 구성한다. 구체적으로 θ_j | ρ_j ∼ N(0, 1/ρ_j−1), ρ_j ∼ TPB(a,b,φ) 로 정의한다. 이때 ρ_j는 “수축 계수”로 해석되며, a가 작을수록 0 부근에 강한 집중을, b가 작을수록 꼬리가 무거워짐을 의미한다. φ가 작아지면 전체 ρ_j가 1에 가까워져 전역적으로 강한 수축을 유도한다. 핵심 기여는 TPB‑N이 기존 여러 사전과 동등함을 보이는 두 가지 계층적 변환이다. 첫 번째 변환은 θ_j | τ_j ∼ N(0, τ_j), τ_j ∼ Gamma(a, λ_j), λ_j ∼ Gamma(b, φ) 로, 모든 단계가 감마 분포로 공액을 이루어 Gibbs 샘플링이 용이해진다. 두 번째 변환은 τ_j/φ ∼ Beta‑Inverse(b,a) 로, 이는 SB와 NEG 사전이 각각 a=1, (a,b,φ)=(1,½,1) 일 때 정확히 재현된다는 것을 의미한다. 또한, half‑Cauchy(0, √φ) 를 τ_j^{1/2} 의 스케일 혼합으로 표현함으로써 horseshoe 사전의 공액 형태를 얻는다. 이러한 계층 구조를 바탕으로 선형 회귀 모델 y = Xβ + ε (ε ∼ N(0,σ²I))에 TPB‑N 사전을 적용한다. β_j | τ_j ∼ N(0,σ²τ_j), τ_j ∼ Gamma(a,λ_j), λ_j ∼ Gamma(b,φ), φ ∼ Gamma(½,ω), ω ∼ Gamma(½,1) 로 전역·지역 수축 파라미터를 모두 계층화한다. 이때 σ^{-2}도 Gamma(c₀/2,d₀/2) 사전으로 지정한다. 결과적으로 모든 조건부 사후분포가 정규, 감마, GIG 형태로 닫힌 해를 가지며, Gibbs 샘플러는 β, τ, λ, φ, ω, σ² 를 순차적으로 업데이트한다. 또한, 변분 베이즈(VB) 접근법을 제안한다. 평균‑필드 가정을 적용해 각 파라미터의 변분 분포를 정규·감마·GIG 형태로 유지하고, ELBO(증분 하한)를 최대화하는 좌표 상승법을 사용한다. TPB‑N의 공액 구조 덕분에 VB 업데이트 식이 간단히 유도되며, 특히 φ와 ω 에 대한 업데이트도 닫힌 형태로 얻어진다. 이는 p가 수천에서 수만에 이르는 초고차원 상황에서도 선형 시간 복잡도로 근사 사후분포를 계산할 수 있게 한다. 실험(논문 본문에 상세히 기술)에서는 시뮬레이션과 실제 데이터(예: 유전형 데이터, 텍스트 마이닝)에서 TPB‑N이 horseshoe, SB, NEG 등 기존 사전보다 예측 정확도와 변수 선택 정확도에서 우수함을 보인다. 특히, 전역 파라미터 φ를 데이터에 맞게 추정함으로써 희소성 수준을 자동 조절하고, 변분 근사는 MCMC 대비 10~100배 빠른 실행 시간을 제공한다. 결론적으로, 이 논문은 베타 분포의 세 파라미터 일반화를 통해 다양한 최신 수축 사전을 하나의 통일된 프레임워크로 묶고, 공액 계층을 활용해 효율적인 MCMC와 변분 베이즈 추론을 가능하게 함으로써 대규모 회귀 분석에 실용적인 도구를 제공한다. 향후 연구에서는 비선형 모델, 베이지안 신경망, 그리고 하이퍼파라미터 φ의 비베이지안 최적화 등으로 확장할 여지가 있다.