적응형 릿지 선택기

본 논문은 고차원 선형 회귀 문제에서 변수 선택과 파라미터 추정을 동시에 수행할 수 있는 새로운 베이지안 방법인 Adaptive Ridge Selector(ARiS)를 제안한다. 기존의 변수 선택 기법인 lasso·elastic‑net·non‑negative garrote·ridge는 각각 ℓ₁ 또는 ℓ₂ 패널티를 적용해 계수를 압축하지만, 베이지안 관점에서 보면 사전 분포를 통한 정규화와 동일시될 수 있다. 저자들은 Relevance Vector Machine(RVM)의 계층적 베이지안 모델을 출발점으로 삼아, 회귀계수 β에 대한 정규 사전 β|σ²,v⁻¹∼N(0,σ²V)와 정밀도 v_j⁻¹에 대한 감마 사전 v_j⁻¹∼Gamma(η+1, μ)를 도입한다. 여기서 η는 형태 파라미터이며, μ는 역스케일 파라미터이다. η=0이면 지수분포, η=−1이면 RVM에서 사용한 부적절한 비제한 사전이 된다. 전체 사후분포는 p(β,σ²,v⁻¹|y,η,μ) ∝ p(y|β,σ²)·p(β|σ²,v⁻¹)·p(v⁻¹|η,μ)·p(σ²) 이며, 각각의 조건부 사후분포는 닫힌 형태를 가진다. β는 다변량 정규, σ²는 역감마, v_j⁻¹는 감마 분포이다. 이러한 조건부 분포를 이용해 Lindley‑Smith 최적화 알고리즘을 적용하면, 매 반복마다 β는 가중된 릿지 문제로 변환된다. 구체적으로, l번째 반복에서 β^{(l)} = argmin_β ||y−Xβ||² + (1+2η)∑_j β_j² ω_j^{(l)} 로서, ω_j^{(l)} = √{β_j^{(l−1)2}/σ²^{(l)}} 로 정의된다. 이는 현재 계수의 절대값과 잔차 분산에 비례하는 가중치를 부여해, 큰 계수는 더 크게 패널티를 받고 작은 계수는 빠르게 0에 수렴하도록 만든다. η는 경험적 베이지안 단계에서 주변우도 p(y|η) 를 최대화함으로써 선택한다. 주변우도는 직접 적분이 불가능하므로 두 가지 근사법을 제시한다. 첫 번째는 라플라스 근사로, 사후모드 주변의 2차 테일러 전개를 이용해 로그우도를 근사한다. 두 번째는 Gibbs 샘플링을 통한 시뮬레이션 기반 근사로, 조건부 사후분포에서 표본을 추출해 Monte‑Carlo 적분을 수행한다. 두 방법 모두 실험에서 비슷한 η 값을 제공했으며, 라플라스 근사가 계산적으로 더 효율적이었다. 알고리즘 흐름은 다음과 같다. (1) 초기값 β^{(0)}를 OLS 추정치로 설정한다. (2) 현재 β와 σ²를 이용해 v_j⁻¹의 기대값을 계산하고, 이를 ω_j에 반영한다. (3) 가중된 릿지 문제를 풀어 새로운 β를 얻는다. (4) 새로운 β와 ω를 사용해 σ²의 기대값을 업데이트한다. (5) 위 과정을 수렴할 때까지 반복한다. 수렴 후에는 최종 β̂와 σ̂², 그리고 v̂⁻¹를 얻는다. 이론적 측면에서 저자들은 제안된 사전이 β의 주변 사전이 t‑분포 형태임을 보이며, 이는 축을 따라 뾰족한 ridges를 형성해 ℓ₁ 패널티와 유사한 sparsity를 유도한다. 또한 η가 커질수록 ridge‑like ℓ₂ 패널티가 강화되고, η가 작아질수록 lasso‑like ℓ₁ 패널티에 가까워진다. 따라서 ARiS는 η에 따라 기존 방법들의 연속체를 제공한다는 장점이 있다. 실험에서는 (i) 변수 수 p가 100~500, 표본 수 n이 50~400인 다양한 시나리오, (ii) 실제 데이터셋(예: 골프 스코어, 유전자 발현) 등을 사용했다. 성능 평가는 평균 제곱 오차(MSE), 변수 선택 정확도(정밀도·재현율·F1), 그리고 모델 복잡도(선택된 변수 수)로 이루어졌다. 결과는 다음과 같다. (a) ARiS는 모든 시뮬레이션 설정에서 MSE가 가장 낮았으며, 특히 n≫p인 경우 차이가 크게 나타났다. (b) 변수 선택 정확도에서도 lasso·elastic‑net보다 높은 정밀도와 재현율을 보였으며, 특히 희소성이 높은 상황에서 false positive 비율이 현저히 낮았다. (c) 표본이 충분히 클 때 η̂가 안정적으로 수렴해, 모델 선택이 거의 완벽에 가까워졌다. 마지막으로 저자들은 ARiS가 기존 방법들의 장점을 통합하면서도, 복잡한 MCMC 없이도 빠르게 수렴한다는 점을 강조한다. 또한 η를 경험적 베이지안으로 선택함으로써 사용자가 사전 하이퍼파라미터를 직접 튜닝할 필요가 없으며, 자동으로 최적의 shrinkage 수준을 찾을 수 있다. 향후 연구로는 비선형 모델(커널 RVM)이나 다중 응답 회귀에 ARiS를 확장하는 방안을 제시한다.