이분산 선형 모델을 위한 변분 근사법과 매칭 추적 알고리즘

이 논문은 대규모 데이터셋을 다루는 현대 통계 응용에서 계산 효율성과 수많은 후보 모델을 선별하는 능력을 모두 갖춘 방법론의 필요성을 배경으로 한다. 저자들은 고차원 이분산 선형 회귀 모델, 즉 반응 변수 y_i의 평균과 분산이 각기 다른 예측 변수 세트의 선형 조합으로 설명되는 모델에 초점을 맞춘다. 표본 수 n보다 예측 변수 수 p나 q가 클 수 있는 고차원 설정을 다룬다. 주요 방법론으로 변분 베이지안 추론을 채택한다. 모수 θ=(β, α)의 참 사후분포 p(θ|y)를 근사하기 위해 q(θ)=q(β)q(α)의 인수분해 형태를 가정하고, q(β)와 q(α)를 각각 정규분포 N(μ_qβ, Σ_qβ), N(μ_qα, Σ_qα)로 제한한다. 이 변분 분포의 모수는 참 사후분포와의 쿨백-라이블러 발산을 최소화하도록 선택되며, 이는 한계 가능도 log p(y)의 하한 L을 최대화하는 것과 같다. 논문의 첫 번째 주요 결과는 이 하한 L에 대한 명시적인 폐쇄형 공식(4)의 유도이다. 이 공식은 모수에 대한 기대값 계산을 포함하며, 정규분포 가정 하에 정확하게 계산될 수 있다. 또한, 이 하한을 최대화하기 위한 반복적 알고리즘(Algorithm 1)을 제시한다. β 관련 모수의 업데이트는 명시적인 선형 대수 공식으로 얻어지지만, α 관련 모수의 업데이트는 감마 일반화 선형 모델(GLM)의 사후 최빈값 및 Hessian을 이용한 2차 근사를 통해 수행되어 계산 효율성을 유지한다. 이어서 저자들은 이 변분 하한을 핵심 도구로 활용한 변수 선택 알고리즘을 제안한다. 고차원에서의 모델 탐색은 도전적인 문제이다. 저자들은 탐욕적 전략을 채택하되, 핵심적인 최적화를 도입한다: 현재 선택된 모델 M에서 변분 하한 L(M)이 최적화되어 있다고 가정할 때, 하나의 변수 v가 추가된 후보 모델 M+v에 대한 하한 L(M+v)의 근사값은, 현재 모델의 변분 해(μ_qβ, Σ_qβ, μ_qα, Σ_qα)를 초기값으로 하여 Algorithm 1의 한 단계(one-step) 업데이트만을 수행하여 효율적으로 추정할 수 있다. 이 근사값을 모든 후보 변수 v에 대해 계산하고, 하한을 가장 크게 증가시키는 변수를 실제로 모델에 추가한다. 추가 후에는 새 모델에 대해 Algorithm 1을 완전히 수렴할 때까지 실행하여 정확한 해를 구한다. 이 과정은 중지 기준을 만족할 때까지 반복된다. 이 방법은 모든 후보 모델에 대해 처음부터 완전한 변분 추정을 수행하는 것에 비해 계산 비용을 극적으로 줄이면서, 직교 매칭 추적(OMP)과 같은 기존의 탐욕 알고리즘을 이분산 모델로 확장한 것으로 볼 수 있다. 마지막으로, 저자들은 제안된 방법론의 성능을 다양한 시뮬레이션과 두 가지 실제 데이터(근적외선 분광법을 이용한 식품 성분 예측, 당뇨병 진행 예측)에 적용하여 검증한다. 특히 당뇨병 데이터(Efron et al., 2004)에 대한 분석에서는 알고리즘이 11번의 반복 후 중지되어 평균 모델에 8개, 분산 모델에 7개의 예측 변수를 선택하였으며, 선택된 변수들의 계수 추정치 경로를 그림으로 제시하여 방법의 동작을 시각적으로 보여준다.