효율적인 잠재 변수 그래프 모델 선택을 위한 스플릿 베르그만 방법

본 연구는 관측 변수만으로 구성된 고차원 데이터 집합에서, 숨겨진 잠재 변수들의 존재가 관측 변수 간의 공분산 구조에 미치는 영향을 정량화하고자 한다. 전통적인 그래프 모델 추정은 정밀 행렬 K=Σ⁻¹ 가 희소하다는 가정 하에 ℓ₁ 정규화를 적용해 ‑log det K+tr(Σ̂ K)+λ‖K‖₁ 형태의 볼록 최적화 문제를 푼다. 그러나 실제 많은 분야—예를 들어, 유전자 발현 데이터에서 단백질 수준이 관측되지 않거나, 영화 추천 시스템에서 사용자 선호가 보이지 않는 요인에 의해 좌우되는 경우—에서는 관측 변수 간의 상관이 잠재 변수에 의해 크게 왜곡된다. 이러한 상황을 모델링하기 위해, 저자들은 전체 정밀 행렬 K_{OH} 를 관측-관측, 관측‑잠재, 잠재‑잠재 블록으로 나누고, Schur 보완을 이용해 관측 변수의 정밀 행렬 K_O 를 K_O – K_{O,H} K_H⁻¹ K_{H,O} 로 표현한다. 여기서 첫 번째 항 K_O 은 관측 변수 간의 직접적인 조건부 독립성을, 두 번째 항은 잠재 변수들의 마진 효과를 나타낸다. 잠재 변수의 수가 적다고 가정하면, 두 번째 항은 저계수 행렬 L 로 근사될 수 있다. 따라서 관측 변수 정밀 행렬을 S – L 로 분해하고, S 를 희소(ℓ₁ 정규화)하게, L 을 저계수(트레이스 노름)하게 강제하는 다음의 최적화 문제를 제시한다: min_{S,L} –log det(S–L) + tr(Σ̂_O (S–L)) + λ₁‖S‖₁ + λ₂ tr(L) s.t. S–L ≽ 0, L ≽ 0 이 문제는 볼록하지만, 로그-디터미넌트와 트레이스 노름, ℓ₁ 페널티가 동시에 존재해 직접적인 최적화가 어려운 구조를 가진다. 기존의 최첨단 솔버인 LogdetPPA는 부드러운 페널티에 최적화돼, L 의 저계수 구조를 직접 반영하지 못하고 사후 임계값 처리에 의존한다는 한계가 있다. 저자들은 문제를 보조 변수 A=S–L 로 재구성하고, Augmented Lagrangian 형태로 변환한다. 이때 듀얼 변수 U 와 페널티 파라미터 μ 를 도입해 제약 A=S–L 를 선형식으로 분리한다. 최종적으로 스플릿 베르그만(또는 ADMM) 알고리즘을 적용해 네 단계의 반복을 수행한다. 1. **A‑업데이트**: ‑log det A + tr(Σ̂_O A) + (μ/2)‖A – S_k + L_k + U_k‖_F² 를 최소화한다. 1차 최적조건을 정리하면 –A⁻¹ + Σ̂_O + U_k + μ(A – S_k + L_k)=0 이다. 이를 행렬 방정식 형태로 풀면 A_{k+1}=K_k + √(K_k²+4μI)/(2μ) 로 닫힌 해를 얻는다. 여기서 K_k=μ(S_k–L_k) – Σ̂_O – U_k 이다. 고유값 분해를 이용해 √(·) 를 계산한다. 2. **S‑업데이트**: λ₁‖S‖₁ + (μ/2)‖A_{k+1} – S + L_k + U_k‖_F² 를 최소화한다. 이는 각 원소에 대해 소프트‑쓰레시홀드 연산 T_{λ₁/μ} 를 적용하는 형태가 된다. 즉, S_{k+1}=T_{λ₁/μ}(A_{k+1}+L_k+μ⁻¹U_k). 3. **L‑업데이트**: λ₂ tr(L) + (μ/2)‖A_{k+1} – S_{k+1} + L + U_k‖_F² 를 최소화한다. L ≥ 0 를 만족해야 하므로, 고유값 분해 후 λ_i 를 λ₂/μ 만큼 감소시킨 뒤 음수가 되면 0 으로 클리핑한다. 즉, L_{k+1}=V diag((λ_i – λ₂/μ)_+) Vᵀ, 여기서 V, λ_i 는 (S_{k+1} – A_{k+1} – μ⁻¹U_k) 의 고유벡터·고유값이다. 4. **듀얼 변수 U‑업데이트**: U_{k+1}=U_k + μ(A_{k+1} – S_{k+1} + L_{k+1}). 수렴성은 기존 ADMM 이론에 의해 보장되며, μ 의 선택에 크게 민감하지 않다. 저자들은 LAPACK 의 dsyevd.f 를 활용해 고유값 분해를 효율적으로 수행함으로써, p>500 인 경우에도 기존 eig 혹은 schur 보다 약 10배 빠른 실행 시간을 달성한다. 복잡도는 A‑업데이트가 O(p³) 이지만, 고유값 분해가 병렬화 가능하고, S, L‑업데이트는 각각 O(p²) 로 충분히 확장 가능하다. **실험** - *인공 데이터*: p=200, 500, 1000 에 대해 다양한 샘플 수와 잠재 변수 수를 설정하고, λ₁, λ₂ 를 교차 검증으로 선택하였다. SBL‑VGG는 LogdetPPA 대비 평균 15~30배 빠른 수렴 속도를 보였으며, 복원된 S 와 L 의 F‑score, 정밀도, 재현율 모두 동등하거나 더 우수했다. - *유전자 발현 데이터*: 2,000여 개 유전자의 마이크로어레이 데이터를 사용하였다. 최적 λ₁, λ₂ 로 학습한 결과, 저계수 행렬 L 의 랭크는 약 35 로 추정되었으며, 이는 전체 상관 구조의 80% 이상을 설명한다. 또한, S 행렬은 희소성을 유지하면서 생물학적으로 의미 있는 유전자 네트워크를 드러냈다. **의의 및 한계** 본 논문은 잠재 변수 효과를 저계수 행렬로 명시적으로 모델링하고, 스플릿 베르그만(ADMM) 기반의 효율적인 최적화 알고리즘을 제공한다는 점에서 크게 두 가지 기여를 한다. 첫째, 기존 부드러운 페널티 기반 솔버가 놓치던 저계수 구조를 직접 다루어 정확한 모델 복원을 가능하게 한다. 둘째, 고유값 분해를 활용한 폐쇄형 업데이트 덕분에 대규모 문제에서도 실용적인 실행 시간을 확보한다. 한편, 고유값 분해 자체가 O(p³) 비용을 요구하므로, p가 수만 수준을 초과하는 경우 추가적인 근사 기법(예: 랜덤화된 SVD)과의 결합이 필요할 수 있다. **결론** 스플릿 베르그만을 이용한 SBL‑VGG 알고리즘은 잠재 변수 그래프 모델 선택 문제를 효율적으로 해결하며, 특히 유전자 발현과 같은 고차원 생물학 데이터에서 소수의 잠재 요인으로 복잡한 상관 구조를 설명할 수 있음을 실증하였다. 향후 연구에서는 비정규분포, 동적 네트워크, 그리고 온라인 업데이트와 같은 확장 가능성을 탐색할 여지가 있다.