그래픽 라쏘의 새로운 해석과 효율적 대안

본 논문은 그래픽 라쏘(Graphical Lasso) 알고리즘의 내부 작동 방식을 재검토하고, 기존 구현인 R 패키지 glasso가 겪는 수렴 문제와 목표 함수의 비단조성을 이론적으로 설명한다. 먼저, 그래픽 라쏘는 정규화된 음의 로그우도 f(Θ)=−log det(Θ)+tr(SΘ)+λ‖Θ‖₁을 최소화하는 반면, glasso는 이 문제의 라그랑주 이중형식(dual) g(Γ)=log det(S+Γ)+p 을 최대화한다는 점을 밝힌다. 여기서 Γ=λ·sign(Θ)이며, 제약조건 ‖Γ‖∞≤λ 을 만족한다. 이중형식은 공분산 행렬 W=S+Γ=Θ⁻¹을 직접 최적화하는 형태이며, glasso는 블록 좌표 상승(block‑coordinate ascent) 방식으로 각 열(행)을 순차적으로 업데이트한다. glasso의 핵심 업데이트는 식(10) W₁₁β+s₁₂+λ·sign(β)=0 을 만족하는 β=θ₁₂/θ₂₂를 구하는 라쏘 회귀 문제이다. 그러나 이 과정에서 W₁₁을 고정된 것으로 취급하고, 실제로는 β를 업데이트한 뒤 W 전체가 바뀔 필요가 있음에도 불구하고 w₁₂와 w₂₁만 부분적으로 갱신한다. 결과적으로 매 반복마다 원시 목적함수 f(Θ) 가 감소하지 않을 수 있다(그림 1의 비단조성). 이를 개선하기 위해 저자들은 두 가지 원시형식(primal) 알고리즘을 제안한다. 첫 번째인 p‑glasso는 Θ와 W를 동시에 유지하면서 블록 좌표 하강법을 적용한다. 각 블록에서는 식(16) ½αᵀΘ₁₁⁻¹α+αᵀs₁₂+λ‖α‖₁을 최소화하고, 이후 식(17)·(18)으로 Θ와 W를 정확히 갱신한다. 이때 Θ₁₁⁻¹은 현재 W₁₁와 w₁₂·w₂₁/w₂₂를 이용해 O(p²) 연산으로 얻을 수 있다. p‑glasso는 매 블록 업데이트 후 Θ·W=Iₚ를 유지하므로 수렴성이 보장된다. 두 번째 알고리즘인 dp‑glasso는 p‑glasso의 계산 복잡도를 크게 낮춘다. α‑문제를 라쏘 형태가 아닌 박스 제한 QP min ½(s₁₂+γ)ᵀΘ₁₁(s₁₂+γ) subject to ‖γ‖∞≤λ 으로 변형한다. 이 QP는 좌표별 소프트‑쓰레싱 연산만으로 O(p) 시간에 해결 가능하며, Θ₁₁은 현재 W를 이용해 직접 구한다(Θ₁₁= W₁₁−w₁₂w₂₁/w₂₂). 따라서 dp‑glasso는 각 블록을 O(p)로 처리하고 전체 복잡도는 O(p²) 수준이다. 또한, 모든 반복에서 원시 목적함수 f(Θ) 가 단조 감소함을 이론적으로 증명한다(Lemma 4, Theorem 2). 논문은 이론적 결과를 바탕으로 합성 데이터와 실제 유전발현 데이터에 대해 실험을 수행한다. 실험 결과는 다음과 같다. (1) 수렴 속도: dp‑glasso가 glasso 대비 평균 3.8배, p‑glasso 대비 2.1배 빠르게 수렴한다. (2) 목표 함수값: dp‑glasso는 매 반복마다 f(Θ)와 g(Γ) 모두 단조적으로 개선되며, glasso는 종종 비단조 구간을 보인다. (3) 메모리 사용량: dp‑glasso는 Θ와 W를 동시에 저장하지만, 블록 업데이트 시 불필요한 행렬 연산을 피해 메모리 효율이 높다. (4) 모델 정확도: 동일한 λ 경로에서 추정된 그래프 구조의 정밀도·재현율은 세 알고리즘 모두 비슷하지만, dp‑glasso가 가장 안정적인 결과를 제공한다. 결론적으로, 기존 glasso가 실제로는 dual 문제를 풀고 있어 원시 목적함수의 단조성을 보장하지 못하는 구조적 한계가 있음을 밝히고, 이를 보완한 p‑glasso와 특히 계산 효율이 뛰어난 dp‑glasso를 제안함으로써 그래픽 라쏘 분야에 실용적인 대안을 제공한다. 저자들은 dp‑glasso가 대규모 고차원 데이터 분석에서 특히 유용할 것으로 기대하며, 향후 확장으로 비정규화(heteroscedastic) 모델이나 비가우시안 그래프 구조 추정에도 적용 가능성을 제시한다.