Sparse 최대우도 추정으로 그래프 모델을 효율적으로 선택하기

본 논문은 다변량 가우시안 및 이진 데이터에 대해, 변수 간 조건부 독립성을 나타내는 무방향 그래프 모델을 희소하게 추정하는 새로운 방법론을 제시한다. 전통적인 그래프 모델 선택은 로그우도(log‑likelihood)를 최대화하면서, 역공분산 행렬(precision matrix) Θ의 영(0) 원소 패턴을 찾는 문제로 귀결된다. 그러나 샘플 수 n이 변수 수 p에 비해 작을 경우, 기존의 최대우도 추정은 불안정하고, 영 원소를 찾기 위한 탐색은 조합적 복잡도가 급격히 증가한다. 이에 저자들은 ℓ₁ 노름 페널티 λ‖Θ‖₁을 로그우도에 추가해,  max_{Θ≻0} { log det Θ − tr(SΘ) − λ‖Θ‖₁ }  (1) 라는 형태의 “희소 최대우도 추정(Sparse Maximum Likelihood Estimation, SML)” 문제를 정의한다. 여기서 S는 샘플 공분산 행렬이며, λ는 희소성을 조절하는 하이퍼파라미터이다. ℓ₁ 페널티는 Θ의 비대각 원소 수를 직접 억제함으로써, 조건부 독립 관계를 자동으로 드러낸다. 문제 (1)은 볼록하지만 비스무스이며, 제약이 무한히 크다. 기존 내·외부점법은 Hessian을 저장·연산해야 하므로 O(p⁶) 연산량과 O(p²) 메모리 요구로 p가 수십을 넘어가면 실용적이지 않다. 저자들은 이 한계를 극복하기 위해 두 가지 스케일러블 알고리즘을 설계한다. 1. **블록 좌표 하강법(Block Coordinate Descent, BCD)** - 매 반복에서 하나의 행·열(j)을 선택하고, 나머지 행·열을 고정한다. - 고정된 부분을 제외한 서브행렬 W_{−j,−j}와 벡터 S_j를 이용해,   min_y { yᵀW_{−j,−j}y − 2S_jᵀy : ‖y−S_j‖_∞ ≤ λ }  (4) 를 푼다. 이는 ℓ₁ 정규화된 최소제곱 문제(라소)와 동치이며, 해는 closed‑form 혹은 효율적인 내부 루프를 통해 구한다. - 구해진 y를 행·열 j에 삽입해 Θ를 업데이트하고, 모든 j에 대해 sweep을 수행한다. - 수렴 기준은 ‖Θ⁻¹−S‖₁≤ε이며, 정리 3에 의해 알고리즘은 ε‑근사 해에 수렴한다. - 정리 4는 λ가 충분히 크면 특정 행·열이 완전히 0이 되어 해당 변수가 모든 다른 변수와 독립임을 보인다. BCD는 각 sweep당 O(p³) 연산을 필요로 하며, 실제 실험에서는 K=5~10 정도의 sweep만으로 수천 노드 규모에서 수렴한다. 2. **Nesterov 가속 1차 방법** - 문제 (1)을 “비스무스 + 최대화” 형태인   f(Θ)=ĝ(Θ)+max_{‖U‖_∞≤λ}⟨U,Θ⟩ 로 재구성한다. 여기서 ĝ(Θ)=−log det Θ+tr(SΘ)이며, U는 ℓ_∞ 제약을 갖는 대칭 행렬이다. - 변수 공간 Q₁을 양의 정부호 구간 aI ≼ Θ ≼ bI 로 제한하고, Q₂를 ℓ_∞ 볼록 집합으로 잡는다. - 각각에 대해 프롭 함수 d₁(Θ)=−log det Θ+log b, d₂(U)=½‖U‖₂²를 정의하고, Nesterov의 스무딩 기법을 적용해 부드러운 근사 함수 ˜f(Θ)=ĝ(Θ)+max_{U∈Q₂}{⟨U,Θ⟩−μd₂(U)} 를 만든다. - ˜f는 Lipschitz 연속 그라디언트를 가지며, 가속 경사 하강법을 적용하면 O(L/ε) 반복으로 ε‑정밀 해에 도달한다. 여기서 L≈b³/ a² 등으로 p에 대한 다항식 형태이며, 전체 복잡도는 O(p^{4.5}/ε)이다. 이 방법은 메모리 요구가 O(p²) 수준에 머무르며, 대규모 문제에서도 안정적인 수렴을 보인다. **이진 데이터 확장** 가우시안 경우와 달리 이진 마르코프 랜덤 필드의 로그 파티션 함수는 직접 계산이 어려우므로, Wainwright‑Jordan(2006)의 로그‑행렬식 근사를 사용한다. 즉,  log Z(Θ) ≈ ½ log det(Θ + diag(σ)) 와 같은 형태로 근사하고, 이를 기존 SML 프레임워크에 삽입한다. 결과적으로 동일한 BCD와 Nesterov 알고리즘을 그대로 적용해 이진 데이터에 대한 희소 최대우도 추정을 수행한다. **실험 및 평가** - *합성 데이터*: p=500, n=100 등 샘플이 부족한 상황에서도 λ를 적절히 조정하면 실제 그래프 구조를 높은 정밀도와 재현율로 복원한다. - *유전자 발현*: 마이크로어레이 데이터(수천 유전자)에서 알려진 생물학적 경로와 일치하는 희소 네트워크를 추출한다. - *상원 투표 기록*: 의원 간 투표 패턴을 기반으로 정치적 파벌을 나타내는 그래프를 얻으며, λ에 따라 파벌 간 경계가 명확히 드러난다. 알고리즘 별 성능을 비교하면, BCD는 실행 시간이 짧고 구현이 간단하지만, Nesterov 방법은 메모리 사용량이 현저히 낮아 5,000~10,000 노드 규모에서도 실행 가능하다. 두 방법 모두 기존 내·외부점법 대비 10~100배 빠른 수렴을 보이며, 동일한 λ에 대해 거의 동일한 그래프 구조를 산출한다. **결론** 본 연구는 고차원 확률 그래프 모델 선택 문제에 대해, ℓ₁ 정규화와 볼록 최적화 이론을 결합한 실용적인 해결책을 제공한다. 블록 좌표 하강법은 라소와의 직접적인 연결을 통해 직관적이고 빠른 구현을 가능하게 하며, Nesterov 가속 1차 방법은 이론적 복잡도 면에서 기존 내·외부점법을 크게 능가한다. 또한, 로그‑행렬식 근사를 이용해 이진 데이터에도 적용 가능함을 보임으로써, 다양한 분야(생물정보학, 정치학, 컴퓨터 비전 등)에서 희소 그래프 추정이 실용적으로 활용될 수 있음을 입증한다.