희소 주성분 분석을 활용한 군집화와 특징 선택

본 연구는 희소 주성분 분석(Sparse PCA)을 이용해 고차원 데이터의 군집화와 특징 선택을 수행하는 새로운 프레임워크를 제시한다. 전통적인 PCA는 모든 변수에 비례하는 로딩을 갖기 때문에 해석이 어려운 반면, 희소 PCA는 로딩을 제한된 수의 변수만으로 구성함으로써 결과를 직관적으로 이해할 수 있다. 이를 위해 저자들은 먼저 희소 PCA 문제를 수학적으로 정의하고, 카드inality 제약을 1‑노름으로 완화한 반정밀 반정규화(SDP) 형태인 식(2)를 도입한다. 이 SDP는 변수 X∈Sⁿ에 대해 tr(AX) 최대화, tr(X)=1, ‖X‖₁≤k, X⪰0 라는 제약을 포함한다. 그 다음, SDP의 라그랑주 이중문제(4)를 매끄러운 근사 함수 f_μ(U) 로 변형한다. 여기서 μ는 정밀도 파라미터이며, f_μ(U)=μ log tr exp((A+U)/μ)‑μ log n 로 정의된다. 이 함수는 Lipschitz 연속적인 그래디언트를 가지며, ∇f_μ(U)=exp((A+U)/μ)/tr exp((A+U)/μ) 로 명시된다. 따라서 최적화는 그래디언트 기반 방법(Nesterov’s smooth optimization)으로 수행될 수 있다. 핵심 계산은 행렬 지수 exp((A+U)/μ) 를 구하는 것이며, 이는 전체 고유값 분해, Padé 근사, 부분 고유값 분해 세 가지 방법으로 구현된다. 전체 고유값 분해는 정확하지만 O(n³) 비용과 큰 메모리를 요구한다. Padé 근사는 스케일‑스쿼어 기법과 결합해 효율적이지만, 행렬 곱셈이 많아 실제 실험에서는 전체 고유값 분해보다 느렸다. 반면, 부분 고유값 분해는 필요한 고유값만을 ARPACK(또는 ARPAACK) 같은 라이브러리로 빠르게 구하고, 조건식(8)에 따라 필요한 고유값 수를 동적으로 결정한다. 실험 결과, 평균적으로 전체 고유값의 2‑3%만으로 충분한 그래디언트 근사를 얻을 수 있었으며, 이는 대규모 문제에서 메모리와 시간 모두 크게 절감한다. 알고리즘 복잡도는 O(ρ n √log n / ε) 반복이며, ρ는 희소성 제어 파라미터(‖U‖_∞≤ρ)이다. ρ가 클수록(즉, 더 강한 희소성) 더 많은 고유값이 필요하고 반복 횟수가 늘어나지만, 여전히 내부점 솔버 대비 수십 배 빠른 성능을 보인다. 실험에서는 콜론암 유전자 발현 데이터(62 샘플, 2000 유전자)를 사용했다. 데이터는 로그 변환 후 각 샘플을 평균 0, 표준편차 1로 정규화하였다. 공분산 행렬을 구성한 뒤, 제안된 DSPCA 구현을 적용해 차원 10‑1000까지 실험하였다. 표 1은 SeDuMi와 DSPCA의 실행 시간 및 설명된 분산 비율을 비교한다. SeDuMi는 차원 60 이상에서 메모리 부족으로 중단되는 반면, DSPCA는 차원 1000에서도 0.99초 내외의 시간으로 36‑45%의 분산을 설명하였다(전통 PCA는 약 50%). 또한, 희소 로딩을 통해 선택된 유전자는 기존 재귀적 특징 제거(RFE)나 단순 순위 기반 방법에 비해 생물학적 의미가 명확히 드러났다. 예를 들어, ρ=32일 때 14개의 유전자가 선택되었으며, 이들 유전자는 문헌에서 콜론암 진행과 연관된 것으로 보고된 바 있다. 그래프(그림 1‑2)는 부분 고유값 분해가 전체 고유값 분해와 Padé 근사보다 실행 시간이 크게 낮으며, 요구되는 고유값 비율이 차원에 따라 거의 일정하게 유지되는 모습을 보여준다. 특히, 희소성 파라미터 ρ가 증가할수록 요구되는 고유값 비율이 상승하고, 이에 따라 실행 시간과 듀얼리티 갭이 변한다. 결론적으로, 논문은 (1) SDP 기반 희소 PCA를 매끄러운 근사와 부분 고유값 그래디언트로 효율적으로 해결할 수 있음을, (2) 대규모 유전자 발현 데이터에 적용해 해석 가능한 군집화와 핵심 특징(유전자) 선택이 가능함을, (3) 기존 내부점 솔버 대비 메모리와 시간 효율성이 현저히 우수함을 입증한다. 향후 연구에서는 GPU 가속, 블록‑Krylov 방법, 그리고 비선형 확장(예: 다중 스파스 컴포넌트) 등을 통해 더 큰 차원과 복잡한 데이터에 적용하는 방안을 모색할 수 있다.