GROUSE와 증분 SVD의 등가성 탐구

본 논문은 저차원 서브스페이스를 온라인으로 식별하는 두 주요 알고리즘, 즉 부분 관측 데이터를 이용하는 GROUSE와 완전 관측 데이터를 전제로 하는 증분 특이값 분해(iSVD)를 비교·연결한다. 서론에서는 서브스페이스 추정과 SVD가 신호 처리, 센서 네트워크, 추천 시스템, 의료 데이터 등 다양한 분야에서 핵심 역할을 함을 강조하고, 특히 관측이 불완전한 상황에서의 어려움을 언급한다. 기존 연구에서 GROUSE는 최적화 기반의 rank‑one 업데이트로, 스텝 크기 ηₜ에 따라 지역 선형 수렴성을 보인다고 알려져 있다. 반면, Bunch와 Nielsen이 제시한 증분 SVD는 새로운 열을 추가할 때마다 U, Σ, V를 효율적으로 갱신한다. 논문의 핵심은 알고리즘 3이라는 변형 iSVD를 제안하는 것이다. 이 변형은 세 가지 주요 수정점을 가진다. 첫째, 관측되지 않은 성분을 현재 추정 서브스페이스 Uₜ와 wₜ를 이용해 보간한다(식 4). 둘째, 매 iteration마다 특이값 행렬 Σ를 1로 초기화하여 과거 정보의 축적을 방지한다. 셋째, Uₜ의 열에 임의의 직교 행렬 Wₜ를 곱해도 서브스페이스 자체는 변하지 않으며, 이는 알고리즘 간 동등성을 보이기 위한 자유도이다. 정리 1에서는 동일한 초기값과 동일한 관측 (vₜ, Ωₜ) 하에, wₜ와 rₜ가 영벡터가 아닌 경우 ηₜ와 Wₜ를 특정 식(5a)–(5d)와 (6)으로 정의하면 알고리즘 1(GROUSE)과 알고리즘 3(iSVD)의 업데이트가 완전히 일치함을 증명한다. 증명은 업데이트 행렬의 SVD를 전개하고, 두 비단위 고유값 λ를 구해 α와 β를 도출함으로 진행된다. α와 β는 각각 cos(σₜηₜ)·‖wₜ‖와 sin(σₜηₜ)·‖rₜ‖에 대응하며, 이 관계가 (5d)에서 정의된 ηₜ와 일치한다. 따라서, 두 알고리즘은 같은 서브스페이스 추정 경로를 공유한다는 결론에 도달한다. 실험에서는 n=200, d=10인 설정에서 무작위 직교 행렬 \bar U를 목표 서브스페이스로 두고, sₜ를 표준 정규분포에서 샘플링해 vₜ= \bar U sₜ를 생성한다. 초기 추정 U₀는 다른 무작위 직교 행렬로 설정한다. 관측 비율을 10%, 30%, 50%, 95%, 100%로 바꾸고, 잡음 수준을 10⁻⁵, 10⁻⁷ 등으로 조절해 네 가지 상황을 테스트한다. 성능 평가는 d−‖Uₜᵀ \bar U‖_F로 정의된 서브스페이스 오차를 사용한다. 결과는 다음과 같다. (1) 완전 관측(100%)에서는 알고리즘 4(Brand의 iSVD)가 가장 빠르게 수렴한다. (2) 관측 비율이 매우 낮을 때(10%)는 GROUSE가 이론적 최소 관측 수에 근접한 빠른 수렴을 보인다. (3) 중간 정도 누락(30%~50%)에서는 세 알고리즘이 비슷한 수렴 속도를 보이며, 잡음이 존재할 경우 알고리즘 3이 노이즈 억제 효과가 있어 약간 우위를 점한다. (4) β 파라미터를 0.95로 설정한 알고리즘 4는 초기에는 빠르게 수렴하지만, 이후 평탄해져 최종 오차가 크게 남는다. 결론에서는 GROUSE와 변형 iSVD가 동일한 수학적 구조를 공유함을 강조한다. 이는 두 알고리즘이 서로 다른 관점(최적화 vs 선형대수)에서 출발했음에도 불구하고, 적절한 파라미터 선택을 통해 동일한 서브스페이스 추정 경로를 따를 수 있음을 의미한다. 또한, 증분 SVD 프레임워크를 이용해 누락 데이터를 자연스럽게 보정하고, 실시간 행렬 완성이나 동적 신호 추적 등 다양한 온라인 응용에 적용 가능함을 시사한다. 향후 연구에서는 ηₜ와 Wₜ의 자동 적응 전략, 비정형 누락 패턴, 그리고 서브스페이스가 시간에 따라 변하는 상황에 대한 확장을 제안한다.