고속 저차원 행렬 근사와 SOR SVD 혁신

본 논문은 대규모 밀집 행렬에 대한 저차원 근사 문제를 해결하기 위해 Subspace‑Orbit Randomized Singular Value Decomposition(SOR‑SVD)이라는 새로운 랜덤화 분해 기법을 제안한다. 기존의 전통적 SVD나 Rank‑Revealing QR은 연산량이 O(mn min{m,n})에 달해 빅데이터 환경에서 비현실적이며, 부분 SVD 기반 Krylov 방법도 수치적 불안정성과 병렬화 어려움이라는 한계를 가진다. 이러한 배경에서 최근 무작위 샘플링을 이용한 저차원 근사 알고리즘이 각광받고 있지만, 대부분은 일방향(열) 투영에 의존하거나 두 측면을 모두 무작위 행렬로 처리해 근사 품질이 떨어지는 문제가 있었다. SOR‑SVD는 두 단계의 무작위 투영을 결합한다. 첫 번째 단계에서는 표준 가우시안 매트릭스 Ω∈ℝ^{n×ℓ}를 이용해 T₁=AΩ를 계산함으로써 A의 열 공간을 ℓ 차원으로 스케치한다. 두 번째 단계에서는 T₂=AᵀT₁을 통해 행 공간에 대한 스케치를 얻는다. 이때 T₂는 A의 행을 직접 무작위 행렬로 투영하는 것이 아니라, 이미 열 스케치를 거친 T₁을 이용해 행을 압축하므로, 행 공간에 대한 근사 Q₂가 보다 정확해진다. QR 분해를 적용해 Q₁∈ℝ^{m×ℓ}, Q₂∈ℝ^{n×ℓ}를 구하고, 압축 행렬 M=Q₁ᵀAQ₂를 형성한다. M은 원본 행렬보다 ℓ×ℓ 크기로 크게 축소된 형태이며, 여기서 k‑rank Truncated SVD를 수행해 Û_k, Σ̂_k, V̂_k를 얻는다. 최종 근사 Â=Q₁Û_k Σ̂_k V̂_kᵀQ₂ᵀ는 원본 행렬을 두 개의 정규 직교 기저와 작은 차원의 SVD 결과로 재구성한 것이다. 알고리즘은 기본적으로 데이터에 대해 세 번의 패스(Ω 생성, T₁, T₂ 계산)만 필요하고, 주요 연산이 행렬‑행렬 곱과 QR 분해이므로 BLAS‑3 수준에서 고성능 구현이 가능하다. 또한, 메모리 계층 간 데이터 이동을 최소화하는 Communication‑Avoiding QR(CA‑QR) 기법과 결합하면 현대 슈퍼컴퓨터나 GPU 클러스터에서도 최적의 효율을 달성한다. 정확도를 더욱 향상시키기 위해 파워 반복을 도입한다. 파워 반복은 T₁←A T₂, T₂←Aᵀ T₁을 q번 반복함으로써 스케치 공간을 A의 주요 특이벡터에 더 가깝게 정렬한다. 이 과정은 연산량을 O(q mnℓ)만큼 증가시키지만, 특이값이 천천히 감소하는 경우에도 근사 오차를 크게 줄인다. 이론적 분석에서는 Q₁, Q₂가 각각 A의 열·행 공간을 근사함을 보이고, M_k가 Q₁·M·Q₂ᵀ 형태의 제한된 서브스페이스 내에서 최적의 rank‑k 근사임을 정리 2를 통해 증명한다. 특히, Frobenius 노름과 Spectral 노름에 대한 상한식(식 13, 14)을 제시해 기존 TSR‑SVD가 갖는 행 공간 근사의 품질 저하를 정량적으로 설명한다. 또한, 특이값 하한에 대한 분석을 통해 SOR‑SVD가 원본 행렬의 주요 특이값을 보존함을 보인다. 실험에서는 합성 랜덤 행렬, 이미지 압축, 비디오 배경/전경 분리, 얼굴 이미지에서의 섀도우·스펙트럼 제거 등 다양한 시나리오를 테스트했다. 비교 대상은 기존 R‑SVD, TSR‑SVD, 그리고 전통적인 고정밀 SVD 구현이다. 결과는 동일한 ℓ와 q값에 대해 SOR‑SVD가 평균 10%~30% 낮은 근사 오차와 1.5배~2배 빠른 실행 시간을 기록했으며, 특히 파워 반복을 적용했을 때는 오차 감소율이 50% 이상 향상되는 것을 확인했다. 또한, CA‑QR 기반 구현은 메모리 대역폭 제한이 있는 환경에서도 높은 스케일러빌리티를 보였다. 결론적으로, SOR‑SVD는 두 측면의 무작위 스케치를 효율적으로 결합해 기존 방법보다 더 정확하고 빠른 저차원 근사를 제공한다. 파워 반복과 CA‑QR과 같은 현대 고성능 기법과 자연스럽게 결합될 수 있어, 대규모 데이터 분석, 실시간 영상 처리, 머신러닝 전처리 등 다양한 분야에서 실용적인 솔루션으로 활용될 수 있다.