구조화된 전체 최소제곱 문제의 새로운 해법

본 연구는 전통적인 전체 최소제곱(TLS) 방법이 가정하는 동일하고 독립적인 가우시안 잡음 모델을 넘어, 실제 데이터에서 흔히 나타나는 이질적인 잡음 수준, 알려진 오류 구조, 그리고 이상치에 강인한 손실 함수 등을 포괄하는 구조화된 전체 최소제곱(STLS) 문제를 정의한다. 기존의 특이값 분해(SVD) 기반 해법은 이러한 복합적인 제약을 만족시키지 못하므로, 새로운 수학적 접근이 필요하다. 논문은 먼저 STLS를 “가장 가까운 순위 감소 행렬 찾기”라는 형태로 재구성한다. 여기서 목표는 관측 행렬 \(\bar A\)와 오류 행렬 \(E\) 사이의 차이를 최소화하면서, 최종 행렬 \(A=\bar A-E\)가 목표 랭크 \(N-1\) 이하가 되도록 하는 것이다. 이때 오류 행렬은 선형 제약 \(L(E)=b\) 를 만족해야 하며, 가중 행렬 \(W\) 를 통해 각 원소별 잡음 수준을 반영할 수 있다. 순위 제약을 직접 다루는 것은 비볼록 최적화 문제이므로, 순위의 볼록 완화인 핵심노름(\(\|A\|_* = \sum_i \sigma_i(A)\))을 도입한다. 그러나 핵심노름은 저‑랭크 행렬을 촉진하도록 설계돼, 목표가 거의 완전한 랭크인 STLS 상황에서는 큰 근사오차를 발생시킨다. 이를 보완하기 위해 가중 핵심노름(re‑weighted nuclear norm) 접근법을 적용한다. 가중 핵심노름은 로그‑행렬식(log‑det) 휴리스틱을 선형화한 형태로, 특이값이 큰 성분에 낮은 가중치를 부여해 실제 랭크에 더 가깝게 근사한다. 가중치는 현재 해의 특이값을 이용해 \(\displaystyle w_i = \frac{1}{\delta + \sigma_i}\) 형태로 업데이트되며, 반복 과정에서 점차 정확한 랭크 근사를 제공한다. 알고리즘 구현은 증강 라그랑지안 방법(ALM)을 기반으로 한다. 목적함수와 제약조건을 결합한 라그랑지안에 제곱 페널티 항을 추가해, 라그랑지 승수 \(\Lambda\)와 페널티 파라미터 \(\mu\)를 순차적으로 업데이트한다. 구체적으로, 변수 \(A\)와 \(E\)를 교대로 최적화한다. \(A\)에 대한 업데이트는 핵심노름 또는 가중 핵심노름에 대한 특이값 임계값 연산(soft‑thresholding)으로 수행되며, \(E\)에 대한 업데이트는 \(\displaystyle \tilde E = \frac{1}{2\alpha+\mu}(\Lambda + \mu(\bar A - A))\) 로 계산한 뒤, 선형 제약 \(L(E)=b\) 를 만족하도록 투영한다. 가중 핵심노름의 경우, 가중 행렬 \(W_1, W_2\) 를 도입하고, 새로운 변수 \(D = W_1 A W_2\) 를 정의한다. 이때 \(A\)를 업데이트하기 위해 Sylvester 방정식 \(\displaystyle W_1^T (D - \frac{1}{\mu}\Lambda_2) W_2^T = A\) 를 풀어 정확한 해를 얻는다. 이러한 절차는 1차 연산만으로도 빠른 수렴을 보이며, 대규모 데이터에 적용 가능하도록 설계되었다. 실험에서는 두 가지 시나리오를 검증한다. 첫 번째는 합성 데이터로, 다양한 잡음 레벨과 일부 원소가 정확히 알려진 상황을 시뮬레이션한다. 여기서 가중 핵심노름 기반 STLS는 순수 핵심노름 및 기존 비볼록 로컬 최적화(예: gradient descent)보다 평균 제곱 오차가 30~50% 감소함을 보인다. 두 번째는 실제 생물학적 응용으로, 집단 평균 유전자 발현 데이터를 이용해 세포 유형별 및 생리적 상태별 발현량을 추정한다. 이 문제는 오류 구조가 블록 대각 형태이며, 일부 측정값은 높은 신뢰도를 가진다. 제안된 STLS 방법은 기존 방법에 비해 추정된 발현량이 실험적 검증 결과와 높은 상관관계를 보이며, 특히 희소한 세포 유형에 대한 추정 정확도가 크게 향상된다. 결론적으로, 논문은 구조화된 오류 모델을 갖는 TLS 문제를 convex하게 풀 수 있는 새로운 프레임워크를 제시한다. 가중 핵심노름은 순위 근사 정확도를 크게 높이며, ALM 기반 최적화는 효율적인 계산을 가능하게 한다. 이 접근법은 머신러닝, 신호 처리, 시스템 식별, 그리고 생물정보학 등 다양한 분야에서 복잡한 오류 구조를 다루는 데 유용한 도구가 될 것으로 기대된다.