스무스 분석을 통한 고차원 텐서 분해와 과다완전 학습

본 논문은 텐서 분해가 머신러닝 및 통계학에서 중요한 역할을 수행함에도 불구하고, 특히 과다완전(overcomplete) 상황—즉, 텐서의 랭크 R이 차원 n보다 크게 폴리노미얼 수준일 때—알고리즘적 어려움이 존재한다는 점을 지적한다. 기존의 정확한 분해 알고리즘은 R ≤ n 정도에서만 효율적으로 동작했으며, 과다완전 경우에는 조건수가 급격히 악화되어 노이즈에 취약했다. 이를 극복하기 위해 저자들은 “스무스 분석(smooth analysis)”이라는 프레임워크를 도입한다. 스무스 분석은 입력 파라미터가 적당한 가우시안 잡음(분산 ρ²/n)으로 섞여 있다고 가정함으로써, 최악의 적대적 인스턴스를 배제하고 평균적인(또는 거의 평균에 가까운) 경우에 대한 알고리즘 성능을 분석한다. 핵심 기술은 섞인 벡터들의 텐서곱이 강인하게 선형 독립임을 보이는 정리이다. 구체적으로, n×R 행렬 A^{(1)},…,A^{(\ell)}의 각 열을 독립적인 가우시안 잡음으로 섞어 \tilde A^{(j)}를 만든 뒤, 이들에 대한 Khatri‑Rao 곱 \tilde A^{(1)}⊙…⊙\tilde A^{(\ell)}의 Kruskal rank을 τ‑robust하게 R까지 보장한다. 여기서 τ는 (n/ρ)^{3\ell} 수준이며, 확률 1−exp(−C n^{1/3\ell})로 성립한다. 이 결과는 기존에 알려진 “Kruskal rank은 합으로 증가한다”는 사실을 넘어, 섞인 상황에서도 곱셈 형태로 강인하게 증가한다는 점에서 혁신적이다. 이 정리를 바탕으로 Leurgans‑et‑al