l1 정규화 이상치 분리 및 회귀

본 논문은 강건 추정(Robust Estimation) 분야에서 계산 효율성과 정확성을 동시에 개선한 새로운 방법론인 LOIRE(l1-regularized Outlier Isolation and Regression)를 소개한다. **서론**에서는 기존 강건 추정기(Least Absolute Deviations, MM-estimator 등)의 높은 정확도에도 불구하고 계산 부담이 커 대규모 데이터 적용에 한계가 있음을 지적하며, 이를 해결할 간결하고 효율적인 모델의 필요성을 제기한다. **LOIRE 모델 및 알고리즘**에서는 관측치 y = Ax + b + e (A: 시스템 행렬, x: 미지수, b: 이상치, e: 가우시안 잡음) 모델 하에, l1 정규화 항을 도입한 최적화 문제 min λ/2 ||y - Ax - b||_2^2 + ||b||_1 를 정의한다. 이 문제를 해결하기 위해 블록 좌표 하강법(BCD)을 적용한 'ADD A' 알고리즘을 제안한다. 이 알고리즘은 x와 b를 번갈아 최적화하며, x-step에서는 OLS 해를, b-step에서는 소프트 임계값 함수를 통해 각 좌표별 폐쇄형 해를 구한다. 저자는 이 반복 알고리즘이 목적 함수가 볼록함을 이용하여 전역 최적해로 수렴함을 증명한다. **베르누이 추정 모델(BEM)**에서는 이상치 발생을 베르누이 확률 과정으로 모델링하는 것이 더 적합하다고 주장하며, l0-norm 최소화 문제인 min ||y - Ax - b||_0 s.t. ||y - Ax - b||_2 <= t 를 유도한다. 이 모델은 이상치 영향을 완전히 제거하면 이론상 최적이지만 계산적으로 난해하다. 그러나 중요한 이론적 명제를 통해 "이상치의 위치를 정확히 안다면, 나머지 정상 데이터만으로 OLS를 수행함으로써 BEM 해를 얻을 수 있다"는 점을 보인다. **근사 베르누이 추정**은 위 이론적 통찰을 실용화한 것이다. 먼저 LOIRE를 실행하여 이상치 위치를 추정하고, 해당 위치의 데이터를 제거한 후, 남은 데이터에 OLS를 적용한다. 이는 LOIRE의 고속 탐지 능력과 BEM의 이론적 정확성을 결합한 하이브리드 접근법으로, 실험에서 높은 효율성과 정확성을 동시에 달성했다. **LOIRE의 확장: 강건 순위 분해(RRF)**에서는 행렬 형태의 문제로 LOIRE를 일반화한다. 오염된 데이터 행렬 Y를 저랭크 성분 AX와 희소 이상치 성분 B의 합으로 분해하는 모델 min λ/2 ||Y - AX - B||_F^2 + ||B||_1 s.t. ||A_{:,j}||_2 = 1 를 제안한다. 이는 배경 모델링, 얼굴 인식 등에서 발생하는 대규모 손상으로부터 저랭크 구조를 복원하는 데 유용하다. 이 문제를 해결하기 위해 행렬 버전의 BCD 알고리즘인 'AMD A'를 제시하며, A와 X는 SVD를 통해, B는 요소별 소프트 임계값 연산을 통해 업데이트한다. **실험** 부분에서는 시뮬레이션 데이터와 공개 데이터셋을 이용해 제안 방법의 성능을 입증한다. 강건 회귀 실험에서는 LOIRE와 근사 BEM이 기존의 ADMM-LAD, Fast S-estimator, Fast LTS, MM-estimator 등과 비교해 유사하거나 우수한 정확도를 유지하면서 계산 시간을 크게 단축했다. 강건 순위 분해 실험에서는 제안한 RRF 방법이 RPCA의 최신 알고리즘(Inexact ALM)과 GoDec의 최신 알고리즘(SSGoDec)과 비교했다. 결과적으로 RRF는 RPCA 대비 압도적으로 빠른 속도(수백 배 빠름)와 높은 F-score를 기록했으며, GoDec 대비해서도 더 빠른 속도를 보이면서 유사한 복원 정확도를 유지하는 것으로 나타나, 제안 방법의 실용적 우수성을 강력히 뒷받침한다.