재귀적 일무한 그룹 라쏘 알고리즘

본 논문은 실시간 데이터 스트림에 대해 그룹 희소성을 고려한 적응형 필터링 기법을 개발하고, 그 이론적·실험적 성능을 검증한다. 먼저 서론에서는 RLS가 빠른 수렴과 낮은 정상 상태 오차를 제공하지만, 파라미터가 희소하거나 그룹 구조를 가질 때 일반적인 RLS는 과적합과 불필요한 계산량을 초래한다는 점을 지적한다. 일반적인 ℓ₁ 정규화는 개별 계수의 희소성을 촉진하지만, 그룹 내부의 상관관계를 반영하지 못한다. 이를 보완하기 위해 ℓ₁,∞ 혼합 노름을 도입한 그룹 라쏘가 제안되었으며, 기존 연구는 대부분 오프라인 최적화에 머물렀다. 따라서 실시간 시스템에 적용 가능한 재귀적 형태가 필요하다는 동기가 제시된다. 문제 정의 섹션에서는 표준 RLS의 최소제곱 목표식(1)을 소개하고, 이를 행렬 Rₙ과 벡터 rₙ으로 재귀적으로 업데이트하는 전통적인 RLS 알고리즘(5)-(9)을 정리한다. 이어서 ℓ₁,∞ 그룹 라쏘의 정규화 목표식(10)을 제시하고, 이 문제는 비선형이면서 비미분 가능하므로 직접 풀 경우 O(p³)의 복잡도가 발생한다는 점을 강조한다. 핵심 기여는 섹션 III에서 제시된 온라인 동차 경로(homotopy) 업데이트이다. 먼저 β와 λ 두 파라미터를 도입해 문제를 f(β,λ) 형태로 일반화한다. β=0일 때는 이전 시점의 통계량만 사용하고, β=1일 때는 현재 샘플을 완전히 반영한다. λ는 정규화 강도를 조절한다. 두 파라미터를 단계적으로 변환하면서 해의 연속성을 유지하기 위해, 해가 변하는 구간을 구분하고 각 구간에서 활성 그룹 집합(P), 비활성 그룹 집합(Q), 그리고 각 그룹 내 최대값 인덱스(A)와 나머지 인덱스(B)를 고정한다. 이때 서브그라디언트 조건(16)-(19)을 만족하는 z를 이용해 최적성 방정식(20)을 전개하고, 행렬 H와 벡터 v를 정의해 선형 시스템 Hv = b - λe 로 변환한다. H는 SᵀR_AA S 등으로 구성된 블록 행렬이며, S는 각 활성 그룹 내 최대값들의 부호를 담은 행렬이다. H가 비특이이면 v = H⁻¹(b - λe) 로 해를 구할 수 있다. Theorem 1은 β가 변할 때 H와 d, g 등을 이용해 해와 서브그라디언트를 폐쇄형으로 업데이트하는 식을 제공한다. 여기서 d =