정규화된 LMS 알고리즘으로 보는 희소 및 그룹희소 적응 필터 설계

본 논문은 적응 시스템 식별 문제에 convex 제약을 도입한 정규화 LMS(Least‑Mean‑Square) 알고리즘 군을 제안하고, 그 이론적 우수성을 입증한다. 전통적인 LMS/NLMS는 비용 함수 Lₙ(ŵₙ)=½eₙ²에 기반해 계수를 μₙeₙxₙ 만큼 업데이트한다. 그러나 실제 시스템은 희소성, 그룹 구조 등 사전 정보를 가지고 있는 경우가 많으며, 이를 활용하면 수렴 속도와 정상 상태 오차를 크게 개선할 수 있다. 이를 위해 저자들은 제약식 fₙ(w)≤ηₙ(여기서 fₙ은 convex 함수, ηₙ는 상한) 를 비용 함수에 γₙ·fₙ(ŵₙ) 형태로 추가한다. 그 결과 정규화 LMS 업데이트 식은 ŵₙ₊₁ = ŵₙ + μₙeₙxₙ − ρₙ∂fₙ(ŵₙ) (ρₙ=γₙμₙ) 이 된다. 이 식은 기존 LMS에 서브그라디언트 항을 더한 형태이며, ρₙ가 0이면 원래 LMS와 동일하다. 정리 1은 입력이 백색 가우시안이고 잡음도 독립적인 경우, ρₙ를 0 ~ 2ρₙ* 범위 내에 두면 정규화 LMS가 기존 LMS보다 평균 제곱 편차(E