사전 지식 활용 Kaczmarz와 LMS 알고리즘

본 논문은 시스템 식별(System Identification) 상황에서 사전 지식(prior knowledge)을 활용할 수 있는 새로운 적응형 추정 알고리즘을 제안한다. 기존 LMS 필터는 Wiener 해를 기반으로 유도되며, 이 과정에서 파라미터 θ(시스템 임펄스 응답)의 사전 평균·공분산 정보를 직접 반영하기 어렵다. 이를 극복하고자 저자들은 일반 선형 모델 y = Hθ + n 에 대해 MAP(Maximum A Posteriori) 추정식을 시작점으로 삼는다. MAP 추정은 사전 확률 p(θ)와 관측 확률 p(y|θ)를 곱한 뒤 로그를 취해 최소화하는 형태로 변환되며, 결과적으로 비용 함수 J(θ) = (y‑Hθ)ᵀCₙ⁻¹(y‑Hθ) + (θ‑θ̄)ᵀC_θ⁻¹(θ‑θ̄) 가 도출된다. 여기서 첫 번째 항은 측정 데이터에 대한 오차, 두 번째 항은 사전 정보에 대한 오차를 각각 나타낸다. J(θ)의 그래디언트를 구하면 ∇J = 2HᵀCₙ⁻¹(Hθ‑y) + 2C_θ⁻¹(θ‑θ̄) 가 된다. 이 그래디언트를 이용해 스텝 사이즈 µ를 곱한 steepest‑descent 업데이트 식을 만들면, 기존 Kaczmarz 알고리즘에 사전 항이 추가된 형태가 된다. 특히, Kaczmarz 알고리즘은 매 반복마다 하나의 행 h_i와 대응하는 측정값 y_i만 사용해 업데이트를 수행하므로, 사전 정보를 각 행마다 동일하게 적용할 수 있다. 이를 Knowledge‑Aided Kaczmarz(KAK)라 명명하고, 업데이트 식은 θ̂(k) = θ̂(k‑1) – µ_k