희소 신호 복구의 정보 이론적 한계: 밀집 vs 희소 측정 행렬

본 연구는 고차원 희소 신호 복구 문제를 정보 이론적 관점에서 다루며, 특히 노이즈가 섞인 선형 관측 Y = Xβ + W (W ~ N(0, I)) 를 가정한다. 신호 β ∈ ℝ^p 는 정확히 k 개의 비제로 원소를 갖는 k‑희소 벡터이며, 지원 집합 S = {i : β_i ≠ 0} 를 정확히 복구하는 것이 목표이다. 복구 성공 여부는 0‑1 손실 ρ(·) 로 정의되며, 평균 오류 확률 p_err 가 n → ∞ 에서 0 으로 수렴하면 ‘asymptotically reliable’ 라고 한다. 문제 설정은 두 가지 주요 파라미터에 초점을 맞춘다. 첫 번째는 최소 신호값 β_min = min_{i∈S} |β_i| 로, 이는 지원 복구의 난이도를 직접적으로 결정한다. 두 번째는 측정 행렬의 희소성 정도를 나타내는 γ ∈ (0,1] 로, 행당 비제로 원소 비율을 의미한다. γ = 1 일 때는 전통적인 밀집 가우시안 행렬이며, γ < 1 일 때는 각 원소가 확률 γ 로 N(0,1/γ) 를, 나머지는 0 으로 설정된 ‘γ‑sparsfied’ 행렬이다. ### 1. 밀집 행렬에 대한 새로운 필요조건 Theorem 1 은 X 의 원소가 평균 0, 분산 1 인 임의의 i.i.d. 분포를 따를 때 적용된다. Fano 부등식을 이용해 모든 가능한 지원 집합 N = (p choose k) 에 대해 평균 오류 하한을 구하고, 이를 역으로 n 에 대한 하한으로 변환한다. 구체적인 식은 - f₁(p,k,β_min) = log(p choose k) – (1/2)·log(1 + k·β_min²·(1 – k/(p))) - f₂(p,k,β_min) = log(p – k + 1) – (1/2)·log(1 + β_min²·(1 – 1/(p – k + 1))) 이며, 최종 필요조건은 n > max{f₁, f₂, k‑1} 이다. 이 결과는 기존에 알려진 직관적 조건 n > log(p choose k) / (½ log(1 + k‖β‖²)) 보다 엄격하며, 특히 k>1 일 때 지원 집합 간 중복을 고려한다는 점에서 차별화된다. 표 1 에서는 다양한 (k, β_min) 스케일에 대해 충분조건(와인라이트