압축 회귀와 프라이버시 보호를 위한 희소성 이론

본 논문은 고차원 회귀 분석에서 데이터 규모와 프라이버시 두 가지 핵심 문제를 동시에 해결하기 위해 “압축 회귀”라는 새로운 프레임워크를 제안한다. 입력 행렬 X∈ℝⁿˣᵖ (n ≫ p)와 응답 벡터 Y∈ℝⁿ을 무작위 선형 변환 Φ∈ℝᵐˣⁿ (m ≪ n) 혹은 무작위 affine 변환 ΦX+A 로 압축한다. 압축된 행렬 𝑋̃와 압축된 응답 𝑌̃는 공개되며, Φ와 A는 비밀로 유지된다. 이렇게 하면 원본 데이터는 저장·전송 비용이 크게 절감되고, 개인 정보가 노출될 위험이 최소화된다. 연구는 세 가지 주요 목표를 설정한다. 첫째, 압축된 데이터만으로도 희소 회귀 모델의 변수 선택 일관성(스파스시스턴스)을 보장한다. 이를 위해 저자는 압축 샘플 수 m이 C₁ s log(p)/s ≤ m ≤ C₂ n log n (s는 실제 비영 계수 개수)와 정규화 파라미터 λₘ이 λₘ→0, mλₘ² / log p → ∞ 를 만족하면, 압축 라쏘 해 𝛽̂ₘ가 원본 변수 집합을 확률 1에 가깝게 복원한다는 정리 3.4를 증명한다. 증명은 무작위 투영 하에서의 인코히런스(S‑Incoherence)와 농축(concentration) 특성을 이용해 기존 Gaussian Ensemble 결과를 일반화한다. 특히, Φ가 서브가우시안 행렬이면 열 간 상관이 충분히 낮아 인코히런스 조건을 만족한다는 점을 보인다. 둘째, 압축된 라쏘가 예측 정확도(퍼시스턴스)에서도 원본 라쏘와 동등함을 보인다. 정리 4.1은 ℓ₁ 볼의 반경 Lₙ,ₘ이 m/ log(np) 의 1/4 이하일 때, 압축 라쏘의 예측 위험 R(𝛽̂ₘ)=E