무작위 커널 행렬의 스펙트럼 노름과 프라이버시 왜곡 한계

** 이 논문은 두 가지 주요 목표를 갖는다. 첫 번째는 고차원 서브가우시안 데이터에 대해 다항식 및 가우시안 커널을 사용해 만든 무작위 커널 행렬 K의 스펙트럼 노름(최대 고유값)에 대한 비점근적 상한을 정확히 분석하는 것이다. 두 번째는 이러한 스펙트럼 분석을 활용해 커널 릿지 회귀 모델의 계수를 공개할 때 필요한 최소 노이즈 양을 속성 프라이버시 관점에서 하한으로 제시함으로써, 프라이버시 보호와 학습 정확도 사이의 근본적인 트레이드오프를 밝히는 것이다. **1. 무작위 커널 행렬의 정의와 가정** 입력 벡터 x₁,…,x_n∈ℝ^d가 서로 독립이며 서브가우시안 분포를 따른다고 가정한다. 서브가우시안은 모든 1‑차원 투영이 지수 꼬리를 갖는 확률 변수군으로, 정규, 베르누이, 구형, 유한 구간 균등분포 등을 포함한다. 이러한 가정은 머신러닝 이론에서 흔히 사용되는 현실적인 데이터 모델이다. **2. 다항식 커널에 대한 스펙트럼 노름 상한** 다항식 커널은 κ_p(x,y)=(a⟨x,y⟩+b)^p 형태이며, 차수 p가 자연수이다. K_{ij}=κ_p(x_i,x_j) 로 정의된 행렬은 각 원소가 ⟨x_i,x_j⟩의 p 차 다항식으로 전개된다. 저자들은 다음과 같은 전략을 사용한다. - 행렬을 대각 성분 D와 비대각 성분 O로 분리한다. D는 각 i에 대해 κ_p(x_i,x_i)이며, O는 i≠j에 대한 항이다. - 서브가우시안 벡터의 고차 모멘트가 d^{p/2} 수준으로 집중한다는 사실을 이용해, D의 최대값은 O(d^p)이다. - O에 대해서는 조건부 기대값을 빼고 남은 편차 행렬을 서브가우시안 행렬로 모델링한다. 마코프 부등식·마틴게일 차등을 적용해 ‖O‖가 O(d^p n) 이하임을 고확률(1−exp(−c d))로 보인다. 결과적으로, 전체 행렬에 대해 ‖K‖ ≤ C·(d^p n) 라는 비점악적 상한을 얻는다. 여기서 C은 절대 상수이며, 차수 p가 클수록 d^p가 지배적이다. **3. 가우시안 커널에 대한 스펙트럼 노름 상한** 가우시안(RBF) 커널은 κ_g(x,y)=exp(−a‖x−y‖²) 형태이다. 서브가우시안 가정 하에서 ‖x_i−x_j‖²는 평균 d·σ²에 대해 강하게 집중한다. 따라서 exp(−a‖x_i−x_j‖²)는 대부분 O(1)이며, 행렬 K는 거의 대각 행렬에 가까워진다. 저자들은 다음과 같이 분석한다. - 기대값 행렬 E