ℓ1 노름 재현 커널 Banach 공간을 활용한 정규화 최소제곱 회귀 학습률 향상
본 논문은 ℓ1‑노름을 갖는 재현 커널 Banach 공간(RKBS)을 구성하고, 이 공간이 선형 대표정리(linear representer theorem)를 만족함을 보인다. 이를 이용해 ℓ1‑정규화 최소제곱 회귀 문제의 학습 오류를 샘플링 오류, 가설 오류, 정규화 오류로 분해할 때 가설 오류를 자동으로 소거하고, 정규화 오류에 대한 더 강한 상한을 얻어 기존 연구보다 빠른 학습률을 달성한다. 주요 결과는 커널이 조건 (2.8)을 만족하면 R…
저자: Guohui Song, Haizhang Zhang
논문은 ℓ1‑정규화 최소제곱 회귀 문제의 학습률을 개선하기 위해, ℓ1‑노름을 갖는 재현 커널 Banach 공간(RKBS)을 새롭게 구성하고 그 특성을 분석한다. 서론에서는 기존 학습률 분석이 샘플링 오류, 가설 오류, 정규화 오류의 합으로 근사오차를 평가한다는 점을 지적하고, 선형 대표정리를 만족하는 재현 커널 공간을 이용하면 가설 오류를 자동으로 없앨 수 있음을 강조한다.
2절에서는 먼저 입력공간 X를 로컬하게 볼록한 위상공간으로 두고, 연속함수 공간 C₀(X)와 그 전치공간인 유한변동 측도 공간 M(X)를 정의한다. K는 실값 커널로, K(·,x)∈C₀(X)이며 span{K(·,x)}=C₀(X) 라는 조밀성 조건을 만족한다. 이를 이용해
\(\mathcal{B}=\{f_{\mu}= \int_X K(t,\cdot)\,d\mu(t) \mid \mu\in M(X)\}\)
를 정의하고, \(\|f_{\mu}\|_{\mathcal{B}}:=\|\mu\|_{TV}\) 로 노름을 부여한다. 이때 \(\mathcal{B}\)는 점평가 함수가 연속선형함수임을 보이며, 따라서 pre‑RKBS의 정의를 만족한다.
다음으로 K의 행렬 K
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기