L1 볼을 이용한 적응형 온라인 선형 회귀
본 논문은 개별 시퀀스에 대한 온라인 선형 회귀 문제를 다루며, 예측자가 $T$ 라운드 후에 $\ell^1$-볼 안의 최적 선형 예측기와 거의 동일한 손실을 달성하도록 설계된 알고리즘을 제시한다. 차원 $d$와 시간 horizon $T$의 비율에 따라 두 가지 정규화 구간을 분석하고, $d=\sqrt{T}\,U X/(2Y)$ 근처에서 최소극대 regret이 전이하는 현상을 보인다. 또한 $U$, $X$, $Y$, $T$를 사전에 알 필요 없는 …
저자: Sebastien Gerchinovitz (DMA, CLASSIC), Jia Yuan Yu
본 연구는 온라인 선형 회귀 문제를 개별 시퀀스 모델링 관점에서 재조명한다. 전통적인 온라인 학습은 보통 입력 데이터와 손실이 확률적 혹은 평균적인 가정 하에 분석되지만, 여기서는 어떠한 확률분포도 가정하지 않은 “adversarial” 설정을 채택한다. 목표는 $T$ 라운드 동안 예측값 $\hat y_t = w_t^\top x_t$ 를 생성하는 알고리즘이, 동일한 입력 시퀀스에 대해 $\ell^1$-볼 $B_1(U)=\{u\in\mathbb{R}^d:\|u\|_1\le U\}$ 안에 존재하는 최적 파라미터 $u^\star$와 비교했을 때 누적 제곱 손실 차이, 즉 regret
\
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기