빅데이터 최적화를 위한 병렬 좌표 하강법
본 논문은 부분적으로 분리 가능한 부드러운 볼록 함수와 간단한 분리 가능한 정규화 항의 합을 최소화하는 문제에 대해, 무작위 블록 좌표 하강법을 병렬화함으로써 이론적·실험적 속도 향상을 입증한다. 가용 프로세서 수와 함수의 분리 정도를 이용한 간단한 식으로 기대되는 가속도를 제시하고, 블록 수가 랜덤인 경우도 분석한다. 20 억 개 비영 요소를 가진 행렬에 대한 LASSO 실험에서 24코어로 2시간 내에 해결함을 보였다.
저자: Peter Richtarik, Martin Takav{c}
**1. 서론 및 배경**
대규모 데이터 분석과 머신러닝에서 고차원 최적화 문제는 흔히 부드러운 손실 함수와 ℓ₁, ℓ₂와 같은 간단한 정규화 항의 합으로 표현된다. 전통적인 전역 그라디언트 기반 방법은 메모리와 연산량이 급증해 실용성이 떨어진다. 좌표 하강법은 각 좌표(또는 블록)만을 선택적으로 업데이트함으로써 메모리 접근을 최소화하고, 특히 희소 데이터에 대해 효율적이다. 그러나 순차적인 좌표 업데이트는 병렬화가 어려워 현대 멀티코어·클러스터 환경에서 활용도가 제한적이었다.
**2. 문제 정의**
목표는
\
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기