가속·병렬·프록시멀 좌표 하강법: APPROX의 혁신
본 논문은 작은 좌표 집합에만 의존하는 다수의 볼록 함수 합을 최소화하기 위해, 가속화(accelerated), 병렬(parallel), 프록시멀(proximal) 특성을 동시에 갖는 새로운 확률적 좌표 하강법 APPROX를 제안한다. 평균 분리도 ¯ω와 평균 리프시츠 상수 ¯L에 기반한 새로운 안전 큰 단계 크기를 이용해 기존 방법보다 더 큰 스텝 사이즈와 O(1/k²) 수렴 속도를 달성한다. 또한 전체 차원 연산을 필요로 하지 않는 구현 방…
저자: Olivier Fercoq, Peter Richtarik
1. **연구 배경 및 필요성**
대규모 최적화 문제는 변수 수가 수백만에서 수억에 달하는 경우가 많아, 전통적인 전역 벡터 연산 기반 알고리즘은 메모리와 연산량에서 병목이 된다. 좌표 하강법은 변수 블록을 개별적으로 업데이트함으로써 이러한 문제를 완화하지만, 기존 연구는 가속화, 병렬 실행, 프록시멀(비스무스) 처리 중 하나만을 만족하거나, 전체 차원 연산을 요구해 실용성이 떨어졌다.
2. **문제 정의**
목표는
\
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기