구조 비선형 최적화를 위한 무단계 비단조 블록 근접 경사법

본 논문은 부드러운 비선형 함수와 블록‑분리 비스무스(non‑smooth) 함수를 합한 목적함수를 최소화하기 위해, 무작위로 블록을 선택하고 비단조 라인서치를 적용하는 변수 스텝사이즈 기반 블록 근접 경사법(RNBPG)을 제안한다. 수렴성은 거의 확실히(almost surely) 보장되며, 비볼록·볼록 경우 각각 서브선형 및 선형 수렴률을 얻는다. 실험은 ℓ₁ 정규화 최소제곱과 듀얼 SVM 문제에서 기존 RBCD 대비 현저히 빠른 수렴을 확인한…

저자: Zhaosong Lu, Lin Xiao

구조 비선형 최적화를 위한 무단계 비단조 블록 근접 경사법
1. 서론 및 배경 대규모 최적화에서 1차 방법, 특히 블록 좌표 하강법(RBCD)은 부분 그라디언트 계산 비용을 절감해 널리 사용된다. 그러나 기존 RBCD는 (i) 균등 블록 선택, (ii) 고정 스텝사이즈(1/L_i) 혹은 단순 증가식, (iii) 목표 함수값의 단조 감소에 의존한다는 제한이 있다. 이러한 제약은 비볼록 문제에서 수렴 속도를 저하시킬 뿐 아니라, 지역 최소점에 빠질 위험을 높인다. 본 논문은 이러한 한계를 극복하고자, 무작위 비단조 블록 근접 경사법(RNBPG)을 제안한다. 2. 문제 설정 및 가정 목표 함수는 F(x)=f(x)+Ψ(x) 형태이며, f는 부드럽고 좌표별 Lipschitz 연속 그라디언트를 갖는다(L_i>0). Ψ는 블록‑분리 형태 Ψ(x)=∑_{i=1}^n Ψ_i(x_i)이며, 각 Ψ_i는 비볼록·비스무스일 수 있다. 최적해 집합 X* 가 비어 있지 않으며, 최적값을 F* 로 정의한다. 3. 알고리즘 설계 (RNBPG) - 초기값 x⁰, 파라미터 η>1, σ∈(0,1), θ∈(0, \barθ], 정수 M≥0, 블록 선택 확률 p_i (∑p_i=1)를 설정한다. - 매 반복 k에서 블록 i_k 를 p_i 에 따라 무작위 선택하고, 초기 스텝사이즈 θ⁰_k∈

원본 논문

고화질 논문을 불러오는 중입니다...

댓글 및 학술 토론

Loading comments...

의견 남기기