숨겨진 볼록성 딥러닝을 위한 희소 신호 처리 관점

본 논문은 “숨겨진 볼록성”이라는 개념을 중심으로, ReLU 활성화 함수를 갖는 신경망의 손실 함수가 특정 조건 하에서 볼록 최적화 문제로 변환될 수 있음을 체계적으로 제시한다. 서론에서는 딥러닝이 다양한 분야에서 성공을 거두었음에도 불구하고, 비볼록 손실 함수가 최적화와 이론적 이해를 방해한다는 점을 강조한다. 특히 신호 처리 분야에서는 안정성·견고성·해석 가능성이 필수적인데, 기존의 비볼록 최적화는 이러한 요구를 충족시키기 어렵다. 배경 섹션에서는 기본적인 신경망 구조와 수식적 정의를 정리한다. 입력 x∈ℝᵈ에 대해 은닉층은 W∈ℝ^{d×m}와 ReLU σ를 이용해 φ(x)=σ(xᵀW) 로 표현되고, 최종 출력은 α∈ℝᵐ와의 선형 결합 f(x)=φ(x)α 로 나타난다. 일반적인 학습 문제는 손실 ℓ와 정규화 R을 포함한 비볼록 최적화 \