무한 폭 얕은 신경망의 희소성: 이중 인증서 접근법

본 논문은 무한 폭(shallow) 신경망을 측정 µ∈M(S^{d‑1}) 로 표현하고, 총변동(TV) 정규화를 적용한 학습 문제를 볼록 최적화 형태로 정식화한다. 1‑동차 ReLU 활성화 σ(z)=max{0,z} 를 사용함으로써, 신경망 출력은 F_µ(x)=∫_{S^{d‑1}}σ(⟨w,x⟩)dµ(w) 로 쓰이며, µ는 구면 S^{d‑1} 위의 유한 측정으로 제한할 수 있다. 학습 목적은 (1.3)식의 데이터 적합 항과 λ‖µ‖_{TV} 를 최소화하는 것이며, λ가 매우 작을 때는 hard‑constraint 형태인 (1.5) 로 수렴한다. 연구의 핵심은 dual certificate η(w)=∑_{i=1}^n p_i σ(⟨w,x_i⟩) 가 w‑공간에서 조각선형 함수를 만든다는 사실이다. 각 데이터 포인트 x_i 에 대해 ⟨w,x_i⟩>0 과 <0 로 구분되는 반평면이 구면 위에 하이퍼플레인 배열을 형성하고, 이 배열이 정의하는 영역을 “dual region”이라 부른다. 조각선형성 때문에 η는 각 dual region 내부에서 선형이며, 구면의 곡률로 인해 선형 함수가 구면 위에서 최대·최소값을 가질 수 있는 점은 하나뿐이다. 따라서 η가 절대값 1을 달성하는 점, 즉 최적해의 지원점은 각 dual region 당 최대 하나가 된다. 이러한 구조적 제한을 optimality condition K^*p∈∂‖µ‖_{TV} 와 결합하면, 모든 최소해 µ* 가 유한 개의 Dirac 델타(µ* =∑_{i=1}^N c_i δ_{w_i}) 로 표현된다는 것을 보인다. N의 상한은 dual region 개수에 의해 결정되며, 이는 데이터 수 n 과 차원 d 에만 의존하는 상수 C(d,n) 으로 명시된다. 기존 대표정리에서는 “존재는 보장” 수준에 머물렀지만, 본 논문은 “모든 최소해가 희소”임을 증명한다. 희소성의 유일성을 확보하기 위해 두 가지 충분조건을 제시한다. 첫째, dual certificate η가 지원점 w_i 에서 정확히 |η(w_i)|=1 을 만족하고, 그 외에서는 |η|<1 이어야 한다(극값 비퇴화 방지). 둘째, 지원점에 대응하는 신경망 출력 벡터 {σ(⟨w_i,x_j⟩)}_{j=1}^n 가 선형 독립이어야 한다. 저자는 일반 위치(generic position) 가정과 combinatorial argument 으로 이 선형 독립성을 보이며, 따라서 최소해는 유일하고 희소함이 보장된다. 다음으로 저노이즈·소정규화 상황에서의 “희소 안정성(sparse stability)”을 분석한다. 데이터 라벨에 작은 잡음 ζ 가 추가되고 정규화 파라미터 λ 가 충분히 작을 때, dual certificate 가 경계점에서 비퇴화(non‑degeneracy) 조건을 만족하면 지원점의 개수와 위치가 변하지 않는다. 특히 지원점이 dual region 내부에 있으면 η가 미분 가능하므로 추가 조건이 필요 없으며, 가중치 c_i 와 위치 w_i 가 각각 O(λ) 와 O(λ) 속도로 원래 최적해 (λ=0, ζ=0) 로 수렴한다. 이는 기존 초해상도(super‑resolution) 연구에서 제시된 “second‑order strict concavity” 조건을 ReLU 특수 구조에 맞게 구체화한 결과다. 마지막으로, 논문은 이론적 결과를 뒷받침하기 위해 dual region 의 개수와 구조를 combinatorial geometry 로 분석하고, 실험적 시뮬레이션을 통해 dual certificate 의 조각선형성, 지원점의 유일성, 그리고 저노이즈·소정규화 하에서의 수렴 속도를 확인한다. 전체적으로 이 연구는 무한 폭 신경망의 TV 정규화 문제를 dual certificate 의 기하학적 특성과 연결시켜, 희소성 존재·유일·안정성을 모두 엄밀히 증명함으로써 Barron 공간·대표정리 연구를 크게 확장한다.