소프트맥스 유령이 밝힌 안전 스텝 크기 제한

본 연구는 교차 엔트로피 손실을 최적화할 때 흔히 사용되는 로컬 테일러 모델(1차 혹은 2차 근사)이 실제 손실 함수와 일치하는 범위가 복소 평면에 존재하는 가장 가까운 특이점에 의해 제한된다는 새로운 시각을 제시한다. 기존의 L‑smoothness 이론은 그래디언트의 Lipschitz 상수 L을 기반으로 η<2/L이라는 단계 크기 제한을 제공하지만, 이는 실수 축상의 곡률만을 고려한다. 반면, 복소 영역에서의 특이점은 실수 축상의 함수값이 매끄럽더라도 테일러 급수의 수렴을 방해한다. 논문은 이를 “소프트맥스 유령”이라 명명하고, 소프트맥스 파티션 함수 F(z)=∑ₖe^{zₖ}가 복소 평면에서 영점을 갖는 사실을 이용해 손실 ℓ(τ)=−log F(z(θ+τv))의 복소 특이점을 분석한다. 먼저, 복소 해석학의 기본 정리인 Cauchy‑Hadamard 정리를 인용해 테일러 급수는 확장점으로부터 가장 가까운 비해석점까지의 거리 R 안에서만 수렴한다는 점을 강조한다. 이때 R은 실수 축상의 곡률과 무관하게 결정된다. 이론적 예시로 f(x)=1/(x+a)와 같은 함수는 실수 축에서 완전히 매끄럽지만, 복소 평면의 영점 x=−a가 수렴 반경을 a로 제한한다는 것을 보여준다. 교차 엔트로피 손실에 적용하면, 이진 분류의 경우 로그 파티션 log(1+e^{x})가 iπ에서 영점을 가지므로 수렴 반경이 정확히 π가 된다. 다중 클래스 상황에서는 로그잇을 업데이트 방향 v에 대해 1차 선형화(zₖ(θ+τv)≈zₖ(θ)+aₖτ)하면 파티션은 ∑ₖe^{aₖτ} 형태가 되고, aₖ의 최대·최소 차이 Δₐ가 복소 영점의 거리인 iπ/Δₐ를 결정한다. 따라서 수렴 반경의 하한은 ρₐ=π/Δₐ이며, 이는 aₖ를 한 번의 Jacobian‑vector product으로 얻을 수 있어 실시간 계산이 가능하다. 논문은 이 하한을 이용해 정규화된 스텝 크기 r=τ/ρₐ를 정의하고, r<1이면 모든 실험에서 손실이 감소하고 모델이 안정적으로 학습됨을 입증한다. 실험에서는 6가지 아키텍처(MLP, CNN, TinyTransformer 등)와 다양한 업데이트 방향을 대상으로 단일 스텝 테스트를 수행했으며, r가 1을 초과하는 순간 정확도가 급격히 하락하는 현상이 일관되게 관찰되었다. 또한 온도 스케일링을 적용해 Δₐ를 인위적으로 감소시키면 r의 임계값 분포가 크게 좁아져, ρₐ가 실제 학습 안정성의 핵심 지표임을 확인했다. 실용적인 응용으로, 논문은 τ≤ρₐ를 강제하는 간단한 컨트롤러를 설계한다. 이 컨트롤러는 학습률 스파이크(최대 10 000배) 상황에서도 손실 폭발을 방지하고, 기존 그래디언트 클리핑이 실패하는 경우에도 안정적인 학습을 유지한다. 특히 ResNet‑18을 CIFAR‑10에 적용했을 때, 사전 설계된 학습률 스케줄 없이도 85.3% 정확도를 달성했으며, 이는 동일 조건에서 최적화된 고정 학습률(82.6%)을 능가한다. 논문의 기여는 크게 세 가지이다. 첫째, 복소 특이점에 기반한 “테일러 수렴 반경”이라는 새로운 최적화 제약을 제시하고, 이는 기존의 곡률 기반 이론과는 독립적인 제한임을 증명한다. 둘째, 로그잇 선형화를 통해 Δₐ에 의존하는 닫힌 형태의 하한 ρₐ=π/Δₐ를 도출하고, 이를 한 번의 JVP로 효율적으로 계산할 수 있게 한다. 셋째, 광범위한 실험을 통해 ρₐ가 실제 학습 안정성을 예측하고 제어하는 데 유용함을 입증한다. 마지막으로, 논문은 다중 스텝 동역학, 활성화 함수에 의한 추가 특이점, 그리고 최적화 알고리즘에 대한 확장 가능성을 논의한다. 복소 평면에서의 특이점 분석이 딥러닝 최적화 이론에 새로운 시각을 제공하며, 특히 고신뢰도와 대규모 학습 환경에서 학습률 스케줄링 없이도 안전한 업데이트를 보장하는 실용적인 도구가 될 수 있음을 강조한다.