경로 조건 훈련을 통한 ReLU 신경망 스케일링 원칙

본 연구는 ReLU 활성화 함수를 사용하는 신경망이 갖는 스케일링 대칭성을 체계적으로 활용하는 새로운 훈련 기법을 제시한다. 서론에서는 현재 딥러닝 모델이 직면한 학습 비용 문제와, 특히 대규모 언어 모델에서 매 6개월마다 학습 비용이 두 배가 되는 현상을 언급하며, 최적화 역학에 대한 이해와 이를 실제 알고리즘에 적용하는 두 축의 필요성을 강조한다. 이어서 ReLU 네트워크가 양의 동차성을 통해 가중치와 편향을 특정 비율로 동시에 스케일링해도 함수값이 변하지 않는 사실을 소개하고, 기존 연구들이 이 대칭을 이용해 보존 법칙, 암시적 편향, 풍부한 특징(regime) 등을 분석했음을 정리한다. 또한, G‑SGD, Path‑SGD, Equi‑Normalization 등 대칭을 활용한 최적화 기법들을 언급하면서, 현재까지는 실용적인 직관에 의존한 설계가 대부분이며, 원칙적인 기준이 부족함을 지적한다. 본 논문의 핵심 아이디어는 “경로‑리프팅”이라는 중간 표현 Φ(θ)를 도입해 파라미터 공간과 함수 공간 사이의 중복을 제거하고, 손실을 ℓ(Φ) 형태로 팩터화한다는 점이다. 이를 위해 먼저 간단한 1‑뉴런 ReLU 모델을 예시로 들어, 파라미터 (u, v, w)와 스케일링 λ에 대해 f_θ(x)=u·ReLU(vx+w) 가 λ에 따라 동일함을 보이며, Φ(θ)=(uv, uw)ᵀ 로 정의한다. 이때 Φ는 스케일링에 불변이며, 손실 L(θ)=ℓ(Φ(θ)) 로 표현될 수 있음을 확인한다. 그 다음, 일반적인 경사 흐름 \dotθ=−∇L(θ) 가 Φ‑공간에서 \dotz=−P_θ∇ℓ(z) (여기서 P_θ=∂Φ/∂θ·(∂Φ/∂θ)^⊤) 로 변환된다는 점을 수식 (7) 로 제시한다. P_θ는 “경로‑커널”이라 불리며, lifted space에서의 메트릭 텐서 역할을 한다. 이때 P_θ가 단위 행렬에 가까우면, lifted space에서의 흐름이 단순히 −∇ℓ(z) 와 동일해 최적화가 가장 효율적으로 진행된다고 가정한다. 따라서 저자들은 파라미터를 재스케일링 θ′=Dθ (D는 대각 행렬)함으로써 Φ는 변하지 않지만 P_θ는 D에 따라 달라진다는 사실을 이용한다. 여기서 목표는 ‖P_{Dθ}−I‖_F^2 를 최소화하는 D를 찾는 것이다. 이를 위해 로그 스케일 변수 λ_i=log d_i (각 뉴런별 스케일링)로 변환하고, 1차 미분과 2차 미분을 이용해 Newton‑like 업데이트를 수행한다. 알고리즘은 각 레이어별로 독립적으로 계산 가능하며, 전체 복잡도는 O(p) 수준으로 매우 효율적이다. 이 절차를 “PathCond”라 명명하고, 초기화 직후 혹은 훈련 중 주기적으로 적용할 수 있다. 이론적 분석에서는 무작위 가우시안 초기화와 네트워크 깊이 H, 폭 W 가 P_θ의 스펙트럼에 미치는 영향을 조사한다. 깊이가 깊어질수록 경로 가중치 곱이 지수적으로 변동해 P_θ가 매우 비대칭적이 되지만, PathCond은 이러한 불균형을 자동으로 보정한다. 또한, NTK(K_θ)와의 관계를 살펴보면, K_θ=Z P_θ Z^⊤ 로 분해되며, 여기서 Z는 활성화 패턴에 의존한다. 따라서 P_θ를 정규화하면 NTK의 최소 고유값이 증가하고, 이는 기존 이론(예: Jacot et al., 2018)에서 수렴 속도를 결정하는 핵심 요소와 직접 연결된다. 실험 섹션에서는 CIFAR‑10, MNIST, Tiny‑ImageNet 데이터와 MLP, VGG, ResNet‑18 등 다양한 아키텍처에 PathCond을 적용한다. 주요 결과는 다음과 같다. (1) 초기화 단계에서만 PathCond을 수행했을 때, 기본 SGD 대비 1.5배~2배 빠르게 동일 정확도에 도달한다. (2) 극단적인 스케일링(λ≫1 또는 λ≪1)으로 초기화된 모델에서도 PathCond이 손실 발산을 방지하고 안정적인 학습을 가능하게 한다. (3) 학습 곡선의 변동성이 감소해 하이퍼파라미터 튜닝이 용이해진다. (4) 파라미터 수가 수백만 이상인 대규모 모델에서도 알고리즘의 실행 시간이 전체 훈련 시간의 1~2% 수준에 불과함을 보인다. 결론에서는 PathCond이 “스케일링 대칭을 정량적 기하학적 기준으로 전환”한 최초의 방법임을 강조한다. 기존의 경험적 정규화 기법과 달리, 경로‑커널 정규화를 직접 목표함으로써 이론적 보장을 제공하고, 실제 실험에서도 일관된 가속 효과를 입증한다. 향후 연구 방향으로는 비 ReLU 활성화, 컨볼루션 커널의 구조적 스케일링, 그리고 자연스러운 경사 흐름과의 결합을 통한 완전한 자연 그라디언트 접근법 개발을 제시한다.