학습 가능한 활성화 함수로 딥 뉴럴 네트워크 성능 향상

본 논문은 딥 뉴럴 네트워크에서 활성화 함수가 고정된 형태로 사용되는 전통적인 접근법을 탈피하여, 각 뉴런마다 독립적으로 학습 가능한 조각선형(Adaptive Piecewise‑Linear, APL) 활성화 함수를 제안한다. 기존의 ReLU, tanh, sigmoid 등은 사전에 정의된 비선형 형태를 갖지만, APL은 파라미터 aₛ와 bₛ를 통해 S개의 힌지 함수를 조합함으로써 입력에 따라 다양한 기울기와 전이를 구현한다. 수식적으로 h_i(x)=max(0,x)+∑_{s=1}^S a_{s,i}·max(0,−x+b_{s,i})이며, 여기서 aₛ는 각 힌지의 기울기, bₛ는 힌지 위치를 결정한다. 이러한 파라미터는 역전파 과정에서 다른 가중치와 동일하게 SGD 등으로 최적화된다. 이론적 분석에서는 모든 연속적인 조각선형 함수 g(x)가 충분히 큰 S와 적절한 aₛ, bₛ를 통해 정확히 표현될 수 있음을 정리 1로 증명한다. 조건 1은 x가 충분히 클 때 g(x)=x, 즉 오른쪽 무한대에서 기울기가 1이고 절편이 0임을 요구한다. 조건 2는 x가 충분히 작을 때 기울기가 일정(α)이며 절편이 −c인 선형 형태를 요구한다. 이러한 제약은 실제 딥 네트워크에서 선형 변환 w·g(x)+z와 결합될 때 실질적인 제한이 사라지므로, APL은 매우 일반적인 비선형 함수를 학습할 수 있다. 비교 대상으로는 Maxout과 Network‑in‑Network(NIN)를 선택하였다. Maxout은 K개의 선형 함수를 입력으로 받아 최대값을 출력하는데, APL과 동일한 기능을 구현하려면 O(SK)배 이상의 파라미터가 필요하다. NIN은 각 패치에 MLP를 적용해 복잡한 변환을 가능하게 하지만, 파라미터가 크게 늘어나며 개별 뉴런 수준에서의 미세한 비선형 조정은 제공하지 않는다. 반면 APL은 전체 네트워크 파라미터 대비 추가 파라미터가 2SM에 불과해, 특히 합성곱 신경망에서 각 피처 맵의 각 위치마다 다른 비선형성을 적용하는 것이 실용적이다. 실험은 CIFAR‑10, CIFAR‑100, 그리고 고에너지 물리학의 Higgs→ττ 데이터셋을 대상으로 수행되었다. CIFAR‑10에서는 3개의 합성곱 층(96, 128, 256 필터)과 2개의 풀링 층, 2개의 2048‑유닛 완전 연결층을 사용했으며, APL의 복잡도 파라미터 S를 5로 설정하였다. 기본 ReLU 기반 CNN의 오류율은 12.61%였으나, APL을 적용한 동일 구조에서는 11.38%로 약 1.2%p 감소하였다. NIN 구조와 결합했을 때는 오류율이 7.51%까지 낮아져 기존 최고 기록을 넘어섰다. CIFAR‑100에서도 S=2로 설정해 30.83% 오류율을 달성, 역시 기존 최고 성능을 초과하였다. Higgs 데이터셋은 80 백만 개의 충돌 이벤트(25개 연속형 특성)로 구성되며, 목표는 신호와 배경을 구분하는 이진 분류이다. 기존 연구에서는 8‑층 DNN에 Dropout과 하이퍼파라미터 최적화를 적용해 AUC 0.803, 발견 유의미성 3.39σ를 기록하였다. 본 논문에서는 동일 아키텍처에 APL(S=2)을 적용했을 때 AUC 0.804, 발견 유의미성 3.41σ를 달성, 단일 모델만으로도 앙상블보다 우수한 결과를 얻었다. 추가적인 분석에서는 S값에 따른 성능 변화를 조사하였다. S=1에서 활성화를 학습하지 않으면 베이스라인과 동일한 12.55% 오류율을 보였지만, 학습시키면 11.59%로 개선된다. S=2, 5, 10으로 증가시켰을 때 최적은 S=5에서 나타났으며, 지나치게 큰 S는 오히려 과적합 위험을 증가시켜 성능이 소폭 감소한다. 또한, 학습된 APL 함수들을 시각화한 결과, 일부는 Leaky‑ReLU와 유사한 형태를 보이면서도 음수 영역에서 다양한 기울기와 전이를 나타내어, 고정된 비선형보다 데이터에 맞춰 비선형성을 조정함으로써 학습 효율과 일반화가 동시에 향상됨을 확인하였다. 결론적으로, APL 유닛은 적은 추가 파라미터로 개별 뉴런 수준에서 복잡하고 비선형적인 활성화 함수를 학습할 수 있게 하며, 이는 기존의 ReLU, Maxout, NIN 등보다 파라미터 효율성이 높고 구현이 간단하다. 실험 결과는 이미지 분류와 고에너지 물리학 두 분야 모두에서 기존 최고 성능을 능가함을 보여주며, 향후 다양한 딥러닝 아키텍처와 도메인에 적용 가능한 강력한 비선형 설계 도구임을 시사한다.