억제성 정규화가 오류 신호를 조절하면 학습이 향상된다

본 논문은 “억제성 정규화가 오류 신호를 조절하면 학습이 향상된다”는 가설을 검증하기 위해, 억제성(interneuron) 회로가 수행하는 정규화가 인공 신경망(ANN) 학습에 어떤 영향을 미치는지를 체계적으로 탐구한다. 연구는 크게 네 단계로 진행된다. 1. **배경 및 동기** 뇌에서는 억제성 인터뉴런이 주변 뉴런의 활동을 스케일링하여 입력 분포 변화에 적응하는 정규화 메커니즘을 수행한다는 증거가 있다(예: V1의 파르밸린 인터뉴런, 파리의 안테날 로브). 인공 신경망에서도 Layer Normalization(LN)과 같은 정규화 기법이 학습 안정성과 성능 향상에 크게 기여한다. 그러나 억제성 회로가 실제 뇌에서 학습을 촉진하는 메커니즘이 정규화와 연관이 있는지는 아직 명확하지 않다. 2. **EI‑네트워크 설계 및 기본 실험** 연구진은 Dale’s principle을 강제한 Excitatory‑Inhibitory(EI) 네트워크를 구축하였다. 각 층은 excitatory 유닛과 inhibitory 유닛으로 구분되며, excitatory→excitatory, excitatory→inhibitory, inhibitory→excitatory 연결을 포함한다. 입력 데이터는 Fashion‑MNIST에 밝기 변동(Δ∈