혼합정수계획으로 찾는 핵심 뉴런과 효율적 네트워크 축소

본 논문은 딥 뉴럴 네트워크(ANN)의 구조적 효율성을 높이기 위해, 각 뉴런에 “중요도 점수”를 부여하고 이를 기반으로 동시에 여러 뉴런을 제거했을 때 전체 학습 성능에 미치는 영향을 최소화하는 혼합정수계획(MIP) 프레임워크를 제안한다. 연구 배경으로는 과대파라미터화된 모델이 메모리·연산 비용을 크게 증가시키며, 이를 완화하기 위한 기존 프루닝 기법들이 가중치 크기, Hessian 기반 중요도, 정규화 손실 등 다양한 기준을 사용하지만, 대부분 단계별 재학습을 필요로 하고 계산 비용이 높으며, 여러 데이터셋에 대한 일반화 검증이 부족하다는 점을 지적한다. 제안 방법의 핵심은 다음과 같다. (1) 뉴런 중요도 변수 \(s_{l,i}\in