모바일 실시간 AI의 열쇠, 이미지 품질까지 높이는 패턴 기반 가중치 가지치기

본 논문은 모바일 기기에서 대규모 딥러닝 모델의 실시간 추론을 가능하게 하는 새로운 모델 압축 및 가속화 패러다임을 제시한다. 기존 비정형 가지치기는 정확도는 높지만 불규칙한 메모리 접근으로 인해 가속이 제한되었고, 정형 가지치기는 하드웨어 친화적이지만 높은 가지치기율에서 정확도 손실이 컸다. 이러한 문제를 해결하기 위해 저자들은 **패턴 기반 희소성**이라는 새로운 개념을 도입한다. 이는 두 가지 하위 개념으로 구성된다: 1) **패턴 희소성**: 각 컨볼루션 커널 내에서 사전 정의된 특정 위치(패턴)의 가중치만 남기고 나머지는 제거한다. 2) **연결성 희소성**: 중요도가 낮은 입력-출력 채널 간의 연결(즉, 전체 커널)을 제거한다. 논문의 흐름은 다음과 같다. 먼저, VGG-16 등 사전 훈련된 모델의 가중치 히트맵을 분석하여, 유효 가중치가 특정 형태를 띠며 반복出現한다는 관찰과 일부 커널 전체가 무의미하다는 관찰로부터 패턴 기반 희소성의 아이디어를 도출한다. 이론적 배경 섹션에서는 패턴 가지치기를 가우시안 필터나 엣지 검출 필터와 같은 스티어러블 필터로 근사할 수 있음을 보이며, 이를 통해 가지치기가 오히려 이미지 향상 및 특징 추출 능력 개선에 기여할 수 있음을 수학적으로 유도한다. 특히 3x3 커널 내에 4개의 가중치를 남기는 8가지 패턴으로 구성된 라이브러리를 제시한다. 핵심 방법론인 **패턴 인식 네트워크 가지치기 프레임워크**는 ADMM 최적화 프레임워크를 기반으로 한다. 패턴 선택 변수와 가중치 변수를 함께 최적화하는 문제를 설정하고, Primal 단계(손실 함수 최소화 및 패턴 선택)와 Proximal 단계(패턴 선택 변수 투영)를 반복하여 해를 구한다. 이 과정에서 사용 빈도가 낮은 패턴은 라이브러리에서 제거되며, 최종적으로는 소수의 최적 패턴으로 구성된 라이브러리와 각 커널에 할당된 패턴, 훈련된 가중치를 동시에 얻는다. 시스템 측면에서는, 이러한 규칙적인 패턴 희소성이 컴파일러 최적화에 매우 유리함을 강조한다. 패턴에 따라 커널을 재정렬 및 그룹화하면 메모리 접근이 규칙적이 되고, 컴파일러가 효율적인 SIMD 코드 및 병렬 코드를 생성할 수 있어 모바일 플랫폼에서의 실질적인 가속을 달성한다. 실험 결과에서는 ImageNet 데이터셋에서 VGG-16, ResNet-18 등 다양한 모델에 대해 기존 가지치기 방법 대비 정확도 향상(0.15%~0.65%p)과 함께 모바일 기기(갤럭시 S8)에서 2.4배~3.4배의 실시간 추론 속도 향상을 보여주며, 제안 방법의 유효성을 입증한다.