이진 활성화와 다단계 가중치 RNN을 이용한 ADC DAC 프리 PIM 인퍼런스

본 논문은 비휘발성 메모리(eNVM)를 활용한 처리‑인‑메모리(PIM) 인퍼런스 가속기의 설계와 학습 알고리즘을 종합적으로 다룬다. 서론에서는 기존 PIM 구조가 고해상도 가중치와 활성화를 위해 ADC와 DAC를 필요로 하며, 이는 면적·전력·지연 측면에서 큰 부담이 된다는 점을 지적한다. 특히, 아날로그 MAC 연산은 잡음에 민감하지만, 신경망 자체의 잡음 내성에 기대어 이를 완화하려는 시도가 있다. 기존의 이진 신경망(BNN)은 ADC/DAC를 완전히 제거할 수 있지만, 가중치를 1‑bit SLC에만 매핑해 MLC의 저장 밀도를 활용하지 못하고, 활성화 이진화 학습에 주로 사용되는 Straight‑Through Estimator(STE)가 RNN에서는 성능 저하를 초래한다는 한계가 있다. 이를 해결하기 위해 저자들은 (1) 이진 활성화(Binary Activation, BA)와 (2) 다단계 가중치(Multi‑Level Weight, MLW)를 동시에 지원하는 새로운 신경망 구조와 (3) 이를 학습하기 위한 Noisy Neuron Annealing(NNA) 알고리즘을 제안한다. NNA는 학습 단계에서 전치활성값에 가우시안 잡음 n_train~N(0,σ_train²)을 추가하고, 온도 파라미터 τ를 이용해 시그모이드 함수를 부드럽게 샤프닝한다. 이는 연속적인 근사화를 제공해 미분 가능성을 확보하고, 잡음 주입을 통해 양자화 오차에 대한 레귤러라이제이션 효과를 얻는다. 학습 초기에 σ_train을 크게 잡아 노이즈에 강인한 표현을 학습하고, 점차 감소시켜 최종 이진 활성화(0/1)로 수렴한다. 역전파에서는 연속적인 sigmoid 미분(sigmoid′)을 사용해 편향 없는 그라디언트를 얻으며, 이는 STE가 샘플링 과정의 불일치를 무시하는 것과 근본적으로 다르다. 다단계 가중치는 MLC 셀 한 쌍으로 구현한다. 예를 들어 7‑level 가중치는 4‑level(2‑bit) 셀 두 개의 전류 차이(I⁺, I⁻)로 매핑하고, 15‑level은 8‑level(3‑bit) 셀 두 개로 표현한다. 이렇게 하면 기존 고해상도 가중치를 여러 SLC에 분산시키는 방식보다 면적·전력 효율이 크게 개선된다. 가중치 양자화는 사전 학습된 FP(weight) 분포를 기반으로 클리핑 범위