분포 인식 조각별 활성화 함수 DAPA: 온디바이스 트랜스포머 가속을 위한 새로운 접근

초록

본 논문은 Transformer 모델의 온디바이스 추론·학습에서 비선형 활성화 함수가 차지하는 하드웨어 비용을 크게 낮추기 위해, 입력 데이터의 실제 확률분포를 활용한 비균등 조각별 근사 방식인 DAPA를 제안한다. DAPA는 고확률 영역에 더 많은 조각을 배치하고, 분포 가중 평균제곱오차(DWMSE)를 최적화 목표로 삼아 함수와 그 미분까지 근사한다. 16‑bit 고정소수점 양자화와 HLS 구현을 통해 GELU 연산을 16배, DSP 사용량을 16배 감소시키면서 Vision Transformer와 GPT‑2에서 정확도 저하 없이 혹은 소폭 향상된 성능을 입증한다.

상세 분석

DAPA의 핵심 아이디어는 “입력값이 실제로 나타나는 확률분포를 반영해 근사 구간을 설계한다”는 점이다. 기존의 조각별 선형 근사는 입력 구간을 균등하게 나누어 MSE를 최소화했지만, 이는 저확률 구간에도 동일한 정밀도를 할당하게 되어 하드웨어 자원을 비효율적으로 사용한다. 논문은 이를 극복하기 위해 두 가지 혁신을 제시한다. 첫째, 입력값의 PDF를 사전에 수집하고 누적분포함수(CDF)의 역함수를 이용해 전체 확률 질량을 N개의 동일한 구간으로 나눈다(quantile 기반 분할). 이 과정에서 고확률 영역은 더 작은 구간으로 세분화돼 선형 근사의 기울기·절편을 더 정밀하게 맞출 수 있다. 둘째, 근사 품질을 평가할 때 전통적인 MSE 대신 분포 가중 평균제곱오차(DWMSE)를 도입한다. DWMSE는 각 구간의 오차에 해당 입력이 발생할 확률 p(x)를 가중치로 곱해, 모델 성능에 실제 영향을 미치는 영역의 오차를 강조한다. 실험적으로 DWMSE와 모델 정확도·퍼플렉시티 변화 사이의 상관관계가 MSE보다 훨씬 높으며, Pearson·Spearman·Kendall 지표와 95% Fisher CI에서도 일관된 우위를 보인다.

근사 파라미터(a_n, b_n)는 각 구간에 대해 가중 최소제곱(WLS) 문제를 풀어 얻으며, 이는 샘플링된 입력값 x_i와 그 확률 가중치 p_i를 이용해 효율적으로 계산된다. 또한 DAPA는 활성화 함수뿐 아니라 그 미분(역전파에 필요)까지 동일한 조각별 선형 형태로 근사한다는 점에서 학습 단계에서도 바로 적용 가능하다.

하드웨어 측면에서는 16‑bit 고정소수점(Fix16) 양자화 전략을 제시한다. 먼저 부동소수점 DAPA의 DWMSE를 측정하고, 허용 오차 θ·DWMSE 이하가 되도록 정수·소수 비트를 조정한다. 전체 비트폭을 16비트로 제한하면서도 오버플로우 방지를 위해 입력 범위에 맞는 정수 비트를 먼저 할당하고, 남은 비트로 소수 비트를 늘린다. HLS 구현 결과, GELU 연산에 필요한 DSP 수가 기존 대비 16배 감소하고, Softmax의 경우 48배까지 절감된다. 또한 LUT와 플립플롭 사용량도 크게 줄어들어 온디바이스 FPGA·ASIC 설계에 적합한 구조가 된다.

성능 평가에서는 Vision Transformer(ViT‑Base/Small/Tiny, DeiT, Swin)와 GPT‑2 Base를 대상으로 DAPA(16)와 기존 MSE 기반 근사, 원본 GELU·Softmax를 비교했다. 이미지 분류에서는 Top‑1 정확도가 원본과 동일하거나 0.1% 정도 향상됐으며, GPT‑2에서는 퍼플렉시티가 약 0.3% 감소했다. 특히 DAPA를 사용한 모델을 처음부터 학습시켜도 수렴 속도가 원본 GELU와 차이가 없으며, 일부 경우에는 약간의 정확도 향상이 관찰되었다.

전체적으로 DAPA는 (1) 데이터 분포를 활용한 비균등 조각 설계, (2) DWMSE 기반 최적화, (3) 고정소수점 양자화와 효율적인 HLS 구현이라는 세 축을 결합해, 온디바이스 트랜스포머 가속에 필요한 연산량·전력·면적을 크게 낮추면서도 모델 성능을 유지·향상시키는 실용적인 솔루션을 제공한다.