정밀도 스케일링을 통한 효율적인 오디오 처리

본 논문은 딥러닝 기반 오디오 전처리 시스템이 실시간 적용에 직면한 연산·메모리 병목을 해결하고자, 신경망 가중치와 뉴런의 비트 정밀도를 조절하는 ‘정밀도 스케일링(precision scaling)’ 기법을 제안한다. 연구 대상은 음성 활동 검출(VAD)과 단일 채널 음성 향상 두 가지 작업이며, 각각 분류와 회귀라는 서로 다른 특성을 가지고 있다. 먼저 저자들은 기존 32‑bit 부동소수점 네트워크를 기준으로, 가중치와 뉴런을 각각 1~32 bit 범위 내에서 자유롭게 조합할 수 있는 설계 공간을 정의한다. 정밀도 감소 시 발생하는 양자화 오류를 최소화하기 위해 ‘잔차 평균 이진화(residual error mean binarization)’ 방식을 채택한다. 이 방법은 각 비트 단계마다 현재 값들의 평균 거리(잔차)를 계산해 새로운 기준값을 설정하고, 그 기준값을 바탕으로 비트를 할당한다. 결과적으로 각 비트 구간에 동일한 수의 값이 배정되어 양자화 오류가 고르게 분산된다. 연산 속도 예측 모델은 32‑bit 네트워크에서 필요로 하는 32‑bit 곱셈·누적 연산을 기준으로, 1‑bit 가중치·뉴런 조합에서는 XNOR·비트 카운트 연산으로 대체해 64 요소를 한 사이클에 처리할 수 있음을 이용한다. 2‑bit 이상에서는 비트 조합마다 곱셈·누적을 수행해야 하므로, 이론적 가속률은 Speedup = max(1, 128 / (weight bit × neuron bit)) 으로 정의된다. 실제 Intel CPU에서 측정한 가속률은 메모리 접근 효율이 향상된 덕분에 이론치를 초과하기도 한다. 특히 가중치 비트를 줄이면 메모리 로드가 효율화돼 전체 가속에 큰 기여를 한다. 실험 데이터는 750 / 150 / 150개의 학습·검증·테스트 파일을 구성해, 깨끗한 음성에 방실 반향 응답과 25종류의 실제 잡음을 다양한 SNR·거리 조건으로 합성한 것이다. VAD에서는 3개의 512‑뉴런 은닉층을 가진 DNN을 사용하고, 손실 함수는 라벨과 예측값 사이의 제곱 오차였다. 음성 향상에서는 동일한 네트워크 구조에 깨끗한 스펙트럼을 목표 출력으로 설정해 학습하였다. 표 1과 그림 4는 가중치·뉴런 비트 조합에 따른 연산량(MOPs), 메모리 사용량, 처리 시간, 그리고 성능 지표(프레임 오류, SNR, PESQ)를 정량적으로 보여준다. VAD에서 1‑bit 가중치·2‑bit 뉴런(W1/N2) 조합은 처리 시간을 138 ms에서 4.6 ms(≈30배)로 단축하면서 오류율을 8.20 %에서 11.34 %로 약 3 %만 증가시킨다. 이는 기존 WebRTC 기반 VAD 대비 3.7배 빠르고 오류율도 9.54 % 낮은 결과다. 반면, 음성 향상에서는 SNR 개선이 대부분의 비트 조합에서 유지되지만, PESQ와 같은 품질 지표는 뉴런 비트를 크게 낮추면 개선되지 않는다. 최적의 PESQ 향상을 얻기 위해서는 2‑bit 가중치·4‑bit 뉴런(W2/N4) 구성이 9배 가속을 제공하면서도 0.38 점의 PESQ 상승을 달성한다. 이러한 결과는 정밀도 스케일링이 이진 분류 작업(VAD)에는 매우 효과적이며, 연산·메모리 효율성을 크게 높이면서도 성능 저하를 최소화한다는 것을 보여준다. 그러나 연속값을 예측하는 회귀 작업(음성 향상)에서는 뉴런 정밀도를 일정 수준 이상 유지해야 품질을 보장할 수 있다. 결론적으로, 저자들은 정밀도 스케일링이 오디오 처리 분야에서 실시간 적용을 위한 강력한 도구가 될 수 있음을 입증한다. 향후 연구에서는 소스 분리, 마이크 빔포밍, 에코 캔슬레이션 등 다양한 오디오 분류·추정 과제에 대해 비트 정밀도 조합을 탐색하고, 하드웨어 가속기와의 연계 효과를 평가할 계획이다.