자동 적응형 공명 이퀄라이제이션을 위한 확장 잔차 네트워크

본 논문은 음악 및 오디오 제작 과정에서 흔히 발생하는 ‘공명’ 현상을 자동으로 완화하는 두 단계 시스템을 제안한다. 첫 번째 단계는 동적 이퀄라이저로, 입력 PCM 신호를 0.5 초 길이의 겹치는 윈도우로 나눈 뒤, 각 윈도우에 대해 DFT를 수행하고 80 phon 기준의 Equal‑Loudness Contour(ELC)로 가중한 파워 스펙트럼을 만든다. 이 스펙트럼을 400개의 로그‑스케일 밴드로 재구성하고, 스무딩을 통해 베이스라인 스펙트럼을 얻는다. 원본 스펙트럼과 베이스라인 스펙트럼의 차이를 구해 양수 부분만 남기면 ‘공명’ 구간이 도출된다. 사용자는 단일 파라미터인 감쇠 계수 α(0~1)를 지정하면, 공명 구간에 α배 만큼 감쇠를 적용하고, 역 DFT를 통해 보정된 오디오를 복원한다. 이 과정은 실시간 플러그인 형태로 구현 가능하도록 설계되었으며, 레이턴시 제한(최대 4096 샘플) 내에서도 충분히 동작한다. 두 번째 단계는 위에서 정의한 감쇠 계수 α를 자동으로 예측하는 딥러닝 모델이다. 저자는 두 가지 상이한 접근을 비교한다. 첫 번째는 전통적인 특징 기반 피드포워드 네트워크(FFN)이며, Essentia 라이브러리에서 제공하는 다양한 오디오 디스크립터(멜‑주파수 계수, 스펙트럼 크레스트, 플럭스, 스테레오 폭 등)를 사용한다. 각 디스크립터는 평균, 중앙값, 표준편차, 왜도, 첨도, 10 % 및 90 % 퍼센타일 등 7가지 통계값으로 요약돼 총 679개의 입력 차원을 만든다. 이 벡터는 배치 정규화와 ReLU 활성화를 거친 여러 전결합 레이어를 통과해 최종적으로 하나의 연속값 α를 출력한다. 레이어 수와 뉴런 수는 하이퍼파라미터 최적화(베이즈 최적화 등)를 통해 결정하였다. 두 번째는 원시 파형을 직접 입력으로 사용하는 Dilated Residual Network(DRN)이다. 0.5 초 길이(22,050 샘플)의 스테레오 PCM 데이터를 1‑차원 dilated convolution 레이어에 통과시키며, dilation factor를 단계적으로 증가시켜 receptive field를 크게 만든다. 각 convolution 블록은 residual connection을 포함해 학습 안정성을 높이고, 깊은 네트워크에서도 기울기 소실을 방지한다. 마지막에는 전역 평균 풀링과 단일 출력 뉴런을 갖는 완전 연결 레이어를 두어 감쇠 계수 α를 회귀한다. 이 구조는 이미지 분야에서 성공적으로 사용된 WaveNet‑style 아키텍처와 유사하지만, 오디오 이퀄라이징 작업에 맞게 설계되었다. 학습 및 평가 데이터는 150개의 다양한 트랙(팝, 록, 영화 음악 등)에서 추출한 0.5 초 윈도우와, 15명의 전문 사운드 엔지니어가 청취 실험을 통해 선택한 17단계 감쇠값을 라벨로 사용하였다. 청취 실험은 스튜디오 환경에서 80 dBC의 청취 레벨로 진행됐으며, 각 트랙에 대해 0~1 사이의 감쇠값을 선택하도록 했다. 일부 엔지니어는 ‘전혀 만족스럽지 않다’를 선택해 결측값을 남겼으며, 이는 평균값으로 보완하였다. 라벨의 분포는 엔지니어마다 차이가 있었지만, 전체적으로는 약한 양의 상관관계를 보였다. 모델 평가는 평균 제곱오차(MSE)와 Pearson 상관계수를 사용했으며, 두 모델 모두 베이스라인(무작위 혹은 전체 평균)보다 현저히 낮은 MSE와 0.6~0.7 수준의 양의 상관을 기록했다. 특히 DRN은 특징 추출 단계가 없으면서도 FFN과 동등하거나 약간 우수한 성능을 보였으며, 실시간 플러그인 구현 시 레이턴시 제한을 만족하도록 설계되었다. 논문의 주요 기여는 다음과 같다. 1) 공명 감쇠를 위한 동적 이퀄라이저와 감쇠 계수 자동 예측 모델을 결합한 완전 자동 시스템을 제시하였다. 2) 0.5 초 윈도우와 ELC 가중 파워 스펙트럼을 이용해 인간 청각 인지와 연관된 공명 정의 방식을 도입하였다. 3) 전통적인 특징 기반 접근과 원시 파형 기반 dilated residual 접근을 비교 분석함으로써, 후자가 특징 설계 없이도 충분히 높은 성능을 달성함을 입증하였다. 4) 청취 전문가들의 주관적 라벨을 활용한 데이터 수집 방법을 제시하고, 이를 통해 실용적인 오디오 플러그인에 적용 가능한 모델을 학습시켰다. 향후 연구에서는 더 다양한 장르와 실시간 변동성을 가진 신호에 대한 일반화, 그리고 멀티‑밴드 감쇠와 같은 복합 이퀄라이징 작업으로 확장할 여지가 있다.