심볼‑투‑악기 신경 생성기 SING

본 논문은 심볼‑투‑악기 신경 생성기(SING)를 제안한다. 기존의 WaveNet·SampleRNN과 같은 자동회귀 기반 오디오 합성 모델은 샘플 단위로 16 kHz 속도로 순차적으로 출력을 생성하기 때문에 학습·추론 비용이 매우 높다. 이를 극복하고자 저자는 프레임 단위(1024 샘플)로 파형을 한 번에 생성하는 방식을 채택하고, 파형을 연속적인 실수값으로 직접 회귀한다. 핵심 아이디어는 “스펙트럼 손실”이다. 입력 파형과 생성 파형을 STFT로 변환한 뒤, 로그 파워 스펙트럼의 L1 거리를 최소화한다. 로그 스케일은 인간 청각 특성을 반영하고, ε‑스무딩을 통해 거의 0인 스펙트럼 값에 대한 과도한 패널티를 방지한다. 이 손실은 위상에 무관하므로, 동일한 피치·악기라도 위상 차이가 있어도 학습이 안정적이다. 아키텍처는 두 부분으로 나뉜다. 첫 번째는 3‑layer LSTM(각 1024 hidden)으로, 악기(I), 피치(P), 벨로시티(V)와 현재 타임스텝(T)을 각각 임베딩(크기 2, 16, 8, 4)한 뒤 concat해 입력한다. LSTM은 265개의 시퀀스 토큰을 출력하고, 각 토큰은 128‑dimensional 임베딩이다. 두 번째는 4‑layer 컨볼루션 디코더이다. 첫 레이어는 kernel = 9, stride = 1, 채널 = 4096의 1‑D 컨볼루션이며, 이후 두 개의 1×1 컨볼루션과 ReLU가 이어진다. 마지막 레이어는 stride = 256, kernel = 1024인 전치 컨볼루션으로, 1024‑샘플 프레임을 복원한다. 전치 컨볼루션 필터에 제곱 Hann 윈도우를 곱해 겹치는 구간에서 부드러운 오버랩‑앱을 구현, 고주파 아티팩트를 억제한다. 학습은 두 단계로 진행된다. (1) 파형‑대‑파형 오토인코더를 스펙트럼 손실만 사용해 50 epoch 학습한다. 이때 인코더는 프레임을 128‑dimensional 시퀀스로 압축하고, 디코더는 이를 다시 파형으로 복원한다. (2) 고정된 인코더를 이용해 목표 시퀀스를 생성하고, LSTM을 MSE(시퀀스 레벨)로 학습한다. 이후 전체 모델을 스펙트럼 손실로 미세조정한다. 이러한 사전 학습·미세조정 전략은 LSTM이 직접 파형을 예측하도록 강제하지 않으면서도, 고차원 임베딩 공간을 효과적으로 활용하게 만든다. 실험은 NSynth 데이터셋(≈1000 악기, 65 피치, 5 벨로시티)에서 수행되었다. 특히 훈련에 포함되지 않은 피치‑악기 조합을 생성하는 “피치 보완” 과제를 설정하고, 인간 청취자를 대상으로 MOS와 ABX 테스트를 진행했다. SING은 WaveNet‑기반 오토인코더 대비 MOS에서 평균 0.3~0.5점 상승했으며, ABX 테스트에서도 유의미하게 우수한 결과를 보였다. 속도 측면에서는 훈련 시간이 32배 단축되고, 추론은 2 500배 가속화돼 실시간 혹은 모바일 환경에서도 적용 가능하다. 한계점으로는 스펙트럼 손실이 위상 일관성을 강제하지 않기 때문에, 위상 변화가 중요한 악기(예: 금관악기)의 경우 미세한 디스토션이 발생할 수 있다. 또한 프레임 크기와 스트라이드가 고정돼 있어 초저지연(≤10 ms) 요구 상황에서는 추가 최적화가 필요하다. 향후 연구에서는 멀티‑스케일 스펙트럼 손실, 위상 보정 네트워크, 변분 오토인코더와 결합한 구조 등을 탐색해 더 넓은 음역과 다이내믹 레인지에 대응하고, 실제 음악 제작 파이프라인에 바로 적용 가능한 시스템을 목표로 할 수 있다.