현실감 있는 음악 생성의 도전 대규모 원시 오디오 모델링

본 논문은 “현실감 있는 음악 생성”이라는 목표 아래, 기존에 주로 사용되던 심볼릭 표현(스코어, MIDI) 대신 원시 오디오 파형을 직접 모델링하는 새로운 접근법을 제시한다. 저자들은 원시 오디오가 악기의 미세한 타이밍, 다이내믹스, 톤컬러와 같은 표현적 요소를 모두 보존하고 있기 때문에, 이러한 요소들을 재현하는 것이 음악의 사실성을 크게 높인다고 주장한다. 그러나 원시 오디오를 다루는 것은 샘플링 레이트가 16 kHz 이상으로 매우 높은 차원을 갖기 때문에, 기존의 자동회귀(AR) 모델이 장기 구조를 학습하기에는 메모리와 연산량 측면에서 한계가 있다. ### 1. 문제 정의와 배경 - 음악은 밀리초 단위의 파형 주기성부터 수분에 이르는 형식 구조까지 다양한 시간 스케일을 포함한다. - 기존 AR 모델(WaveNet, SampleRNN 등)은 RF를 늘리기 위해 레이어를 추가하거나 dilation을 키우면 모델 크기가 로그 수준으로 증가하지만, 훈련 시 필요한 입력 길이(=RF) 때문에 메모리 요구량은 선형적으로 증가한다. - 또한, 오디오 신호는 저주파 성분이 지배적이어서 최근 몇 밀리초만으로도 다음 샘플을 예측하기 쉬워, 모델이 장기 의존성을 무시하고 국소 구조에만 집중하는 경향이 있다. ### 2. 자동회귀 이산 오토인코더(ADA) 설계 - 저자는 AR 모델을 “오토인코더” 형태로 변형한다. 인코더가 원시 파형을 압축해 낮은 샘플링 레이트의 조건 신호(코드 시퀀스)를 생성하고, 디코더는 이 코드를 이용해 로컬 파형을 복원한다. - 압축 비율을 hop size h라 정의하고, 디코더가 h배 낮은 샘플링 레이트의 AR 모델을 사용하면, 전체 시스템의 RF는 h·r (r은 디코더의 RF) 만큼 확대된다. - 인코더와 디코더 모두 WaveNet 구조를 채택했으며, 인코더는 초기 레이어에서 다운샘플링을 수행하고, 디코더는 “모듈레이터”와 “로컬 모델”로 구성돼 코드를 조건으로 사용한다. ### 3. 이산 양자화 방식: VQ‑VAE vs AMAE - **VQ‑VAE**: 기존 방식대로 코드북을 학습한다. 손실은 NLL + 코드북 손실 + 커밋먼트 손실로 구성된다. 그러나 고엔트로피 데이터에서 코드북 붕괴가 빈번히 발생한다. 이를 완화하기 위해 인구 기반 학습(PBT)으로 α, β를 동적으로 조정한다. - **AMAE (Argmax Autoencoder)**: 코드북을 사용하지 않는다. 인코더 출력은 k‑차원 단순체 위에 강제하고, argmax 연산으로 가장 큰 차원을 원-핫 코드로 변환한다. 양자화 오차를 최소화하기 위해 다이버시티 손실을 추가해 모든 코드가 골고루 사용되도록 한다. 손실은 NLL + ν·다이버시티 손실이며, 커밋먼트 손실은 실험적으로 큰 차이를 보이지 않았다. - 실험 결과, AMAE는 VQ‑VAE보다 수렴이 더 안정적이며, 특히 코드북 붕괴가 심한 경우에도 학습이 지속된다. 다만, 동일 아키텍처에서는 약간 낮은 재구성 품질을 보였다. ### 4. 실험 설정 및 결과 - 데이터: 413시간 분량의 솔로 피아노 녹음(단일 악기, 고품질 마이크로폰) - 평가: 정량적 메트릭이 부재한 상황에서 청취자 설문과 정성적 분석에 의존. - 모델: hop size h = 8~16 정도를 사용해 약 25 초(≈400 k timesteps)의 RF를 확보. - 결과: 생성된 샘플은 멜로디 라인, 화성 진행, 리듬 패턴이 수초에서 수십 초까지 일관성을 유지한다. 로컬 음색(타건 소리, 잔향)은 약간 흐릿해졌지만, 전체적인 “음악적 흐름”은 기존 AR 모델보다 현저히 개선되었다. - 추가 실험으로 VQ‑VAE와 AMAE를 동일 조건에서 비교했으며, AMAE는 코드북 붕괴 없이 안정적으로 학습되었지만, 최고 음질에서는 VQ‑VAE가 약간 앞섰다. ### 5. 논의 및 향후 과제 - **장점**: 원시 오디오를 직접 다룸으로써 악기의 미세한 표현을 보존하고, 계층적 압축을 통해 큰 RF를 실현한다. - **제한점**: 현재는 단일 악기(피아노) 데이터에 국한되며, 멀티인스트루멘트나 복합적인 믹스에는 추가 연구가 필요하다. 또한, 정량적 평가 지표가 부재해 모델 비교가 어려운 점이 있다. - **미래 방향**: (1) 음악 전용 평가 메트릭 개발(예: 음악 구조 유사도, 청취자 선호도 기반 점수) (2) GAN·Diffusion 등 다른 생성 프레임워크와 결합해 음질을 향상 (3) 멀티스케일 코덱 구조를 확장해 다양한 악기와 복합 사운드에 적용 (4) 실시간 생성 가능성 탐색을 위한 효율적인 샘플링 알고리즘 연구 결론적으로, 이 논문은 “자동회귀 이산 오토인코더”라는 새로운 프레임워크와 “Argmax Autoencoder”라는 양자화 기법을 통해 원시 오디오 수준에서 장기 음악 구조를 학습하는 가능성을 입증한다. 이는 향후 고품질, 장시간 음악 생성 연구에 중요한 기반이 될 것으로 기대된다.