실시간 오디오 스타일 전송을 위한 자동인코더 기반 초고속 네트워크

본 논문은 “오디오 스타일 전송”이라는 새로운 연구 영역에 초점을 맞추어, 기존 이미지 기반 스타일 전송 기법을 그대로 적용했을 때 발생하는 실시간 처리의 비효율성을 해소하고자 자동인코더(Encoder‑Decoder) 구조를 활용한 두 단계 네트워크 설계를 제안한다. 먼저, 오디오 신호를 Short‑Time Fourier Transform(STFT)으로 변환해 로그 스펙트로그램 형태로 만든 뒤, 이를 입력으로 사용한다. 스펙트로그램은 시간 축을 가로, 주파수 축을 세로로 하는 2차원 이미지와 유사하지만, 주파수 축 이동이 음성의 고수준 의미(예: 단어)보다는 억양·음색과 같은 저수준 특성에 영향을 미친다는 점을 강조한다. 논문은 크게 두 네트워크, 손실 네트워크(Loss Network, LN)와 변환 네트워크(Transformation Network, STN)로 구성된다. 손실 네트워크는 4개의 Conv 레이어와 4개의 Transposed Conv 레이어로 이루어진 자동인코더이며, 입력 스펙트로그램을 압축‑복원하는 과정에서 고수준 콘텐츠 특징과 저수준 스타일 특징을 각각 학습한다. 구체적으로, Encoder의 최상위 레이어 활성값을 콘텐츠 표현으로, 첫 번째부터 세 번째 레이어까지의 Gram 행렬을 스타일 표현으로 사용한다. 이러한 손실 네트워크는 사전에 VCTK 말뭉치의 스펙트로그램을 이용해 학습되며, 학습이 완료된 후에는 가중치를 고정한다. 변환 네트워크는 손실 네트워크와 동일한 구조를 공유하지만, 사전 학습된 가중치를 초기값으로 사용한다. 이는 콘텐츠를 표현하는 고수준 특징을 재학습할 필요 없이, 스타일 오디오의 저수준 통계(Gram 행렬)만을 목표로 빠르게 튜닝할 수 있게 한다. 변환 네트워크는 입력 콘텐츠 스펙트로그램을 받아 스타일이 적용된 출력 스펙트로그램을 생성한다. 손실은 두 부분으로 구성된다: (1) 콘텐츠 손실 – 출력의 최상위 레이어 활성값과 입력 콘텐츠의 동일 레이어 활성값 사이의 평균제곱오차(MSE); (2) 스타일 손실 – 출력의 Gram 행렬과 스타일 오디오의 Gram 행렬 사이의 MSE. 전체 손실은 α와 β라는 가중치로 조절되며, 본 연구에서는 α = 100, β = 10⁴를 사용하였다. 학습 과정은 Adam 옵티마이저(학습률 1e‑3, β₁ = 0.999, β₂ = 0.99)와 배치 크기 24로 진행되었으며, 단일 Nvidia GTX 1070 Ti GPU에서 한 에폭 이하의 짧은 시간 안에 수렴하였다. 실험에 사용된 데이터는 VCTK 코퍼스이며, 16 kHz로 다운샘플링된 깨끗한 음성 데이터를 활용하였다. 스타일 오디오는 하나만 사용했으며, 이는 변환 네트워크가 특정 스타일에 특화되도록 만든다. 결과는 스펙트로그램 시각화와 청취 감상으로 평가되었다. 스타일이 적용된 출력 스펙트로그램은 원본 콘텐츠의 얇은 밝은 영역(음성 내용)과는 별개로, 스타일 오디오의 저수준 텍스처(음색·억양)가 뚜렷하게 나타났다. Griffin‑Lim 알고리즘을 통해 역 STFT를 수행해 최종 오디오를 복원했으며, 청취 결과 콘텐츠의 의미는 유지되면서 스타일 특성이 성공적으로 전이된 것으로 보고되었다. 논문의 주요 기여는 다음과 같다. (1) 자동인코더 기반의 손실·변환 네트워크를 동일 구조로 설계해 파라미터 공유와 학습 효율성을 극대화하였다. (2) 스타일 전송을 단일 포워드 패스로 수행함으로써 실시간 응용 가능성을 확보하였다. (3) 기존 이미지 기반 방법과 달리 오디오 스펙트로그램의 특성을 고려한 전처리와 손실 정의를 적용하였다. 하지만 몇 가지 한계점도 존재한다. 첫째, 스타일 오디오가 하나뿐이어서 다중 스타일을 동시에 다루기 어렵다; 이를 해결하려면 스타일별 파라미터를 별도 저장하거나 AdaIN‑style 정규화와 같은 메커니즘이 필요하다. 둘째, 결과 평가는 주관적 청취와 스펙트로그램 시각화에만 의존했으며, PESQ, STOI 등 객관적인 음성 품질 지표가 부재하다. 셋째, 위상 재구성 단계에서 Griffin‑Lim 알고리즘이 도입되었지만, 위상 오류가 최종 음질에 미치는 영향을 정량적으로 분석하지 않았다. 넷째, α와 β 값이 경험적으로 선택되었으며, 이들 파라미터가 스타일 강도와 콘텐츠 보존 사이의 트레이드오프에 미치는 영향을 체계적으로 조사하지 않았다. 향후 연구 방향으로는 (1) 다중 스타일을 지원하는 확장형 변환 네트워크 설계, (2) 청취 테스트와 객관적 품질 지표를 통한 정량적 평가, (3) 위상 복원 오류 최소화를 위한 고급 역 STFT 기법 도입, (4) 스타일 정의를 보다 세분화하여 억양·음색·악기 등 다양한 오디오 특성을 선택적으로 전이할 수 있는 손실 함수 개발을 제시한다. 이러한 개선이 이루어진다면, 실시간 음성 변조, 가상 비서 목소리 커스터마이징, 게임 및 AR/VR 환경에서의 실시간 사운드 디자인 등 다양한 실용 분야에 적용 가능할 것이다.