장르 융합을 위한 FusionGAN: 생성적 적대 신경망과 이중 학습의 결합

본 논문은 음악 장르 융합을 목표로 하는 새로운 생성 모델인 FusionGAN을 제안한다. 기존의 생성적 적대 신경망(GAN)은 단일 데이터 도메인에서만 학습이 가능하며, 서로 다른 도메인 간의 지식을 교환하거나 새로운 도메인을 창조하는 데 한계가 있었다. 이러한 문제를 해결하고자 저자들은 두 가지 핵심 아이디어를 결합하였다. 첫째, 기계 번역에서 영감을 받은 이중 학습(dual learning) 구조를 확장해 다중 도메인 간의 상호 정규화를 도입한다. 둘째, Wasserstein‑1 거리 기반의 손실 함수를 사용해 도메인 간 거리 측정과 학습 안정성을 동시에 확보한다. FusionGAN의 전체 구조는 세 개의 도메인 D_A, D_B, D_F와 각각에 대응하는 생성기 G_A, G_B, G_F, 그리고 판별기 D_A, D_B, D_F로 구성된다. 초기 단계에서는 기존 두 장르(예: 클래식과 재즈)의 데이터 X_A, X_B를 이용해 각각의 GAN을 독립적으로 사전 학습한다. 이때 생성기 G_A와 G_B는 LSTM 기반 시퀀스 모델로, 판별기 D_A와 D_B는 TextCNN 기반으로 구현된다. 사전 학습은 최대우도추정(ML)과 정책 그래디언트 방식을 결합해 수행된다. 사전 학습이 완료되면 새로운 목표 도메인 D_F를 무작위 초기화하고, 기존 두 도메인의 판별기 D_A, D_B가 제공하는 피드백을 받아 G_F를 학습시킨다. 핵심 손실식은 식(1)에서 정의된 세 도메인 간 Wasserstein 거리 L이다. 이 손실은 각 판별기에 대해 실제 데이터와 생성 데이터를 모두 고려하며, 특히 D_F는 G_A, G_B, G_F가 만든 샘플을 모두 평가한다. 이렇게 함으로써 D_F는 새로운 도메인이 두 기존 도메인과 동일한 거리(균형)를 유지하도록 강제한다. G_F의 파라미터 업데이트는 식(4)와 (5)에서 도출된 그래디언트에 의해 이루어지며, 이는 D_F, D_A, D_B 세 판별기의 출력에 대한 합산 기울기이다. 즉, G_F는 세 판별기의 ‘비판’을 동시에 반영해 두 장르의 특징을 균등하게 섞는다. D_F의 학습에는 추가적인 균형 제약식(9)이 적용되어, G_A와 G_B가 만든 샘플 간 차이를 최소화하고, 실제 데이터 X_A와 X_B 사이의 차이 역시 최소화한다. D_A와 D_B도 대칭적인 구조로 업데이트된다. 기본 손실식(10) 외에 불평등 제약식(12)와 균형 손실(13)을 도입해, G_F가 생성한 샘플이 두 원본 도메인 사이에 위치하도록 강제한다. 이러한 제약은 판별기가 각 도메인의 특성을 보존하면서도 목표 도메인과의 거리를 조절하도록 만든다. Algorithm 1은 전체 학습 흐름을 상세히 제시한다. 1) 사전 학습 단계에서는 각 도메인별 GAN을 독립적으로 학습한다. 2) FusionGAN 단계에서는 D_F, G_F를 중심으로 D_A, D_B와의 상호 업데이트를 반복한다. 각 업데이트는 앞서 정의한 손실과 균형 제약을 사용해 파라미터를 조정한다. 실험에서는 공개된 MIDI 기반 음악 데이터셋을 활용해 두 장르를 융합한 새로운 음악 시퀀스를 생성하였다. 정량적 평가는 Wasserstein 거리 감소와 음악적 다양성 지표(예: pitch class distribution, rhythmic complexity)로 수행했으며, 정성적 평가는 청취자 설문을 통해 기존 장르와의 유사도, 창의성, 청취 만족도를 평가하였다. 결과는 FusionGAN이 기존 단일‑도메인 GAN 대비 더 자연스럽고 균형 잡힌 장르 융합을 달성함을 보여준다. 특히, 생성된 음악은 두 원본 장르의 조화로운 하모니와 리듬 패턴을 동시에 보유하면서도 새로운 스타일적 특성을 나타냈다. 본 연구는 음악 생성 분야에 ‘도메인 융합’이라는 새로운 문제 정의를 제시하고, 이중 학습과 Wasserstein 기반 손실을 결합한 설계가 멀티도메인 시퀀스 데이터에 효과적임을 입증한다. 향후 연구에서는 (1) 융합 비율을 조절하는 가중치 학습, (2) 더 많은 장르와 다중 도메인 확장, (3) 텍스트, 영상 등 다른 순차 데이터에 대한 적용 가능성을 탐색할 수 있다.