음악 생성 시스템 기능 분류와 연구 동향

본 논문은 자동 음악 생성 분야가 지난 수십 년간 다양한 기술적 진보에도 불구하고, “어떤 음악적 과제가 해결되었고, 어떤 과제가 남아 있는가”라는 근본적인 질문에 명확히 답하지 못하고 있음을 지적한다. 이를 해결하고자 저자들은 시스템이 설계된 목적, 즉 기능을 중심으로 한 새로운 분류 체계—‘기능적 분류’를 제안한다. 1. **서론**에서는 자동 작곡의 역사적 배경을 간략히 소개한다. 초기 컴퓨터인 ILLIAC I에서부터 현대의 Google Magenta 프로젝트까지, 자동 음악 생성이 인공지능 연구의 중요한 영역으로 자리 잡아 왔음을 강조한다. 기존 설문 논문들이 주로 사용된 알고리즘(마코프 모델, 유전 알고리즘, 규칙 기반, 신경망 등)별로 시스템을 나열했지만, 이는 시스템이 실제로 해결하고자 하는 음악적 목표와는 별개라는 한계를 지적한다. 2. **기능 및 설계 개념**에서는 음악을 ‘음표’와 ‘작곡’이라는 두 계층으로 구분하고, 음표의 속성(피치, 지속시간, 온셋, 악기)과 작곡의 네 가지 핵심 요소—멜로디, 하모니, 리듬, 음색—를 도식화한다. 각 요소는 독립적인 목표를 가질 수 있으며, 시스템은 하나 이상의 요소를 동시에 다룰 수도 있다. 예를 들어, 멜로디 생성 시스템은 단순히 단음계 시퀀스를 만들거나, 주어진 반주에 맞춰 멜로디를 생성하도록 제약될 수 있다. 하모니 시스템은 코러스와 같은 다성부를 규칙에 맞게 배치하거나, 재즈 코드 진행을 대체하는 것이 목표가 된다. 리듬 시스템은 특정 장르의 패턴을 생성하거나 인간 연주와 유사한 타이밍을 구현한다. 음색은 실제 악기 연주 혹은 합성으로 구현되며, 오케스트레이션 문제는 검색 기반이나 다목적 최적화로 모델링된다. 이 네 가지 기본 기능 위에 ‘내러티브’, ‘인터랙티브 작곡’, ‘난이도(연주 가능성)’라는 상위 개념을 배치한다. 내러티브는 음악이 전달하고자 하는 감정·긴장·스토리를 설계 목표에 포함시키며, 장기 구조와 감정 흐름을 모델링한다. 인터랙티브 작곡은 실시간 사용자 입력(연주, 피드백)을 받아 즉흥 연주나 스타일 학습에 활용한다. 난이도는 악기별 물리적 제약을 고려해 연주하기 쉬운 음표 조합을 최적화한다. 이러한 고수준 목표는 장기 구조와 계층적 모델링을 필요로 하며, 최근 연구 흐름과도 일치한다. 3. **초기 자동 작곡 역사**에서는 모차르트의 ‘음악 주사위 게임’, 카이지, 제낙시스, 코프의 ‘음악 지능 실험’ 등 확률·규칙·스타일 모방을 기반으로 한 초기 시도들을 서술한다. 이러한 전통적 접근이 현대의 통계적·학습 기반 시스템의 토대가 되었음을 강조한다. 4. **성공 측정**에서는 자동 작곡 시스템의 평가 방법을 세 가지로 구분한다. (1) 인간 청취자 평가: 직관적이지만 시간·피로도 비용이 크고 ‘인간 적합성 병목’ 문제를 야기한다. (2) 음악 이론 규칙 기반 피트니스: 스타일을 규정된 규칙으로 제한하지만, 규칙이 제한적이거나 지나치게 일반적일 경우 창의성이 저하된다. (3) 머신러닝 모델 기반 유사도 측정: 마코프 체인, 신경망, 딥러닝 등으로 학습된 통계적 특성을 활용해 유사성을 확보한다. 특히 ‘유사성 vs. 새로움(창의성)’ 딜레마가 핵심 과제로 제시된다. 고차원 구조와 장기 의도 모델링이 필요함을 강조하며, 온라인 음악 저장소(COGEMUR)를 통해 결과 공유와 투명성을 촉진한다. 5. **기능적 인덱스**에서는 각 기능 영역(멜로디, 하모니, 리듬, 음색, 내러티브, 인터랙티브, 난이도)별 대표 시스템들을 정리한다. 각 시스템이 어떤 목표를 가지고 어떤 모델링 기법을 사용했는지, 그리고 평가 방법이 어떻게 적용됐는지를 비교한다. 이 과정에서 기존 설문이 놓쳤던 시스템 간의 연관성—예를 들어 멜로디와 하모니를 동시에 다루는 하이브리드 시스템—을 드러낸다. 6. **결론 및 향후 과제**에서는 기능 중심 분류가 자동 작곡 연구의 현재 위치를 명확히 하고, 다음과 같은 도전 과제를 제시한다. (1) 장기 구조와 내러티브를 통합한 생성 모델 개발, (2) 실시간 인터랙티브 피드백을 효과적으로 활용하는 강화학습 프레임워크, (3) 인간 평가와 자동 평가를 결합한 하이브리드 평가 체계, (4) 창의성과 유사성 사이의 균형을 정량화하는 새로운 메트릭. 전체적으로 이 논문은 자동 음악 생성 시스템을 ‘무엇을 위해’ 설계했는가에 초점을 맞춘 기능적 분류 체계를 제시함으로써, 연구자들이 목표 설정, 문제 정의, 평가 방법을 명확히 하고, 시스템 간 연관성을 파악하도록 돕는다. 이는 새로운 알고리즘 개발뿐 아니라 실제 음악 제작 워크플로우와의 통합을 촉진하는 기반을 제공한다.