음악 감상 중 EEG 기반 연속 감정 인식 퍼지 병렬 캐스케이드 모델

본 연구는 인간의 감정을 연속적인 2차원 정서 공간(Valence‑Arousal)으로 표현하고, 이를 실시간 EEG 신호와 연결시켜 자동으로 추정하는 새로운 모델링 접근법을 제시한다. 실험은 15명의 비음악가(연령 21 ± 3세, 남성 3명)를 대상으로 진행했으며, 각 피험자는 7개의 음악(각 60초) 청취 중 14채널 EEG와 동시에 FEELTRACE 인터페이스를 이용해 커서 이동으로 Valence와 Arousal을 128 Hz로 기록하였다. EEG는 Emotiv EPOC 무선 헤드셋으로 수집했으며, 2 Hz~42 Hz 대역 필터링 후 ICA와 MARA 기반 잡음 제거, 시각 검토를 거쳐 전처리하였다. 시간‑변화 전력 스펙트럼은 실수형 Morlet 웨이블릿을 사용해 θ(4‑8 Hz), α(8‑13 Hz), β(13‑31 Hz) 대역별로 계산했으며, 각 채널·대역 조합(총 42개)에서 평균 전력을 추출했다. 이후 Mutual Information(MI) 분석을 통해 감정 평가와 가장 높은 상관을 보이는 피처를 선정하고, 선택된 피처에 대해 최대 3단계 지연(d) 입력을 구성해 모델 입력 시퀀스를 만든다. 제안된 Fuzzy Parallel Cascades(FPC) 모델은 병렬 캐스케이드 구조에 퍼지 추론 시스템을 결합한 형태다. 각 캐스케이드는 독립적인 퍼지 규칙 기반 서브모델(fi)로 구성되며, 입력 xi와 지연된 입력 xi‑d,…,xi‑rd를 사용해 출력 ŷi를 생성한다. 첫 번째 캐스케이드는 원본 감정 신호를 직접 추정하고, 이후 캐스케이드는 이전 단계의 잔차(실제‑예측 차)를 새로운 목표로 삼아 비선형성을 점진적으로 보완한다. 잔차 감소 비율(cr)을 기준으로 캐스케이드 수를 자동 결정해 과적합을 방지한다. 퍼지 규칙은 룩업 테이블 방식으로 추출돼 해석 가능성이 높으며, 연산량이 적어 실시간 적용이 가능하다. 성능 평가는 7개의 음악 각각에 대해 Valence와 Arousal을 독립적으로 예측하도록 설계했으며, 5‑fold 교차 검증을 수행했다. 비교 모델로는 선형 회귀(LR), 서포트 벡터 회귀(SVR), 장기 기억 순환 신경망(LSTM‑RNN)을 사용했으며, 모든 경우에서 FPC가 가장 낮은 RMSE를 기록했다. 특히 MS4(모차르트 ‘Eine kleine Nachtmusik’)에서 Valence 예측 RMSE 0.089를 달성해 최고 성능을 보였다. 통계적 검증(예: Friedman 테스트 및 사후 검정) 결과도 FPC가 유의하게 우수함을 확인했다. MI 분석 결과, 프론탈 채널(F3, F4, AF3, AF4 등)의 θ대역 전력이 Valence와 가장 높은 상호정보를 가지며, 이는 프론탈 미드라인 θ증가가 긍정적 정서와 연관된 기존 연구와 일치한다. 논문의 주요 기여는 다음과 같다. ① 연속적인 감정 신호를 직접 예측하는 퍼지 기반 병렬 캐스케이드 모델을 최초로 제안하고, 기존 회귀·딥러닝 모델 대비 우수한 정확도를 입증하였다. ② 감정 평가를 이산 라벨이 아닌 연속적인 2차원 신호로 다루어 정서의 미세한 변화를 포착했다. ③ EEG 피처와 감정 차원 간의 상호정보를 최초로 정량화하여 프론탈 θ대역의 중요성을 강조했다. 한계점으로는 피험자 수가 적고, 저가형 EEG 장비 사용으로 신호 품질이 제한될 수 있다는 점, 음악 종류가 제한적이라는 점을 들 수 있다. 향후 연구에서는 피험자 규모 확대, 다양한 감정 자극(영상, 이미지 등) 적용, 고해상도 EEG 혹은 멀티모달(EEG+영상) 데이터와의 융합, 그리고 퍼지 규칙과 딥러닝 피처 추출을 결합한 하이브리드 모델 개발을 제안한다.