혼합 감정 인식을 위한 기억 기반 프로토타입 동시 발생 학습

** 본 연구는 실제 상황에서 인간이 동시에 경험하는 복합 감정을 정량화하기 위해, 감정 분포 학습(Emotion Distribution Learning, EDL) 관점을 채택하였다. 기존 연구들은 주로 단일 감정 분류에 머물렀으며, 다중 라벨 혹은 통계적 라벨 상관관계만을 이용해 감정 간 구조적 관계를 충분히 반영하지 못했다. 이러한 한계를 극복하고자 저자들은 세 단계로 구성된 Memory‑guided Prototypical Co‑occurrence Learning(MPCL) 프레임워크를 설계하였다. 첫 번째 단계는 다중 모달(EEG, ECG, HR, GSR, SKT, 얼굴 영상 등) 신호를 다중 스케일 연관 메모리(Multi‑scale Associative Memory)로 융합하는 과정이다. 이 메모리는 각 모달의 특징을 다양한 시간·주파수 해상도로 저장하고, 부분적인 입력에서도 전체 패턴을 재구성할 수 있도록 설계돼, 잡음에 강하고 상호 보완적인 정보를 효과적으로 추출한다. 두 번째 단계에서는 감정‑특이 프로토타입 메모리 뱅크를 구축한다. 각 기본 감정(예: 기쁨, 슬픔, 분노 등)에 대해 학습 가능한 프로토타입 벡터를 유지하고, 입력 데이터를 이 프로토타입들의 가중합으로 재구성함으로써 의미론적 임베딩을 만든다. 여기서 Prototype Relation Distillation(PRD) 기법을 적용해 프로토타입 간의 관계 그래프를 정규화하고, 서로 다른 모달에서 추출된 프로토타입이 동일한 관계 구조를 유지하도록 강제한다. 이는 교차 모달 정렬을 단순 거리 최소화가 아니라 구조적 일관성 유지로 승격시킨다. 또한 인간의 연상 기억을 모방한 메모리 검색 전략을 도입한다. 내용 주소화된 메모리 슬롯을 통해 현재 샘플과 의미적으로 유사한 과거 샘플들을 빠르게 찾아내고, 이들을 하나의 “semantic neighborhood”로 집계한다. 이렇게 형성된 집합 내에서 프로토타입 동시 발생(Co‑occurrence) 패턴을 학습함으로써, 동일한 정서적 밸런스(예: 긍정‑정서)끼리는 양의 상관관계를, 반대 밸런스(예: 긍정‑부정)끼리는 억제 관계를 자연스럽게 내재한다. 대비 학습(contrastive learning) 손실을 추가해 서로 다른 모달 간의 일관성을 강화하고, 불필요한 잡음은 억제한다. 세 번째 단계는 계층적 의미 압축(Hierarchical Semantic Compression)이다. 저수준 프로토타입에서 고수준 감정 분포로 올라가는 과정을 단계별로 수행해, 점진적으로 압축된 감정 표현을 얻는다. 최종적으로는 이 압축된 벡터를 통해 감정 분포를 회귀 형태로 예측한다. 실험은 두 개의 공개 멀티모달 감정 데이터셋(예: DEAP, MAHNOB‑HCI)에서 수행되었으며, MPCL은 기존 최첨단 모델(EDLConV, EmotionDict, HeLo 등) 대비 평균 3~5%p 이상의 정확도 향상을 보였다. 정량적 지표(C‑index, KL‑divergence)뿐 아니라 시각적 정성 분석에서도 MPCL이 감정 간 구조적 관계를 더 명확히 반영함을 확인할 수 있었다. 결론적으로, MPCL은 (1) 다중 스케일 연관 메모리를 통한 효과적인 모달 융합, (2) 프로토타입 메모리 뱅크와 PRD를 이용한 교차 모달 정렬, (3) 인간 기억 메커니즘을 모방한 메모리 검색 기반 동시 발생 학습, (4) 계층적 의미 압축을 통한 고품질 감정 분포 예측이라는 네 가지 핵심 기여를 제공한다. 이는 실시간 감정 인식, 정서 기반 인간‑컴퓨터 인터페이스, 정신건강 모니터링 등 다양한 응용 분야에 활용될 잠재력을 가진다. **