VR 기반 동적 EMG 제스처 인식을 위한 전이 학습·도메인 적대 신경망

본 논문은 EMG 기반 제스처 인식 분야에서 오프라인 실험과 실제 실시간 제어 사이에 존재하는 성능 격차를 해소하기 위해 두 가지 주요 혁신을 제시한다. 첫 번째는 네 가지 핵심 동적 요인(gesture intensity, limb position, electrode shift, transient signal change)을 모두 포함한 “동적 데이터셋”을 VR 환경에서 수집한 것이다. 기존 연구는 이들 요인을 개별적으로 혹은 제한된 조합만을 다루었으며, 전부를 동시에 포함한 오프라인 데이터는 없었다. 저자들은 Leap Motion 카메라를 이용해 EMG와 무관한 실시간 피드백을 제공함으로써, 사용자가 제스처를 수행하면서도 EMG 신호에 편향되지 않은 데이터를 얻었다. 피드백은 제스처 종류, 강도, 3D 위치를 색·텍스트·가상 손 모델로 시각화했으며, 이는 사용자가 “in‑the‑loop” 상태를 유지하도록 설계되었다. 데이터 수집은 20명의 건강인(5여·15남, 평균 연령 26 ± 4세)을 대상으로 3~4회, 14~21일에 걸쳐 진행되었다. 각 세션은 11개의 손·손목 제스처와 3단계 강도, ±45°~±70°의 팔 위치 변화를 포함한다. 전극 이동은 매 세션마다 사용자가 직접 착용하도록 함으로써 자연스럽게 발생하도록 설계되었으며, 전극 배치는 사진을 통해 일관성을 유지했다. 수집된 데이터는 10채널 1 kHz sEMG, 9축 MARG(50 Hz), Leap Motion(≈10 Hz) 등 멀티모달 형태로 제공된다. 두 번째 혁신은 장기 재보정을 위한 전이 학습 알고리즘인 Transferable Adaptive Domain Adversarial Neural Network(TADANN)이다. TADANN은 기존 전이 학습(Feature Alignment)과 다중 도메인 적대 학습(Domain‑Adversarial Training)을 결합한다. 구체적으로, 소스 도메인(첫 번째 세션)에서 학습된 특성을 유지하면서, 타깃 도메인(다음 세션)과의 분포 차이를 최소화하기 위해 도메인 판별기를 역전파한다. 동시에, 제스처 분류 손실을 최소화하도록 공동 최적화한다. 이 과정에서 Gradient Reversal Layer를 사용해 도메인 구분을 방해하고, 특성은 제스처 인식에 유용하도록 유지한다. 분류 모델은 Temporal Convolutional Network(TCN)를 기반으로 설계되었다. TCN는 1‑D 시계열 데이터를 병렬 처리할 수 있어 RNN 대비 학습 속도가 빠르고 메모리 사용량이 적다. 입력은 전처리 없이 원시 sEMG 신호이며, 3개의 TCN 블록과 최종 Softmax 레이어로 구성된다. 실험에서는 (1) 네 가지 동적 요인을 모두 포함한 데이터셋이 기존 오프라인 데이터보다 강인한 모델을 학습시키는 데 유리함을 확인했으며, (2) 장기 재보정 실험에서 TADANN이 파인‑튜닝 대비 평균 3~5%p 높은 정확도를 기록했다. 특히 전극 이동과 팔 위치 변화가 큰 세션에서 TADANN의 우위가 두드러졌으며, 통계적으로 p < 0.05 수준에서 유의했다. 또한, 데이터셋은 GitHub(https://github.com/UlysseCoteAllard/LongTermEMG)에서 공개되어, 연구 재현성과 새로운 알고리즘 비교를 위한 벤치마크로 활용될 수 있다. 저자들은 이 데이터셋이 EMG 기반 제어기의 실시간 성능을 평가하고, 다양한 재보정 전략을 시험하는 표준 플랫폼이 될 것을 기대한다. 결론적으로, 이 논문은 (1) 실시간 피드백을 제공하면서도 EMG 데이터에 편향되지 않은 새로운 데이터 수집 프로토콜, (2) 효율적인 시계열 분류를 위한 TCN 기반 모델, (3) 다중 도메인 적대 학습을 결합한 TADANN 재보정 기법이라는 세 축을 통해 EMG 제스처 인식의 실용성을 크게 향상시켰으며, 향후 실시간 보조기기 및 재활 로봇 분야에 중요한 기반을 제공한다.