Title: KineST: A Kinematics-guided Spatiotemporal State Space Model for Human Motion Tracking from Sparse Signals
ArXiv ID: 2512.16791
발행일: 2025-12-18
저자: Shuting Zhao, Zeyu Xiao, Xinrong Chen
📝 초록 (Abstract)
전신 동작 추적은 AR/VR 애플리케이션에서 물리적 및 가상 상호 작용을 연결하는 중요한 역할을 합니다. 그러나 헤드 마운트 디스플레이를 통해 얻는 희박한 신호로 실제이고 다양한 전신 동작을 재구성하는 것은 어렵습니다. 기존의 동작 재구성 방법은 높은 계산 비용이나 공간적, 시간적 의존성을 별도로 모델링하여 정확성, 시계열 일관성 및 효율성 사이의 균형을 맞추는 것이 어려웠습니다. 이러한 문제를 해결하기 위해 우리는 KineST라는 새로운 동역학 지향 상태공간 모델을 제안합니다. 이 모델은 공간적과 시간적 의존성을 효과적으로 추출하면서 지역적 및 전역적인 자세 인식을 통합합니다.
💡 논문 핵심 해설 (Deep Analysis)
KineST는 AR/VR 애플리케이션에서 전신 동작 추적이 중요한 역할을 하는 상황에서, 헤드 마운트 디스플레이를 통해 얻은 제한적인 신호로 실제이고 다양한 동작을 재구성하는 문제에 초점을 맞춥니다. 기존의 방법들은 높은 계산 비용이나 별도의 공간적과 시간적 의존성을 모델링함으로써 정확성, 시계열 일관성 및 효율성 사이에서 균형을 맞추는 것이 어렵다는 문제를 해결하기 위해 KineST가 제안되었습니다. 이 모델은 두 가지 핵심 아이디어로 구성됩니다: 첫째, 상태공간 이중성 프레임워크 내의 스캐닝 전략을 동역학 지향 양방향 스캔으로 재구성하여 관절 간 복잡한 관계를 더 잘 포착합니다. 둘째, 공간적과 시간적 맥락을 긴밀하게 결합하는 혼합 공간-시간 표현 학습 접근법을 사용하여 정확성과 부드러움 사이의 균형을 맞춥니다. 또한 물리적으로 의미 있는 제약 조건을 회전 변화에 적용하기 위해 기하학적 각속도 손실을 도입합니다.
📄 논문 본문 발췌 (Excerpt)
전신 동작 추적은 AR/VR 애플리케이션에서 물리적 및 가상 상호 작용을 연결하는 중요한 역할을 합니다. 그러나 헤드 마운트 디스플레이를 통해 얻는 제한적인 신호로 실제이고 다양한 전신 동작을 재구성하는 것은 어렵습니다. 기존의 동작 재구성 방법은 높은 계산 비용이나 별도의 공간적, 시간적 의존성을 모델링하여 정확성, 시계열 일관성 및 효율성 사이에서 균형을 맞추는 것이 어려웠습니다. 이러한 문제를 해결하기 위해 우리는 KineST라는 새로운 동역학 지향 상태공간 모델을 제안합니다. 이 모델은 공간적과 시간적 의존성을 효과적으로 추출하면서 지역적 및 전역적인 자세 인식을 통합합니다.
KineST의 혁신은 두 가지 핵심 아이디어에서 나옵니다. 첫째, 상태공간 이중성 프레임워크 내의 스캐닝 전략을 동역학 지향 양방향 스캔으로 재구성하여 관절 간 복잡한 관계를 더 잘 포착합니다. 둘째, 공간적과 시간적 맥락을 긴밀하게 결합하는 혼합 공간-시간 표현 학습 접근법을 사용하여 정확성과 부드러움 사이의 균형을 맞춥니다. 또한 물리적으로 의미 있는 제약 조건을 회전 변화에 적용하기 위해 기하학적 각속도 손실을 도입합니다.
수많은 실험 결과 KineST는 가벼운 프레임워크 내에서 정확성과 시계열 일관성을 모두 갖춘 우수한 성능을 보여줍니다.
