ABHIVYA KTI: 노인과 환자를 위한 손 제스처 인식 시스템

ABHIVYA KTI는 힌디어 단어로, 구두로 감정을 표현하는 것을 의미합니다. 이 시스템은 말이나 걸을 수 없는 노인 또는 환자를 대상으로 합니다. 환자 모니터링 중 환자가 혼자 방에 있고, 음식을 먹고 싶거나 누군가를 불러야 할 때, 사용자는 개발된 시스템을 사용하여 손 제스처를 만들 수 있으며, 원하는 것을 얻을 수 있습니다. 사용자는 손을 움직일 수 있는 능력이 있어야 하며, 완전히 마비되지 않았음을 전제로 합니다.

이 시스템의 연구 초점은 인간과 기계의 상호작용에 맞춰져 있습니다. 기계는 사용자의 제스처에 대한 미리 정의된 문법(syntax)에 따라 동작을 수행합니다. ABHIVYA KTI는 카메라가 내장된 사용자 친화적인 인터페이스를 제공하며, 사용자는 손을 카메라 앞에 보여줍니다. 시스템은 이 손 제스처를 해석하여 유효한 제스처 문법인지 여부를 판단합니다. 제스처가 규칙 목록에 포함되지 않으면 시스템은 아무런 조치를 취하지 않고 잘못된 입력 메시지를 표시합니다. 유효한 제스처라면, 미리 정의된 동작에 따라 시스템이 작동하고 사용자에게 동작이 완료되었음을 알립니다.

ABHIVYA KTI는 컴퓨터 비전 원리를 기반으로 하며, 이미지 처리 기술을 사용하여 제스처를 획득하고 전처리합니다. 제안된 시스템 연구는 2D 시스템에 초점을 맞추고 있습니다. 3D 시스템은 설정하기가 훨씬 복잡하며 적어도 두 개의 동기화된 스테레오 카메라가 필요합니다. 또한, 이미지의 매개변수 계산 모델링의 복잡성이 매우 높기 때문에(참고 문헌 [30]) 손 제스처 인식에 자주 사용되지 않습니다. 3D에서는 손 움직임이 의도적인 제스처인지 우연한 동작인지를 측정하는 것이 어렵습니다(참고 문헌 [15]).

관련 연구

Mitra(참고 문헌 [19])는 제스처 인식을 사용자 제스처 생성 및 수신자 인식 과정으로 정의합니다. 이 분야에서 많은 연구자들이 뛰어난 업적을 달성했습니다. Ahn(참고 문헌 [1])은 증강 환경을 위한 적외선 카메라를 사용한 인터페이스 테이블을 개발했습니다. Chaudhary(참고 문헌 [4])는 지능형 시스템 설계에 대한 연구를 발표했습니다. 그림 1은 피부 기반 감지를 통해 전경 이미지에서 손과 얼굴을 추출하는 컨투어 추적 알고리즘을 보여줍니다. 제스처 인식에서 색상 기반 방법은 인간 피부의 독특한 색상 발자국으로 인해 적용 가능합니다. 이 색상 발자국은 표준 RGB 카메라 캡처 공간보다 더 뚜렷하고 덜 민감합니다. 대부분의 색상 세분화 기법은 히스토그램 매칭이나 훈련 데이터를 기반으로 한 단순 룩업 테이블 접근 방식을 사용합니다(참고 문헌 [13][24]).

색상 기반 위치 기술의 주요 단점은 다양한 조명 조건에서 피부 색상 발자국의 변동성입니다. 이는 종종 피부 영역이 감지되지 않거나 비피부 텍스처가 잘못 감지되는 결과를 초래합니다. 이 문제를 완화하기 위해 특정 크기나 특정 공간 위치의 영역만 고려할 수 있습니다.

다른 일반적인 해결책은 제한된 배경이나 어두운 장갑과 같은 옷을 입는 것입니다(참고 문헌 [16][17][18][20]). Wu(참고 문헌 [31])는 장면으로부터 손 영역을 추출하기 위해 세분화 기술을 사용했습니다. Vezhnevets(참고 문헌 [28])는 피부 모델링 및 감지에 유용한 다양한 방법을 설명합니다. 피부 색상 감지와 경계 추출은 이미지로부터 제스처를 추출하는 중요한 단계입니다. 제스처 인식은 시각 이미지의 제스처 데이터 분석을 통해 특정 제스처로 인식하는 과정입니다. 이 단계에서 제스처 이미지가 캡처된 이미지에서 추출되었고, 이제 제스처 인식에 대한 대상 데이터가 됩니다. 그래프 매칭은 이미지 내 객체 매핑에 널리 사용되지만 세분화에 의존하는 문제점을 안고 있습니다(참고 문헌 [23]).

손 제스처 식별 방법은 해결해야 할 문제에 따라 다양합니다(참고 문헌 [20]).

손 제스처 인식: 비접촉 영상 기법과 모델링

기계 학습을 통해 인간의 정적 또는 동적 손 구성을 측정할 수 있습니다. 이 문제를 해결하기 위한 초기 시도들은 직접 손 관절 각도와 공간 위치를 측정하는 장갑 기반 장치라는 기계적 장치들을 결과로 가져왔습니다.[3][10][29]. 이러한 시스템은 사용자가 불편한 장치를 착용하고 컴퓨터와 연결되는 여러 케이블을 다루어야 하므로, 컴퓨터 제어 환경과의 상호작용이 불편하고 자연스럽지 못합니다. 장갑과 다른 장치들의 불편함을 극복할 수 있는 잠재적인 방법으로는 비접촉적 영상 기반 제스처 인식 기법들이 있습니다. 이러한 기법들은 제스처를 식별하기 위해 벡터 양자화(VQ)에서 파생된 클러스터링 매개변수 기술을 주로 사용합니다. 간단히 말해, 벡터 양자화에서는 훈련 예시와 특정 거리를 기반으로 가장 가까운 이웃을 결정하기 위해 n차원 공간을 n차원 하이퍼플레인(hyperplane)으로 분할하는 방법이 사용됩니다. 모델의 매개변수는 인식에 도움이 되도록 선택될 수 있으며, 이는 [8][26]에서 보여졌습니다. 원통형, 구형, 타원체, 초사각형과 같은 구조들은 종종 손이나 손가락 관절의 모양을 근사하기 위해 사용됩니다.[6]. SVM(지원 벡터 머신)과 같은 분류기를 구축하는 접근 방식도 있습니다.[5][31]. 먼저, 포착된 이미지에서 손 위치를 정의해야 합니다.

복잡한 시스템인 GREFIT [21][22]에서는 관절과 연결된 링크 세트를 통해 손 모델이 정의됩니다. 학습 기반 방법들도 지능적인 방법으로 구축될 수 있습니다. 일부 연구자들은 표면 지점을 매개변수로 사용하여 손 이미지를 구성합니다.[표 1]. 이 접근 방식은 인간의 손에서 엄지손가락 위치에 대한 상대적 위치가 거의 항상 충분하여 제한된 수의 다른 제스처를 구별할 수 있다는 가정에 기반합니다.[2][9][16]. Nguyen [20]는 학습 모델을 적용하여 엄지손가락 인식과 검출을 수행하고 이를 통해 손 모델을 재구성합니다. 손 제스처 인식 모델링에서 손가락은 핵심 지점입니다. 팔은 단단하게 가정됩니다. Kerdvibulvech [12]는 기타 연주자의 위치를 추출하기 위해 가보르(Gabor) 특징 벡터를 사용합니다. 다른 접근 방식으로는 (r, θ)와 B-스플라인 곡선 또는 손 모델의 흐름 사이의 각도 및 손가락 곡률 정보를 고려하는 방법들이 있습니다. 엄지손가락을 감지하는 또 다른 방법은 템플릿 패턴 매칭 기법을 사용하는 것입니다. 이는 윤곽선과 같은 추가 이미지 특징을 통해 강화될 수 있습니다.[25]. 2D에서 엄지손가락 위치는 손 제스처 인식 연구의 주요 동기 중 하나입니다.

제스처 인식의 잠재적 응용 분야는 인간과 다양한 컴퓨터 제어 디스플레이 간의 자연스러운 상호작용을 목표로 합니다. 현재 제스처 인식 기술은 고무적이지만, 더 많은 이론적 및 계산적 발전이 필요하기 전에 널리 사용될 수 없습니다. 비선형 클러스터링 기법을 선택함으로써 모델 매개변수가 비구형 집합에 클러스터되는 문제도 해결할 수 있습니다. 인공 신경망은 이러한 옵션 중 하나입니다. 하지만 제스처 인식에 대한 그들의 사용은 아직 완전히 탐구되지 않았습니다.[14]. 인간의 손 구조에서 엄지손가락 감지는 대부분의 손 모델 연구와 일부 제스처 인식 시스템에서 중요한 이슈입니다.[20]. 문헌을 살펴보면, 이 분야의 연구가 충분하지 않다는 것이 분명하며, 새로운 조사와 관심이 필요합니다. 컴퓨터 비전 및 인간-기계 상호작용 분야에서 이 영역에는 많은 가능성들이 존재합니다. 제스처 인식은 배경이 정적이지 않거나 이미지가 동일한 유형의 다른 물체로 채워져 있지 않다면 확률 기반이 될 수 있습니다.

제스처 인식 기술: 효율성과 미래 응용

이러한 객체는 비효율적인 결과를 초래할 수 있습니다. 일반적으로 제스처 인식 과정은 세 단계로 구성됩니다: 이미지 캡처, 제스처 추출, 제스처 인식입니다. 각 단계는 알고리즘 설계, 처리 속도, 시스템 아키텍처, 비디오 인터페이스와 같은 여러 이슈를 포함합니다 (참고 문헌 23). 카메라가 방, 비행기, 자동차 또는 보안 검문소와 같은 환경에서 사람을 감지하고 활동 내용을 인식할 수 있습니다. 이러한 카메라 결과는 분석되어 해당 환경에서 장치의 작동을 제어하는 데 사용될 수 있습니다. 본 논문에서는 단순화를 위해 2차원 정적 제스처 인식에 초점을 맞춥니다. 다음은 저희 연구의 전제 조건입니다: (1) 고해상도 카메라로 이미지를 캡처, (2) 입력 프레임의 크기 및 형식이 요구 사항에 최적화.

…(본문이 길어 생략되었습니다. 전체 내용은 원문 PDF를 참고하세요.)…