자연스러운 손 제스처 인식: 센서와 마커 없이 실시간으로

실시간 성능을 갖춘 상호작용 시스템에는 제스처 인식이 필수적이며, 이는 일반적으로 지문 감지를 통해 이루어집니다. 문헌에서는 손가락 끝 감지 기술을 사용하여 시스템을 제어하는 다양한 사례를 발견할 수 있습니다. 본 연구는 센서나 마커 없이 자연스러운 손 제스처 인식을 목표로 합니다. 여러 연구자가 동적 손 제스처 인식에 대한 다양한 방법을 제안했지만, 이러한 접근법에는 몇 가지 한계가 존재합니다. Garg [Garg, P. et al., 2009]는 3D 이미지를 사용하여 제스처를 인식하지만, 이 과정은 복잡하고 시간 효율성이 떨어집니다. Ozer [Ozer, I.B., 2005]는 “실시간 비디오 분석을 설계하는 것은 진정으로 복잡한 작업"이라고 언급하며 처리 시간이 실시간 애플리케이션에서 매우 중요한 요인임을 강조합니다. Yang은 손 윤곽을 분석하여 지문 후보를 선택하고 공간 분포의 극값을 찾아 지역 변동을 확인함으로써 지문을 위치시킵니다. 그러나 이러한 방법들은 손의 방향에 민감하지 않습니다. 다른 접근법에서는 방향 변화에 대한 템플릿을 사용하여 지문을 감지합니다 [Kim, J.M. and Lee, W.K., 2008] [Sanghi, et al., 2008]. 일부 방법은 적외선 카메라 [Oka, K. et al., 2002], 스테레오 카메라 [Ying], 고정 배경 [Crowley, J.L., et al., 1995] [Quek, F.K.H. et al., 1995], 또는 손에 마커 부착과 같은 전문 장비를 사용합니다.

동영상에서 움직이는 지문을 감지하기 위해서는 빠르고 강력한 방법의 구현이 필요합니다. 많은 지문 감지 방법은 손 세분화 기술을 기반으로 합니다. 이는 관심 영역만 선택하여 처리 영역을 줄이기 때문입니다. 그러나 대부분의 손 세분화 방법은 빠른 손 운동, 복잡한 배경, 조도 저하와 같은 조건에서 명확한 손 세분화를 수행할 수 없습니다 [Christian]. 손 세분화 성능이 떨어지면 지문 감지 방법의 정확도가 저하됩니다. Oka 등 [Oka, et al., May 2002], [Oka, et al., Dec 2002] 및 Sato [Sato, 2000]는 적외선 카메라를 사용하여 안정적인 세분화를 달성합니다. Crowley 등 [Crowley, et al., 1995], [Quek, et al., 1995], [Christian]은 배경 잡음, 손 움직임 속도 또는 조도 조건을 제한하여 안정적인 세분화를 달성합니다. 일부 지문 감지 방법은 다방향 지문을 정확하게 위치시키지 못합니다. Crowley 등 [Crowley, et al., 1995], [Quek, et al., 1995], Brown 등 [Brown, et al., 2000], Tomita 등 [Tomita, et al., 1995]은 손이 항상 위를 향한다고 가정하여 정밀한 위치를 얻습니다.

피부 필터는 동영상의 현재 입력 프레임에 적용됩니다. 이는 HSV (또는 YC b C r) 색상 공간을 기반으로 합니다. HSV 색상 공간에서 피부는 채도(색과 명도) 값을 사용하여 필터링되고, YC b C r 색상 공간에서는 Cb 및 Cr 값이 사용됩니다. 피부 필터는 백색으로 배경을, 흰색으로 손 영역을 포함하는 이진 이미지를 생성합니다. 다음 단계에서는 평균 필터를 사용하여 이진 이미지를 부드럽게 합니다. 그림 2는 피부 필터링 과정의 다양한 단계를 보여줍니다. 피부 필터 출력 이미지에는 잘못된 픽셀 감지나 손 배경에 있는 피부 픽셀로 인해 오류가 발생할 수 있습니다. 이러한 오류를 제거하기 위해 가장 큰 BLOB (이진 연결 객체)를 손으로 간주하고 나머지 배경을 0으로 설정합니다 (그림 3a 참조). 가장 큰 BLOB은 ‘1’로 손 좌표를 나타내고 ‘0’으로 배경을 나타냅니다. 필터링된 손은 그림 3b에서 보듯이 모든 오류가 제거된 후 표시됩니다. 이 필터의 유일한 제한 사항은 손 BLOB이 가장 커야 한다는 것입니다.

손목 끝 감지는 이진 실루엣의 히스토그램을 기반으로 합니다. 히스토그램 생성 함수는…

다음은 제공된 학술 텍스트의 전문적인 한국어 번역입니다:

여기서 imb는 이진 실루엣을 나타내며, m과 n은 행과 열을 의미합니다.

이미지 4방향 스캔 후, 모든 스캔에서 ‘온’ 픽셀(이진 실루엣에서 ‘1’)의 최대값을 선택합니다. 관찰 결과, 최대 ‘온’ 픽셀 값은 손목 끝을 나타내며, 스캔 방향 반대쪽은 손가락 끝을 의미합니다. 그림 4는 스캔 과정을 보여줍니다. 그림 4에 표시된 노란 막대는 왼쪽에서 오른쪽으로 스캔한 첫 번째 ‘온’ 픽셀을 나타냅니다.

마찬가지로, 초록 막대는 오른쪽에서 왼쪽으로, 빨간 막대는 아래에서 위로, 분홍 막대는 위에서 아래로 스캔한 ‘온’ 픽셀을 의미합니다. 특정 이미지 프레임에 대해 빨간 막대가 다른 막대보다 크다는 것이 명확합니다. 따라서 손목 끝이 프레임의 하방 방향이며, 손가락 방향은 상방 방향이라는 것을 추론할 수 있습니다. 여기서 손목에서 손가락까지의 방향은 알려져 있습니다.

손 절단(hand cropping)은 처리 시 고려해야 할 픽셀 수를 줄여 계산 시간을 최소화합니다. 다음 단계로, 이진 실루엣에서 히스토그램을 생성합니다(그림 5 참조). 히스토그램 분석 결과, 손목 끝에서 급격히 기울어지는 매개변수의 시작점을 확인할 수 있습니다. 이 기울기의 경사, m은 다음과 같이 정의됩니다:

이미지 시작점에서 기울기가 발견되고, 다른 세 방향의 스캔에서 첫 번째 ‘온’ 픽셀에 해당하는 점들이 찾으면, 이미지 절단을 위한 좌표를 얻을 수 있습니다.

이미지 절단을 위한 방정식은 다음과 같습니다:

여기서 imcrop은 절단된 이미지, Xmin, Ymin, Xmax, Ymax는 이미지에서 손의 경계를 나타냅니다. 그림 6에 처리 단계 후의 결과가 표시됩니다. 주요 프레임의 화살표는 스캔 방향을 나타내며, 모든 히스토그램에서 손목 점에 도달하면 스캔 방향에 따라 급격히 기울어지는 것이 명확하게 보입니다.

절단된 손 이미지에서는 손가락 끝을 식별합니다. 다시 절단된 이진 이미지를 스캔하고, 손의 방향(상하 또는 좌우)에 따라 각 행 또는 열의 픽셀 수를 계산합니다. 그런 다음, 위로 손목에서 손가락 끝 방향으로 증가하는 비율에 따라 각 픽셀의 강도 값을 1부터 255까지 할당합니다. 따라서 손가락 가장자리 픽셀은 255의 높은 강도 값을 갖게 됩니다. 손가락 가장자리를 감지하기 위해 단순히 강도가 255인 픽셀만 감지하면 됩니다. 이는 수학적으로 다음과 같이 표현될 수 있습니다:

여기서 Finger edge는 손가락 경계를 나타냅니다. 높은 강도 픽셀을 가진 선은 먼저 인덱싱되고, 미분된 값이 임계값 내에 있는지 확인됩니다. 만약 그렇다면, 그것은 손가락 끝을 의미합니다. 임계값은 이미 손의 방향과 손가락에서 손목 방향으로 조정될 수 있습니다. 이 임계값은 손의 방향과 손가락의 감지를 위해 이미 알려진 후 설정할 수 있습니다.

…(본문이 길어 생략되었습니다. 전체 내용은 원문 PDF를 참고하세요.)…