얼굴과 귀를 결합한 다중 바이오메트릭 인식

본 논문은 얼굴과 귀 두 가지 바이오메트릭 특성을 결합하여 인증 정확도를 향상시키는 다중 바이오메트릭 시스템을 설계하고 실험한다. 서론에서는 귀 인식이 상대적으로 연구가 적지만, 비침습적이며 외부 요인(표정, 메이크업 등)에 덜 민감하고, 장시간에 걸쳐 변형이 적다는 장점을 강조한다. 또한, 얼굴 인식은 조명·표정·머리카락 등으로 인해 변동성이 크므로, 두 모달리티를 결합하면 상호 보완 효과를 기대할 수 있다고 제시한다. 관련 연구 파트에서는 기존 귀 인식 방법들을 정리한다. 초기에는 Canny edge 기반 귀 윤곽 검출, PCA 기반 비교, ‘force field’ 특징 추출, Active Contour, CAMSHIFT, AdaBoost 기반 검출 등 다양한 접근이 소개된다. 특히, PCA와 ICP(Iterative Closest Point) 알고리즘이 많이 사용되었으며, 일부 연구는 95% 이상의 인식률을 보고했지만, 대부분은 특정 조건(귀 피트 가시성, 조명 등)에 의존한다는 한계를 지적한다. 얼굴 인식 분야에서는 PCA(‘eigenface’)와 LDA(‘fisherface’)가 대표적인 방법이며, 최근에는 지역적 특징을 활용한 ICA 등도 연구되고 있다. 다중 바이오메트릭 결합 수준은 특징 수준, 매칭 수준, 결정 수준으로 구분되며, 본 연구는 구현의 용이성과 실시간성을 고려해 결정 수준 결합을 선택한다. 다수결과 AND 규칙을 적용해 각 서브시스템의 인증 결과를 종합한다. 방법론에서는 먼저 30명의 피험자를 대상으로 7장의 얼굴 정면 사진과 7장의 측면 사진을 촬영한다. 측면 사진에서 귀 부분을 수동으로 잘라 100×150 픽셀로 정규화한다. 전체 데이터는 420장으로 구성된다. 이미지 품질 평가는 정규화 교차상관(NCC)을 사용해 평균 이미지와의 유사도를 측정하고, 품질이 낮은 샘플은 매칭 단계에서 제외한다. 특징 추출은 PCA를 적용해 각각의 모달리티에 대해 고유벡터(‘eigenface’, ‘eigenear’)를 계산한다. PCA는 데이터의 분산을 최대화하는 방향을 찾음으로써 차원을 축소하고, 주요 특징을 추출한다. 그러나 새로운 이미지가 추가될 경우 공분산 행렬을 재계산해야 하는 단점이 있다. 매칭 단계에서는 추출된 특징 벡터 간의 Euclidean 거리를 계산하고, 거리값이 최소인 템플릿을 매칭 결과로 채택한다. 결정 수준 결합은 세 개의 서브시스템(두 개의 품질 모듈과 하나의 매칭 모듈)으로 구성된 다중 바이오메트릭 구조를 제시한다. 각 서브시스템이 독립적으로 ‘Accept’ 혹은 ‘Reject’를 판단하고, 최종 결정을 위해 최소 두 표가 ‘Accept’일 때만 인증을 허용하는 다수결 원칙과, 모든 서브시스템이 ‘Accept’해야만 최종 ‘Accept’가 되는 AND 규칙을 동시에 적용한다. 실험 결과는 다음과 같다. 얼굴 단일 인증에서는 94.7% 인식률, 5% FRR, 25% FAR를 기록했다. 귀 단일 인증에서는 90.7% 인식률, 9.3% FRR, 40% FAR를 보였다. 두 모달리티를 결합한 다중 인증에서는 인식률이 96%까지 상승하고, FAR가 0%로 완전히 사라졌다. FRR도 4%로 감소하였다. 이는 서로 다른 오류 패턴을 보완함으로써 전체 시스템의 강인성이 향상된 결과이다. 결론에서는 제안된 다중 바이오메트릭 시스템이 얼굴과 귀를 결합해 높은 인식률과 낮은 오류율을 달성했음을 강조한다. 현재는 통제된 실험 환경에서 검증했으며, 향후 비제어 환경(조명 변화, 머리 회전, 머리카락·귀걸이 occlusion 등)에서의 성능을 개선하기 위해 더 많은 데이터와 자동화된 품질 평가, 딥러닝 기반 특징 추출 등을 도입할 계획이라고 밝힌다.