다중생체인증을 위한 딥 해싱과 신경망 디코더 통합 모델

본 논문은 멀티모달 바이오메트릭 인증 시스템의 정확도와 강인성을 동시에 향상시키기 위해 ‘멀티모달 딥 해싱 신경망 디코더(MDHND)’라는 새로운 아키텍처를 제안한다. 시스템은 크게 두 모듈, 즉 멀티모달 딥 해싱(MDH) 모듈과 신경망 디코더(NND) 모듈로 구성된다. MDH 모듈은 얼굴과 홍채라는 두 가지 바이오메트릭을 각각 전용 CNN(‘Face‑CNN’과 ‘Iris‑CNN’)으로 특징을 추출한다. 두 CNN은 VGG‑19 구조를 사전학습한 뒤, WVU‑Multimodal 데이터셋을 이용해 파인튜닝한다. 추출된 특징 벡터는 두 가지 융합 방식 중 하나로 결합된다. 첫 번째는 Fully Connected Architecture(FCA)로, 두 벡터를 단순히 연결(concatenation)한 뒤 완전 연결층을 통과시켜 융합한다. 두 번째는 Bilinear Architecture(BLA)로, 두 벡터의 외적을 계산해 고차원 bilinear 특징을 만든 뒤 완전 연결층에 입력한다. 융합된 특징은 해싱 레이어를 거쳐 이진 코드로 변환된다. 해싱 레이어에서는 양자화 손실을 최소화하기 위해 연속적인 tanh 활성화 함수를 사용하고, β 파라미터를 점진적으로 증가시켜 sign 함수에 근접하도록 하는 continuation 방법을 적용한다. 이와 동시에 손실 함수는 세 가지 요소를 포함한다. (1) 분류 손실(softmax 기반) – 클래스 구분 능력 유지, (2) 양자화 손실 – 출력이 -1 또는 1에 가깝게 만들기, (3) 엔트로피 최대화 손실 – 코드 비트가 균등하게 0/1을 차지하도록 유도한다. 이러한 복합 손실은 해시 코드가 정보량을 충분히 보존하면서도 이진화 과정에서 발생하는 손실을 억제한다. MDH 모듈이 생성한 이진 코드는 실제 인증 단계에서 센서 노이즈, 조명 변화, 자세 변동 등으로 인해 등록 시와 검증 시 차이가 발생한다. 이를 보정하기 위해 ECC와 NND를 도입한다. 전통적인 ECC 디코더는 가우시안 잡음 모델을 가정하지만, 바이오메트릭 데이터는 복합적인 왜곡을 보인다. 따라서 논문은 Belief Propagation을 신경망 형태로 구현한 NND를 사용한다. NND는 입력된 ‘손상된’ 코드워드를 여러 레이어를 통해 점진적으로 정제하고, 최종적으로 올바른 코드워드(또는 메시지)를 출력한다. 학습 과정은 세 단계로 진행된다. 1단계에서는 MDH 전체를 위에서 언급한 복합 손실로 학습한다. 여기서 각 CNN은 고정된 상태에서 융합·해싱 레이어만 먼저 학습한 뒤, 전체 네트워크를 미세 조정한다. 2단계에서는 1단계에서 얻은 이진 코드를 기존 ECC 디코더(예: BCH, Reed‑Solomon 등)에 입력해 ‘정답’ 라벨을 생성한다. 이 라벨은 NND가 학습할 목표 출력이다. 3단계에서는 NND를 위 라벨을 이용해 사전 학습하고, 이후 MDH와 NND를 연결한 뒤 전체 시스템을 공동 최적화한다. 이때 MDH의 파라미터는 NND의 피드백을 받아 양자화 손실을 더욱 감소시키고, NND는 실제 바이오메트릭 변동에 맞는 디코딩 능력을 강화한다. 실험은 WVU‑Multimodal 2012‑2013 데이터셋을 사용했다. Face‑CNN은 CASIA‑WebFace(≈494k 이미지)로 사전 학습하고, Iris‑CNN은 CASIA‑Iris‑Thousand와 ND‑Iris‑0405(≈84k 이미지)로 사전 학습한다. 이후 두 CNN을 WVU 데이터셋의 1,060명(58,200 얼굴, 121,200 홍채)으로 파인튜닝한다. 공통 피험자 294명을 테스트에 사용했으며, FCA와 BLA 두 구조 모두에서 64비트와 1,024비트 해시 길이를 실험했다. 평가 결과, 제안된 MDHND는 기존 멀티모달 해시 기반 방법(예: 단순 concatenation + sign) 및 전통적인 ECC‑디코딩 기반 시스템에 비해 FAR(False Acceptance Rate)와 FRR(False Rejection Rate) 모두에서 유의미하게 낮은 값을 기록했다. 특히 BLA 구조는 64비트 해시만으로도 높은 정확도를 유지했으며, 이는 메모리와 연산량 측면에서 실용성을 크게 높인다. 논문의 주요 기여는 다음과 같다. 1. 서로 다른 바이오메트릭을 동일한 잠재 공간으로 매핑하는 CNN 기반 비선형 융합 설계. 2. 양자화 손실을 최소화하는 연속적 tanh‑sign 변환(continuation) 기법과 엔트로피 최대화 손실을 결합한 새로운 해시 학습 목표. 3. ECC와 신경망 디코더(NND)를 결합해 바이오메트릭 변동을 보정하고, MDH와 NND를 공동 최적화하는 프레임워크. 4. 3단계 학습 절차를 통해 해시와 디코더를 동시에 최적화함으로써 전체 시스템 성능을 크게 향상시킨 점. 향후 연구 방향으로는 (a) 추가 모달리티(예: 지문, 음성, 서명)와의 확장, (b) 다양한 ECC 코드(예: LDPC, Polar)와의 결합 실험, (c) 실시간 인증을 위한 경량화 모델 설계 및 모바일/임베디드 환경 적용, (d) 보안 측면에서 적대적 공격에 대한 내성을 평가하는 것이 제시된다.