웨어러블 고주파 무선 센싱을 활용한 3D 포인트클라우드 기반 감정 인식

본 논문은 고주파 무선 센싱(HFWS) 기술을 활용해 착용형 디바이스에서 연속적으로 3차원 얼굴 포인트클라우드를 획득하고, 이를 기반으로 프라이버시를 보호하면서 감정을 인식하는 새로운 파이프라인을 제시한다. 기존 2차원 이미지 기반 FER(Facial Emotion Recognition) 방법은 고해상도 사진을 수집해야 하며, 이는 GDPR·AI Act 등 강화된 데이터 보호 규정 하에서 개인정보 침해 위험이 크다. 또한, 카메라 기반 시스템은 장시간 착용 시 불편함과 침해성을 동반해 연속 모니터링에 부적합하다. 이러한 문제를 해결하기 위해 저자들은 HFWS가 전파 신호를 이용해 얼굴 표면의 미세 변화를 감지하고, 텍스처가 없는 3D 기하학 정보만을 제공함으로써 식별 가능성을 크게 낮춘다고 주장한다. 핵심 기술적 기여는 두 단계로 나뉜다. 첫 번째는 기존에 라벨이 부여된 대규모 2D FER 데이터베이스인 AffectNet을 FLAME 모델을 이용해 3D 메쉬와 포인트클라우드로 변환하는 과정이다. FLAME은 얼굴의 해부학적 구조와 표정 변화를 파라미터화한 통계적 모델로, 2D 이미지에서 얼굴의 깊이와 형태를 고정밀도로 복원한다. 변환 과정에서 라벨은 그대로 유지되며, 텍스처는 제거돼 프라이버시가 강화된 3D 데이터셋(AffectNet3D)이 생성된다. 두 번째 단계는 생성된 포인트클라우드에 대한 정제 파이프라인이다. 원본 재구성 결과에는 배경 잡음, 비정상적인 포인트 밀도, 얼굴 외부 영역 등이 포함될 수 있다. 저자들은 포인트 클라우드 클리핑, 노이즈 필터링, 얼굴 영역 추출, 포인트 수 균일화 등을 수행해 PointNet++가 효율적으로 학습할 수 있는 형태로 만든다. PointNet++는 점 기반 신경망으로, 각 포인트의 좌표와 로컬 특징을 다중 스케일로 집계해 전역 표현을 만든다. 이 구조는 텍스처가 없는 3D 데이터에서도 미세한 표정 차이를 포착하는 데 강점이 있다. 학습 및 평가에서는 먼저 AffectNet3D 전체를 이용해 사전 학습(pre‑training)을 수행한다. 이후 실제 3D FER 데이터셋인 BU‑3DFE를 25%만 사용해 미세조정(fine‑tuning)했을 때, 전체 BU‑3DFE로 학습한 오라클 모델과 비슷한 70% 이상의 정확도를 달성했다. 이는 2D→3D 변환 데이터가 실제 3D 데이터와 충분히 유사함을 입증한다. 또한, 웨어러블 환경을 모사하기 위해 포인트클라우드의 일부를 마스킹(시야 차단, 센서 배치 제한)했음에도, 사전 학습된 모델은 성능 저하가 제한적이었으며, 동일 조건에서 BU‑3DFE만 사용한 모델보다 월등히 우수했다. 논문의 기여는 다음과 같다. (1) 라벨이 부여된 2D FER 데이터베이스를 활용해 대규모 3D 포인트클라우드 데이터셋을 자동 생성하는 파이프라인 제시, (2) 프라이버시를 강화한 3D 데이터 정제 및 PointNet++ 기반 학습 프레임워크 구축, (3) 제한된 실제 3D 데이터만으로도 높은 일반화 성능을 달성한 전이 학습 전략, (4) 웨어러블 HFWS 환경에서의 부분 마스킹 실험을 통한 실용성 검증. 한계점으로는 FLAME 기반 재구성이 실제 HFWS 센서가 제공하는 노이즈와 해상도 차이를 완전히 반영하지 못한다는 점, 현재 정적 이미지 기반 정제만 다루어 동적(비디오) FER에 대한 확장은 미흡하다는 점을 들 수 있다. 향후 연구에서는 실제 HFWS 하드웨어에서 수집한 원시 신호를 직접 3D 포인트클라우드로 변환하는 알고리즘 개발, 동적 시퀀스 모델링을 위한 시계열 포인트넷 구조 탐색, 그리고 프라이버시 보장을 위한 정량적 재식별 위험 평가가 필요하다.