인터랙티브 제어 기반 3D 형태 재구성

논문은 로봇 비전 분야에서 2D 이미지로부터 3D 형태를 복원하는 문제의 근본적인 어려움을 지적한다. 기존의 딥러닝 기반 방법들은 대규모 라벨링 데이터와 특정 이미지 모달리티에 의존하지만, 실제 환경에서는 잡음, 폐색, 조명 변화 등으로 인해 성능이 급격히 저하된다. 이러한 한계를 극복하기 위해 저자들은 인간 운영자의 2D 입력을 실시간 피드백 제어 루프에 통합하는 인터랙티브 프레임워크를 제안한다. 먼저, 기존 영역 기반 스테레오 재구성 모델을 수학적으로 정리한다. 이미지 I_i 를 각 카메라 π_i 로부터 얻은 2D 관측으로 보고, 3D 표면 S와 배경 B를 각각 전방 및 후방 복사 함수 r_o, r_b 로 모델링한다. 각 카메라의 투영 π_i 를 통해 3D 표면 C의 실루엣 곡선 ĉ_i 를 얻고, 이를 역투영 π_i^{-1} 로 다시 3D 공간에 매핑한다. 표면 변형은 레벨셋 함수 φ(x) 로 기술되며, 자율 진화 방정식은 ∂φ/∂t = Σ_i ψ_i δ(φ) 로 표현된다. 여기서 ψ_i는 이미지 밝기와 가시성 χ_i에 기반한 기하학적 힘이다. 핵심 기여는 ψ_i에 인간의 2D 입력을 반영한 제어 항 F_i 를 추가한 식 ∂φ/∂t = Σ_i