직접 서펠 최적화를 이용한 단안 밀집 SLAM

본 논문은 단안 카메라만을 이용해 밀집 SLAM을 수행하는 새로운 방법을 제안한다. 기존의 단안 SLAM 시스템은 주로 특징점 기반의 sparse map(예: LSD‑SLAM, DSO)이나 픽셀‑단위 깊이 추정 후 정규화(예: DTAM, REMODE)를 사용해 왔으며, 텍스처가 부족하거나 반사면이 많은 영역에서는 깊이 추정이 불안정하고, 정규화 과정에서 물리적으로 부적절한 스무딩 prior를 적용하게 된다. 저자들은 이러한 문제를 해결하기 위해 장면을 “조각별 평면(piecewise planar)”이라는 가정 하에 서펠(surfel)이라는 작은 원통형 패치 집합으로 모델링한다. 서펠은 위치 p_s와 법선 n_s, 그리고 역깊이 id_s라는 3개의 파라미터로 정의된다. 서펠의 반경 r은 화면 상에서 모든 서펠이 동일한 면적을 차지하도록 설정되어, 각 서펠이 충분한 픽셀 관측을 확보한다. 역깊이 id_u는 서펠의 법선과 레이 r_u를 이용해 식(3)으로 직접 계산되며, 픽셀 u가 서펠 s의 투영 반경 안에 있을 경우에만 적용된다. 이를 통해 전통적인 epipolar search 없이도 각 픽셀의 깊이를 서펠 파라미터로부터 바로 얻을 수 있다. 새로운 서펠 초기화 절차는 현재 프레임의 역깊이 맵에서 “빈 픽셀”을 찾고, 주변에 존재하는 서펠들의 평균 역깊이와 법선을 이용해 새로운 서펠을 생성한다. 이는 전역 평면 가정 하에 근사값을 빠르게 제공하므로, 복잡한 초기화 루틴이 필요 없으며, 특히 프레임 진입 초기에 관측이 적은 영역에서도 안정적인 초기화를 가능하게 한다. 서펠 파라미터를 최적화하기 위한 비용 함수 C는 Huber 손실을 적용한 포토메트릭 오류의 합으로 정의된다. 여러 프레임(Ω)에서 관측된 강도 차이를 최소화하도록 설계되었으며, Jacobian을 계산할 때 id_u에 대한 미분을 미리 구해 모든 프레임에 재사용함으로써 GPU 연산량을 크게 절감한다. 법선은 3 자유도로 파라미터화하고 정규화하여 singularity 문제를 회피한다. 레퍼런스 프레임이 바뀔 경우, 기존 서펠의 위치와 법선을 새로운 레퍼런스 좌표계로 변환하는 식(10)을 적용해 연속성을 유지한다. 구현은 OpenGL 3.3 GLSL 셰이더만을 사용했으며, CUDA나 OpenCL 없이도 실시간 성능을 달성한다. 이는 모바일이나 임베디드 시스템에서도 적용 가능성을 시사한다. 실험은 세 가지 공개 데이터셋(식당, 실내, 야외)에서 수행되었다. 식당 데이터에서는 텍스처가 거의 없는 도로 부분에서도 깊이가 정확히 복원되었으며, 프레임 진입 초기에 관측이 적은 픽셀에서도 서펠 초기화가 성공했다. 실내 데이터에서는 반사와 블러가 있는 플로어와 천장이 정확히 재구성되었고, 야외 데이터에서는 구름이 낀 하늘까지도 깊이와 법선이 올바르게 추정되었다. 서펠 반경을 10픽셀로 설정했을 때는 세밀한 구조가 잘 보존되었으며, 12픽셀로 확대하면 디테일이 손실되는 것을 확인했다. 또한, 법선 추정을 포함했을 때와 제외했을 때의 3D 재구성 결과를 비교한 실험에서, 법선 정보가 깊이 정합성을 크게 향상시켜 보다 현실적인 모델을 생성함을 보여준다. 결론적으로, 이 논문은 “서펠 기반 조각별 평면 모델 + 직접 포토메트릭 최적화”라는 새로운 접근법을 제시함으로써, 단안 카메라만으로도 물리적으로 타당한 밀집 SLAM을 실시간으로 구현할 수 있음을 증명한다. 정규화 없이도 강인한 깊이와 법선 추정이 가능하고, GPU 친화적인 구현으로 높은 프레임 레이트를 유지한다는 점이 큰 장점이다. 다만, 서펠 반경을 고정값으로 설정하는 것이 복잡한 장면에서 과도한 평면화나 디테일 손실을 초래할 수 있으며, 정확한 카메라 캘리브레이션이 전제된다는 제한점이 있다. 향후 연구에서는 동적 서펠 크기 조절, 비정형 표면 모델링, 그리고 비정밀 캘리브레이션 환경에서도 견고하게 동작할 수 있는 확장성을 탐구할 필요가 있다.