드론 자율 가지치기를 위한 실시간 스테레오 매칭 벤치마크: 나무 가지 이미지에 딥러닝 적용

본 논문은 자율 드론 기반 나무 가지치기에 필수적인 고정밀·실시간 깊이 추정을 목표로, 실제 숲속 장면에서 딥 스테레오 매칭 네트워크를 학습·평가한 최초의 연구이다. 기존 연구에서는 합성 데이터나 일반 도시·실내 씬에만 초점을 맞추어, 얇고 겹치는 가지, 반복 텍스처, 급격한 깊이 변화가 특징인 숲속 환경에서 성능이 급격히 저하되는 문제를 지적했다. 이를 해결하기 위해 저자들은 뉴질랜드 캔터베리 지역에서 ZED Mini 스테레오 카메라(베이스라인 63 mm)로 촬영한 5,313개의 스테레오 이미지 쌍을 수집하고, 비용이 많이 드는 LiDAR 대신 이전 연구에서 가장 일관된 성능을 보인 DEFOM‑Stereo를 이용해 의사‑정답 disparity 맵을 생성하였다. 이렇게 만든 Canterbury Tree Branches 데이터셋은 1080P(1920×1080)와 720P(1280×720) 두 해상도로 제공되며, 학습‑검증‑테스트 비율은 각각 80 %·10 %·10 %로 나뉘어 다양한 조명·날씨·거리 조건을 포괄한다. 연구는 총 10가지 최신 스테레오 매칭 모델을 선정했으며, 이는 단계적 반복 정제(RAFT‑Stereo), 3D‑CNN 기반(PSMNet, GwcNet), 모션·채널 어텐션(MoCha‑Stereo), 엣지‑어웨어 양방향 어텐션(BANet‑2D, BANet‑3D), 경량 실시간 모델(AnyNet, DeepPruner, DCVSMNet, IGEV‑RT) 등 여섯 개 설계 패러다임을 포괄한다. 모든 모델은 Scene Flow 사전학습 가중치를 초기화하고, 동일한 학습 파이프라인(AdamW, lr 1e‑4, cosine‑annealing, batch 4, 100 epoch, early stopping)으로 Canterbury 데이터에 fine‑tune 되었다. 손실 함수는 smooth L1을 사용했으며, 다중 스케일 출력을 갖는 모델은 각 스케일에 가중치를 부여해 총합 손실을 최소화하도록 설계했다. 품질 평가는 단순 픽셀 오차를 넘어 시각·구조적 유사성을 측정하기 위해 SSIM, LPIPS, ViTScore를 도입했으며, SIFT·ORB 키포인트 매칭 비율을 통해 실제 특징 보존 정도를 정량화했다. 이러한 다중 지표는 드론이 이후에 수행할 가지 검출·절단·경로 계획 등에 직접적인 영향을 미친다. 실험 결과, 엣지‑어웨어 3D 비용 필터링을 적용한 BANet‑3D가 SSIM 0.883, LPIPS 0.157, SIFT 0.274, ORB 0.162 등 모든 품질 지표에서 최고 성능을 기록했다. 이는 얇은 가지와 급격한 깊이 변화를 정확히 복원함을 의미한다. BANet‑2D는 경량 버전으로 SSIM 0.816·LPIPS 0.245의 괜찮은 품질을 유지하면서 1.21 FPS(1080P)로 실시간에 가까운 속도를 제공한다. 반면, 단계적 반복 정제 모델인 RAFT‑Stereo는 ViTScore 0.799로 전체 장면 구조 보존에 강점이 있지만 SSIM 0.763·LPIPS 0.312로 세부 디테일에서는 뒤처진다. 3D‑CNN 기반 PSMNet·GwcNet는 중간 수준의 품질을 보이며, 특히 PSMNet은 LPIPS 0.212로 시각적 차이가 적다. 경량 모델 AnyNet은 1080P에서 6.99 FPS(143 ms 지연)로 유일하게 실시간에 근접하지만, V‑Score 0.196·LPIPS 0.434 등 품질이 크게 떨어진다. DeepPruner와 DCVSMNet도 품질이 낮아 실시간·고품질 요구를 동시에 만족시키지 못한다. 속도 측면에서는 해상도를 720P로 낮출 경우 대부분 모델이 2~3 FPS 수준까지 상승한다. AnyNet은 720P에서 12 FPS에 육박해 실시간 사용이 가능해진다. 그러나 RAFT‑Stereo·PSMNet 등 무거운 모델은 720P에서도 0.5 FPS 이하에 머물러, 해상도 감소만으로는 실시간을 달성하기 어렵다. 따라서 드론 시스템 설계 시, 전력·배터리 제약과 작업 요구에 따라 고해상도·고품질(BANet‑3D)와 저해상도·실시간(AnyNet) 사이의 트레이드오프를 전략적으로 선택해야 한다. 본 연구의 주요 기여는 다음과 같다. (1) 실제 나무 가지 영상을 기반으로 한 최초의 식생‑특화 스테레오 매칭 벤치마크 데이터셋을 공개, LiDAR 없이도 대규모 의사‑정답 라벨을 생성하는 방법을 제시. (2) 10가지 최신 모델을 동일 조건에서 학습·평가해 품질·속도 트레이드오프를 정량화, BANet‑3D와 AnyNet이 각각 최고 품질·실시간 후보임을 입증. (3) Jetson Orin Super에 실시간 추론을 구현해, 1080P·720P 두 해상도에서의 실제 비행 환경 성능을 제공, 드론 기반 자율 가지치기 시스템 설계에 실용적인 가이드라인을 제공한다. 향후 연구는 멀티‑스케일 피드백, 하드웨어‑친화적 양자화, 그리고 실제 절단 로봇과의 통합 테스트를 통해 현장 적용성을 더욱 높이는 방향으로 진행될 예정이다.