3차원 포인트 클라우드 기하 캡슐 오토인코더

본 논문은 3차원 포인트 클라우드 데이터를 효과적으로 표현하기 위해 “기하 캡슐(Geometric Capsule)”이라는 새로운 구조를 도입한다. 기존 캡슐 네트워크는 이미지와 같은 격자형 데이터에 초점을 맞추어, 캡슐 내부의 벡터 길이와 방향을 각각 존재와 포즈로 해석했다. 그러나 3D 포인트 클라우드에서는 위치와 형태가 별도로 다루어져야 하며, 회전·이동에 대한 명시적 처리가 필요하다. 이를 해결하기 위해 저자들은 각 캡슐을 두 부분, 즉 6자유도(3차원 평행 이동 t와 단위 사원수 r)로 구성된 포즈와, D차원 실수 벡터 c_f 로 구성된 피처로 정의한다. 포즈는 전역 좌표계와 캡슐이 나타내는 엔터티의 정규화된 좌표계 사이의 변환을 의미하며, 피처는 형태·재질·구조 등 포즈와 무관한 속성을 인코딩한다. 모델은 크게 두 단계로 구성된다. 첫 번째 단계인 “point‑to‑part routing”에서는 입력 포인트 집합을 여러 파트 캡슐에 할당한다. 각 파트 캡슐은 자체 포즈와 피처를 가지고 있으며, 포인트는 파트 캡슐의 포즈 변환을 통해 로컬 좌표계에 매핑된다. 라우팅은 EM‑like 알고리즘을 변형해, 포인트와 파트 캡슐 간의 거리(예: Chamfer 거리)와 포즈 일치도를 기반으로 할당 확률을 업데이트한다. 두 번째 단계에서는 파트 캡슐들을 집합 변환(Set Transformer)으로 집계해 하나의 객체 캡슐을 만든다. 이때 파트 캡슐들의 포즈와 피처를 입력으로 사용해, 객체 캡슐의 포즈와 피처를 예측한다. 기존 캡슐 네트워크에서 사용되던 동적 라우팅과 달리, Set Transformer는 모든 파트를 동시에 고려하므로 파트‑객체 연결을 명시적으로 제한하지 않아도 된다. 핵심적인 혁신은 “Multi‑View Agreement” 메커니즘이다. 학습 과정에서 동일 객체를 서로 다른 무작위 뷰 z₁,…,z_K 로 관찰한다. 각 뷰에 대해 동일한 인코더‑디코더 구조가 독립적으로 객체 캡슐 (t_k, r_k, c_f_k)를 출력한다. 여기서 t_k와 r_k는 뷰‑특정 포즈, c_f_k는 뷰‑불변 피처이다. 저자들은 다음 두 가지 손실을 설계한다. 첫째, 모든 뷰에 대해 포즈를 전역 좌표계로 역변환한 뒤 평균 포즈와의 L2 차이를 최소화한다. 둘째, 피처 간 코사인 유사도를 최대화해 뷰 간 피처 일치를 강제한다. 이렇게 다중 뷰가 “동의”하면, 모델은 객체의 정규 자세(전역 좌표계에서의 포즈)와 회전 불변 피처를 동시에 학습한다. 실험은 두 가지 주요 데이터셋, ShapeNet과 ModelNet40을 사용한다. 첫 번째 실험은 임의 회전된 객체를 정규 자세로 복원하는 정렬(alignment) 작업이다. 여기서 정규 자세는 학습된 객체 캡슐의 포즈를 이용해 복원한다. 다중 뷰 투표를 적용한 모델은 평균 회전 오차를 약 12도 이하로 낮추었으며, 단일 뷰 기반 대비 30% 이상의 개선을 보였다. 두 번째 실험은 회전된 객체 간의 피처 유사도로 검색 정확도를 평가한다. 회전 불변 피처를 사용한 경우, 평균 정밀도(AP)와 평균 평균 정밀도(mAP)가 각각 5~7% 상승했다. 또한, 파트 캡슐이 실제 물리적 파트와 높은 IoU를 보이며, 시각적으로 의미 있는 파트 구분이 이루어졌다. 논문의 주요 기여는 다음과 같다. (1) 3D 포인트 클라우드에 맞춘 기하 캡슐 설계, 포즈와 피처를 명시적으로 분리함으로써 회전·이동에 강인한 표현을 제공한다. (2) Set Transformer 기반의 파트‑객체 집계 방식으로 라우팅 효율성을 높이고, 파트‑객체 연결을 유연하게 만든다. (3) 다중 뷰 합의를 통한 정규 자세 추정 및 회전 불변 피처 학습이라는 무감독 학습 프레임워크를 제시한다. 향후 연구에서는 캡슐 수를 동적으로 조절하거나, 실시간 로봇 비전·증강 현실 등 실제 응용 분야에 적용하는 방안을 모색할 수 있다.