제어 가능한 주의 메커니즘을 통한 구조화된 레이어 비디오 분해

본 논문은 “비디오를 자연스러운 레이어로 분리하고, 원하는 레이어에 선택적으로 주의를 집중할 수 있는 메커니즘”을 제안한다. 연구 배경으로는 인간이 일상에서 거울, 유리, 반사 등 복합적인 시각 정보를 처리할 때, 특정 레이어에 초점을 맞추는 것이 필요하다는 점을 들었다. 기존의 레이어 분해 연구는 주로 이미지 수준이거나, 비디오에서도 출력 슬롯이 임의로 매핑되는 등 제어가 어려운 구조를 가지고 있었다. 이를 해결하기 위해 두 가지 핵심 아이디어를 도입한다. 첫 번째는 **구조화된 신경망 아키텍처**인 Compositional Centrifuge(C²)이다. 이 모델은 기존 Visual Centrifuge의 U‑Net 형태를 기반으로 하지만, 인코더 단계에서 I3D 백본이 생성한 피처를 m개의 스페이셜‑템포럴 마스크와 결합한다. 마스크 M∈