물리 인식 로컬 컨디셔닝을 통한 고품질 영상 생성

본 논문은 현재 텍스트‑투‑비디오 생성 모델이 물리 법칙을 충분히 반영하지 못한다는 문제를 인식하고, 물리‑인식 로컬 컨디셔닝 기법인 PhysVid를 제안한다. PhysVid는 영상 전체를 하나의 시퀀스로 처리하는 기존 접근과 달리, 영상을 일정 프레임 수를 갖는 청크(chunk) 단위로 나눈다. 각 청크에 대해 Vision‑Language Model(VLM)을 활용해 물리 현상을 “동역학·형태·광학” 세 카테고리로 구조화된 텍스트 주석으로 변환한다. 이때 전역 텍스트 캡션을 보조 입력으로 제공해 청크‑레벨 주석이 전체 의미와 일관되도록 유도한다. 주석이 생성된 데이터셋을 바탕으로, 기존 DiT 기반 T2V 모델에 두 개의 교차‑어텐션 경로를 병렬 삽입한다. 첫 번째는 전역 텍스트와 비디오 토큰을 연결하는 글로벌 어텐션이며, 두 번째는 청크‑인식 로컬 어텐션이다. 로컬 어텐션에서는 비디오 쿼리와 텍스트 키·밸류 모두에 Rotary Positional Embedding(RoPE)를 적용해 3‑D(시간·높이·너비)와 청크 차원을 동일한 주파수 기반으로 정렬한다. 이를 통해 특정 프레임 토큰이 자신이 속한 청크의 물리 주석에 더 큰 가중치를 부여하고, 다른 청크의 텍스트는 억제한다. 학습 단계에서는 흐름 매칭(flow‑matching) 손실을 사용해 로컬 어텐션을 미세조정한다. 이 과정은 사전 학습된 대규모 T2V 모델의 파라미터를 크게 변경하지 않으며, 추가 레이어만 삽입해 효율성을 유지한다. 추론 단계에서는 실제 비디오가 없으므로 전역 프롬프트만을 이용해 LLM에게 가상의 청크별 물리 설명을 생성하도록 요청한다. 동시에 물리 위반을 의도한 부정 프롬프트(예: “물체가 중력 없이 떠오른다”)를 생성하고, 이를 Classifier‑Free Guidance와 유사한 방식으로 가중합해 물리적으로 비현실적인 경로를 억제한다. 실험은 WISA‑80k 데이터와 물리 평가 벤치마크인 VideoPhy, VideoPhy2를 사용한다. PhysVid는 베이스라인 모델(Wan‑14B 등) 대비 물리 상식 점수에서 평균 33 % 상승을 기록했으며, VideoPhy2에서는 최대 8 % 향상을 보였다. 인간 평가에서도 물리적 일관성과 시각적 품질 모두에서 높은 선호도를 얻었다. 한계점으로는 청크 길이와 VLM 주석 품질에 대한 민감도가 높아 최적 파라미터 탐색이 필요하고, 부정 프롬프트 생성이 LLM에 크게 의존해 모델 편향이 발생할 가능성이 있다. 또한 현재 실험은 1.7 B 파라미터 모델에 국한되어 있어, 더 큰 스케일에서의 효율성 및 메모리 요구사항에 대한 추가 연구가 필요하다. 결론적으로 PhysVid는 전역‑로컬 텍스트 융합과 물리‑인식 청크 어텐션이라는 새로운 설계로, 물리적 일관성을 요구하는 로봇 시뮬레이션, 과학 교육, 증강 현실 등 실용 분야에 큰 잠재력을 제공한다.