소프트 액터크리틱 기반 적응형 레이 샘플링으로 가속화된 NeRF

Neural Radiance Fields(NeRF)는 5차원 연속 함수를 이용해 고품질의 새로운 시점 합성을 가능하게 했지만, 볼류메트릭 렌더링 과정에서 수백 개의 샘플을 레이마다 평가해야 하는 계산량 때문에 실시간 응용에 한계가 있다. 기존의 계층적 샘플링은 거친 네트워크를 통해 밀도 기반 가중치를 얻고, 그 가중치가 큰 구간에만 정밀 샘플을 추가하는 방식이지만, 여전히 손으로 설계된 휴리스틱에 의존한다. 이를 극복하고자 저자들은 샘플링을 강화학습 문제로 재구성하였다. 먼저, 레이 샘플링을 마르코프 결정 과정(MDP)으로 정의한다. 상태는 현재 샘플들의 정규화된 깊이, 예측된 RGB 색, 밀도, 누적 투과율, 렌더링 가중치, 레이의 전역 기하 정보(원점, 방향, 픽셀 좌표)와 함께, 가우시안 혼합 모델(GMM)에서 얻은 색상 분산(불확실성)까지 포함한다. 이렇게 풍부한 상태 표현은 정책이 “어디에 추가 샘플을 배치하면 불확실성을 가장 크게 감소시킬 수 있는가”를 판단하도록 돕는다. 행동은 각 샘플에 대한 연속적인 위치 조정값 a_i∈