시공간 일관성을 고려한 360도 비디오 동적 적응 스트리밍

본 논문은 360도 영상의 원시 데이터 양이 방대함에도 불구하고, 원활한 원격 스트리밍을 구현하기 위한 종합적인 타일 기반 적응 스트리밍 시스템을 제시한다. 먼저, 360도 영상을 equirectangular(ERP) 형식으로 투사한 뒤, 4행 × 6열의 24개 타일로 공간적으로 분할한다. 각 타일은 독립적으로 인코딩되어 여러 비트레이트(품질) 레벨을 갖게 되며, 이러한 타일‑비트레이트 조합을 MPD 파일에 기술한다. 사용자는 HMD를 통해 현재 시야(FoV)를 제공하고, 클라이언트는 MPD를 파싱해 필요한 타일을 선택적으로 다운로드한다. 시스템 설계에서 직면한 세 가지 핵심 과제는 (a) 네트워크 스루풋 변동에 대응하는 비트레이트 적응, (b) 각 세그먼트 시작 시점의 시야 예측 및 타일 우선순위 결정, (c) 전체 비트레이트 제한 하에 FoV 내 타일 품질을 최적화하고 공간·시간 매끄러움을 보장하는 비트 할당이다. 이를 해결하기 위해 논문은 다음과 같은 순차적 접근을 채택한다. 1. **버퍼‑품질 기반 적응 알고리즘(BQA)** 기존 QFA는 품질을 최우선으로 하여 버퍼 고갈 위험이 크고, BFA는 버퍼 안정성에 집중해 품질이 낮다. BQA는 버퍼 길이 B와 목표 버퍼 길이 B_target을 비교해, B < B_target이면 가능한 최고 비트레이트를 선택하고, B ≥ B_target이면 현재 버퍼 여유에 비례해 비트레이트를 조정한다. 이때 네트워크 추정 스루풋 T̂를 이용해 실제 다운로드 가능한 비트레이트를 제한한다. 알고리즘은 단순히 if‑else 로 구현 가능해 실시간 적용이 용이하다. 2. **FoV 예측 및 타일 우선순위 부여** - **가우시안 FoV 모델**: 사용자의 과거 시선 각도 데이터를 기반으로 평균 μ와 표준편차 σ를 추정한다. 각 세그먼트 시작 시점에 시선이 μ ± σ 범위 안에 있을 확률을 계산해, 해당 범위에 포함되는 타일을 ‘핵심 타일’로 지정한다. - **Zipf 타일 우선순위 모델**: 핵심 타일 외에도 전환 가능성이 있는 타일을 모두 고려한다. 타일 i의 우선순위 p_i는 Zipf 법칙 p_i ∝ 1/i^α (α > 0) 로 정의되며, 여기서 i는 타일의 예상 조회 순위이다. 핵심 타일은 i = 1에 해당해 가장 높은 우선순위를 갖는다. 이 모델은 시야 전환 시 발생할 수 있는 ‘깜빡임’ 현상을 최소화하기 위해 저비트레이트 버전을 모든 타일에 할당하도록 설계되었다. 3. **2단계 비트 할당 최적화** - **1단계: FoV 품질 최적화** 목표는 Σ_{n∈FoV} w_n·q(R_{l,n,u}) 를 최대화하는 것인데, 여기서 w_n은 타일 우선순위, q(·)는 비트레이트 R에 대응하는 품질 함수(PSNR 근사)이다. 전체 비트레이트 제한 Σ_{n=1}^{N} R_{l,n,u} ≤ R_req 를 라그랑주 승수 λ와 함께 풀어, 각 타일에 할당될 최적 비트레이트 R*_{l,n} 를 구한다. - **2단계: 공간·시간 매끄러움 보정** 인접 타일 간 품질 차이 Δq_{n,m}와 인접 세그먼트 간 동일 타일 품질 변동 Δq_{n}^{(t)}에 대해 페널티 λ_s·|Δq_{n,m}| + λ_t·|Δq_{n}^{(t)}| 를 최소화한다. 이를 위해 1단계 결과를 초기값으로 하여, 작은 조정량 δ를 적용해 전체 목적 함수 J = ‑Σ w_n·q + λ_s·Σ|Δq| + λ_t·Σ|Δq^{(t)}| 를 최소화한다. 최적화는 그리디 탐색 혹은 제한된 반복 횟수의 경사 하강법으로 수행한다. 4. **실험 및 평가** - **데이터셋**: 8개의 360도 영상(4K ERP)과 3명의 사용자 시선 트레이스 데이터를 사용했다. - **네트워크 시나리오**: 평균 5 Mbps, 10 Mbps, 20 Mbps의 변동 대역폭을 시뮬레이션했으며, 실제 모바일 네트워크 로그도 포함했다. - **비교 대상**: Liu et al. (서버‑사이드 적응), Yang et al. (Viewport 기반 DASH), 그리고 최신 ConvNet 기반 멀티뷰 스트리밍 등을 선정했다. - **평가지표**: 평균 PSNR, SSIM, MOS(주관적 설문), 버퍼 언더플로우 횟수, 시야 전환 지연(ms) 등을 측정했다. 결과는 다음과 같다. 평균 PSNR은 기존 방법 대비 2.8 dB 향상, SSIM은 0.04 상승, MOS는 0.6점(5점 만점) 상승했다. 특히 시야 전환 지연은 150 ms 이하로 유지돼, 사용자 체감 지연이 크게 감소했다. 버퍼 언더플로우는 5% 이하로 억제돼 재생 중단 현상이 거의 없었다. 5. **논의 및 한계** - 가우시안 FoV 모델은 사용자의 시선이 비교적 안정적인 경우에 효과적이며, 급격한 움직임이 잦은 게임/액션 콘텐츠에서는 모델 파라미터를 빠르게 업데이트해야 한다. - Zipf 우선순위는 타일 수가 늘어나면 α 값을 재조정해야 하는데, 현재는 고정값을 사용해 약간의 비효율이 존재한다. - 최적화 단계는 타일 수와 품질 레벨이 늘어날수록 연산량이 증가하지만, 클라이언트 측에서 사전 계산된 LUT(lookup table)를 활용하면 실시간 적용이 가능하다. 결론적으로, 본 연구는 버퍼 관리, 시야 예측, 비트 할당을 통합적으로 설계함으로써 360도 영상 스트리밍에서 QoE를 종합적으로 향상시켰다. 제안된 프레임워크는 기존 DASH 기반 시스템에 비교적 손쉽게 통합될 수 있으며, 향후 AR/VR 서비스의 대규모 상용화에 기여할 것으로 기대된다.