DIBR 합성 뷰 품질 평가 최신 동향과 향후 과제

본 논문은 깊이 이미지 기반 렌더링(Depth‑Image‑Based‑Rendering, DIBR) 기술을 활용해 생성된 가상 뷰의 품질 평가에 관한 최신 연구들을 포괄적으로 정리한다. 먼저 DIBR의 기본 원리와 합성 과정에서 발생할 수 있는 왜곡을 상세히 설명한다. DIBR은 원본 텍스처 이미지와 깊이 맵을 3차원 공간으로 역투영한 뒤, 목표 가상 뷰로 재투영하는 3D 이미지 워핑 단계와, 이 과정에서 발생하는 ‘dis‑occlusion’ 구멍을 메우는 홀 채우기 단계로 구성된다. 워핑 단계에서는 깊이 값의 급격한 변화 영역에서 소수점 좌표 반올림에 의해 작은 균열이나 객체 이동이 발생하고, 홀 채우기 단계에서는 기존 이미지 인페인팅 기법이 배경‑전경 구분을 고려하지 않아 ‘ghost’ 현상, 텍스처 왜곡, 블러링 등 특수한 시각 왜곡이 나타난다. 논문은 이러한 왜곡을 객체 변형·왜곡, 스트레칭·블러, 깊이 맵 노이즈에 의한 에지 손실 등으로 분류하고, 각각이 인간 시각 시스템에 미치는 영향을 시각화된 SSIM 맵과 함께 제시한다. 다음으로, 현재 공개된 주요 DIBR 품질 데이터셋을 체계적으로 리뷰한다. IVC DIBR 이미지·비디오 데이터셋은 7개의 초기 DIBR 알고리즘과 H.264 압축 왜곡을 포함해 84개의 합성 이미지와 93개의 비디오를 제공한다. 이 데이터셋은 단일 뷰 기반 합성에 초점을 맞추며, 초기 연구에 널리 사용되었지만 최신 알고리즘에서 발생하지 않는 구멍 현상 등 오래된 왜곡을 포함한다. IETR 데이터셋은 최신 인터뷰(view‑interview) 합성 기법과 10개의 실제 카메라 촬영 참조 뷰를 제공하며, 140개의 합성 이미지를 포함한다. IVY와 SIA‑T 데이터셋은 각각 Double Stimulus Continuous Quality Scale(DSCQS)와 Single Stimulus Continuous Quality Evaluation(SSCQE) 방식을 사용해 주관적 점수를 수집한다. 각 데이터셋은 ACR, DSCQE, DSCQS, PC, SAMVIQ 등 다양한 주관적 평가 프로토콜을 적용해 MOS/DMOS를 산출하고, 점수 정규화(z‑score) 방식도 차별화한다. 주관적 평가 방법론을 정리한 뒤, 논문은 현재 사용되는 객관적 품질 지표들을 세 가지 범주로 분류한다. 첫 번째는 전통적인 2D 이미지 품질 지표인 PSNR, SSIM, MS‑SSIM 등으로, 깊이 맵 왜곡에 대한 민감도가 낮아 DIBR 특유의 왜곡을 충분히 반영하지 못한다. 두 번째는 DIBR 특화 지표로, Depth‑aware SSIM, 3D‑SSIM, VIF‑D, DIBR‑PSNR 등 깊이 정보와 3D 구조를 고려한 모델이다. 이들 지표는 깊이 맵의 고주파 노이즈에 특히 강한 상관관계를 보이며, 객체 이동이나 구멍 채우기 오류를 어느 정도 포착한다. 세 번째는 딥러닝 기반 모델로, CNN‑based Quality Assessment, DeepQA, 그리고 최근의 Transformer‑based 메타‑학습 모델 등이 있다. 이러한 학습 기반 모델은 복합 왜곡 상황에서 전통 및 DIBR‑특화 지표를 능가하는 성능을 보이지만, 대규모 라벨링된 주관적 데이터와 높은 연산 비용에 의존한다는 단점이 있다. 논문은 5개의 대표 데이터셋에 대해 각 객관적 지표의 Pearson, Spearman, RMSE 등을 계산해 성능을 비교한다. 실험 결과, Depth‑aware SSIM과 VIF‑D는 고주파 깊이 노이즈에 대해 높은 예측 정확도를 보였으며, 학습 기반 모델은 텍스처 왜곡과 홀 채우기 오류를 동시에 고려해 전반적인 상관계수가 가장 높았다. 그러나 데이터셋마다 평가 프로토콜과 왜곡 유형이 다르기 때문에, 한 지표가 모든 상황에서 최적이라고 말하기는 어렵다. 마지막으로, 현재 연구의 한계와 향후 과제를 제시한다. 첫째, 기존 데이터셋은 정적인 이미지·비디오에 국한돼 있어 실시간 스트리밍, 인터랙티브 VR/AR 환경에서 발생하는 지연·대역폭 변동을 반영하지 못한다. 둘째, 주관적 테스트는 비용·시간이 많이 소요돼 대규모 데이터 수집이 어려우며, 평가자 간 일관성 확보가 과제이다. 셋째, 객관적 지표는 일반화 가능성이 낮아 새로운 합성 알고리즘이나 새로운 디스플레이 환경에 적용하기 위해서는 메타‑학습이나 도메인 적응 기법이 필요하다. 향후 연구는 (1) 멀티‑모달(시각·청각·촉각) 품질 평가 프레임워크 구축, (2) 실시간 적응형 품질 지표 설계, (3) 대규모 주관적 데이터베이스 구축 및 공개, (4) 딥러닝 기반 메타‑학습을 통한 범용 품질 모델 개발 등을 목표로 해야 한다.