노레퍼런스 라이트필드 이미지 품질 평가를 위한 공간‑각도 측정 기법

라이트필드(LF) 기술은 2D 이미지와 달리 각 광선의 방향 정보를 4차원 함수 L(u,v,s,t) 형태로 저장한다. 이러한 풍부한 공간‑각도 정보를 활용하면 자유로운 초점 전환, 깊이 추정, 새로운 시점 렌더링 등이 가능하지만, 동시에 품질 저하 요인도 다양해진다. 기존 연구에서는 주로 2D 이미지 품질 평가 지표(SSIM, BRISQUE 등)나 3D 스테레오·멀티뷰 전용 지표를 라이트필드에 그대로 적용했으며, 최근에는 라이트필드 전용 FR‑IQA(Fang et al.)와 RR‑IQA(LF‑IQM) 정도만 제안되었다. 그러나 이들 방법은 (1) 원본 라이트필드가 필요하거나, (2) 공간 품질과 각도 일관성을 동시에 고려하지 못한다는 한계가 있다. 본 논문은 이러한 문제점을 해결하기 위해 “No‑Reference Light Field image Quality Assessment”(NR‑LFQA)라는 완전 무참조 프레임워크를 설계하였다. 전체 흐름은 다음과 같다. 먼저 라이트필드의 모든 서브앵퍼처 이미지(SAI)를 양안 시각 모델에 입력해 라이트필드 사이클로페인 이미지 배열(LFCIA)을 생성한다. 이 과정은 인간의 두 눈이 각각 다른 시점을 보면서 융합하고 경쟁하는 메커니즘을 모사한다. 생성된 LFCIA에 대해 자연 이미지 통계(Natural Scene Statistics)를 기반으로 자연스러움 분포를 추정하고, 이를 Light‑field Cyclopean image Naturalness(LCN) 지표로 정의한다. LCN은 전역적인 공간 품질 저하—예를 들어 압축 노이즈, 블러, 색 왜곡—를 효과적으로 반영한다. 각도 일관성 평가는 라이트필드의 변환 표현인 에피폴라 평면 이미지(EPI)를 활용한다. EPI는 특정 공간 좌표를 고정하고 각도 축을 따라 추출한 2‑D 이미지로, 라이트 레이의 기울기가 직선 형태로 나타난다. 저자는 두 가지 특징을 설계하였다. 첫 번째는 EPI의 그래디언트 방향 맵을 계산하고, 그 히스토그램을 Gradient Direction Distribution(GDD)으로 정의한다. GDD는 전체 EPI에서 선형 구조가 얼마나 유지되는지를 전역적으로 측정한다. 왜곡이 발생하면 선형 구조가 파괴되어 방향 분포가 평탄해지므로 GDD 값이 크게 변한다. 두 번째는 Weighted Local Binary Pattern(WLBP)이다. 기존 LBP는 주변 8‑픽셀을 이진화해 텍스처를 표현하지만, WLBP는 각 이웃에 가중치를 부여해 시차와 텍스처 변화를 동시에 반영한다. 이를 EPI에 적용하면 서로 다른 SAI 간의 미세한 각도 불일치, 즉 보간 오류나 압축 아티팩트에 의해 발생하는 국부적인 기울기 변화를 정밀하게 포착한다. LCN, GDD, WLBP 세 가지 특징을 추출한 뒤, 저자는 다중선형 회귀(Multi‑linear Regression) 혹은 서포트 벡터 회귀(SVR)를 이용해 최종 품질 점수를 예측한다. 학습 과정에서는 각 데이터셋에 제공된 주관적 평점(MOS, JOD, BT 등)을 레퍼런스로 사용한다. 실험은 네 개의 공개 라이트필드 품질 데이터셋(WIN5‑LID, MPI‑LFA, SMART, VALID)에서 수행되었다. WIN5‑LID는 실제와 합성 장면을 포함한 10개의 원본 라이트필드와 6가지 왜곡(HEVC, JPEG2000, 선형/최근접 보간, 두 종류 CNN 기반)으로 만든 220개의 변형을 제공한다. MPI‑LFA는 TSC 방식으로 촬영된 14개의 원본과 6가지 왜곡으로 만든 336개의 변형을 포함한다. SMART와 VALID은 각각 16·5개의 원본과 다양한 압축·보간 왜곡을 포함한다. 각 데이터셋마다 피어슨 상관계수(PCC), 스피어만 순위 상관계수(SRCC), RMSE를 계산했으며, 제안된 NR‑LFQA는 모든 지표에서 기존 2D·3D·멀티뷰·라이트필드 QA 방법들을 크게 앞섰다. 특히 GDD와 WLBP를 결합한 각도 일관성 측정이 압축 아티팩트와 보간 오류에 대해 높은 민감도를 보였으며, LCN은 공간 품질 저하를 전역적으로 정확히 예측했다. 결론적으로, 본 논문은 (1) 라이트필드 전체를 하나의 사이클로페인 이미지 배열로 통합해 공간 품질을 전역적으로 평가하는 LCN, (2) EPI 기반 전역·국부 각도 일관성 지표인 GDD와 WLBP를 도입함으로써 라이트필드 특유의 각도 왜곡을 정밀하게 측정한다는 두 가지 핵심 기여를 한다. 또한, 완전 무참조 방식임에도 불구하고 다양한 왜곡 유형과 데이터셋에서 인간 주관적 평가와 높은 일치도를 보이며, 실제 라이트필드 촬영·전송·디스플레이 파이프라인에서 실시간 품질 모니터링 및 자동 최적화에 적용 가능함을 입증한다. 향후 연구에서는 더 복잡한 비선형 왜곡(예: 광학 흐림, 색채 변형)과 실시간 구현을 위한 경량화 모델 개발이 기대된다.