텐서 기반 무참조 라이트필드 이미지 품질 평가

라이트필드 이미지(LFI)는 공간(x, y)과 각도(s, t) 네 차원으로 구성된 4차원 데이터이며, 이러한 고차원 특성 때문에 전통적인 2D 혹은 3D 이미지 품질 평가 기법을 그대로 적용하기 어렵다. 본 논문은 이러한 문제점을 해결하고자, LFI를 저‑랭크 4D 텐서로 가정하고 Tucker 분해를 이용해 차원을 축소하는 Tensor‑NLFQ 프레임워크를 제안한다. 먼저 입력된 LFI는 RGB에서 인간 시각에 더 적합한 CIELAB 색공간으로 변환된다. CIELAB은 밝기(L*)와 두 개의 색차(a*, b*) 채널을 제공하므로, 색채 왜곡이 각도 일관성에 미치는 영향을 정밀하게 포착할 수 있다. 변환 후, 각 색채 채널별로 네 방향(수평, 수직, 좌대각선, 우대각선)의 뷰 스택을 구성한다. 뷰 스택은 각 방향에서 연속적인 SAIs를 하나의 3차원 텐서(두 공간 차원 + 하나의 각도 차원)로 쌓은 형태이다. 각 뷰 스택에 대해 Tucker 분해를 수행한다. Tucker 분해는 고차원 텐서를 코어 텐서와 여러 모드 행렬로 분해하는데, 여기서는 각도 모드만을 축소하여 핵심 성분을 추출한다. 첫 번째 코어 텐서는 해당 방향에서 가장 큰 에너지 비율을 차지하므로, 이를 “첫 번째 주성분 이미지”라 부른다. 이 이미지에는 원본 LFI의 주요 공간‑각도 구조가 압축되어 보존된다. 공간 품질을 평가하기 위해 설계된 PCSC는 두 부분으로 나뉜다. 첫 번째는 전역 자연스러움(Naturalness) 특성으로, 각 색채 채널의 MSCN(Mean Subtracted Contrast Normalized) 계수를 계산하고, 이 계수가 가우시안 분포와 얼마나 차이나는지를 통계적으로 측정한다. 이는 전통적인 자연 이미지 통계(NSS) 기반 NR IQA와 유사하지만, 밝기뿐 아니라 a*와 b* 채널까지 확장한다. 두 번째는 로컬 주파수 특성으로, Gabor 필터 혹은 DCT 변환을 적용해 고주파·저주파 에너지 비율을 구한다. 압축에 의한 블러, 노이즈, 재구성 아티팩트 등은 이 주파수 분포에서 뚜렷하게 드러난다. 두 서브모듈의 결과를 결합해 최종 PCSC 점수를 산출한다. 각도 일관성은 TAVI(Tensor Angular Variation Index)로 정량화한다. 첫 번째 주성분 이미지와 뷰 스택 내 각 개별 SAIs 사이의 구조적 유사성을 SSIM 기반으로 계산하고, 그 결과를 히스토그램 형태로 정리한다. 히스토그램의 평균값은 전체적인 일관성을, 분산값은 각도 방향별 변동성을 나타낸다. 네 방향 각각에 대해 이러한 통계량을 구한 뒤, 가중 평균을 통해 최종 TAVI 점수를 얻는다. 색채 차이가 큰 경우에도 SSIM이 낮아지므로, 색채 불일치가 각도 일관성에 미치는 영향을 자연스럽게 반영한다. PCSC와 TAVI는 각각 공간 품질과 각도 일관성을 독립적으로 측정하지만, 최종 품질 예측에서는 두 점수를 결합한다. 저자들은 서포트 벡터 회귀(SVR)와 같은 비선형 회귀 모델을 사용해 인간 주관 점수와의 상관관계를 학습하였다. 실험은 네 개의 공개 LFI 품질 데이터베이스(Win5‑LID, EPFL‑Lytro, HCI‑LF, 그리고 또 다른 데이터베이스)에서 수행되었다. 각 데이터베이스는 다양한 왜곡(압축, 재구성, 색채 변형 등)과 주관 점수(MOS)를 포함한다. 평가 지표로는 Pearson 상관계수(PCC), Spearman 순위 상관계수(SRCC), 그리고 RMSE를 사용하였다. 결과는 Tensor‑NLFQ가 기존 2D FR/NR(SSIM, PSNR, NIQE 등), 3D FR/NR(3DSwIM, MP‑PSNR 등), 멀티뷰 FR( MW‑PSNR 등) 및 최신 LFI 전용 모델(LF‑IQM, BELIF 등)보다 일관되게 높은 PCC와 SRCC, 낮은 RMSE를 기록했다. 특히 색채 차이가 큰 경우와 복합적인 압축·재구성 아티팩트가 동시에 존재할 때, Tensor‑NLFQ의 성능 우위가 두드러졌다. 논문의 주요 기여는 다음과 같다. (1) LFI를 저‑랭크 4D 텐서로 모델링하고 Tucker 분해를 통해 효율적인 차원 축소와 주요 성분 추출을 구현, (2) 색채 정보를 포함한 전역·국부 공간 품질 특성을 동시에 고려한 PCSC 설계, (3) 네 방향 모두에서 각도 일관성을 정량화한 TAVI 제안, (4) 광범위한 데이터베이스와 비교 실험을 통해 무참조 LFI 품질 평가 분야에서 새로운 벤치마크를 제시. 향후 연구 방향으로는 실시간 처리를 위한 경량화, 깊이 맵과 결합한 하이브리드 품질 모델, 그리고 VR/AR 스트리밍 환경에서의 적응형 품질 제어 등이 제시된다.