수중 이미지 향상을 위한 의미‑인식 적응형 코드북 네트워크

초록

본 논문은 수중 이미지의 비균일한 색상·대비 저하 문제를 해결하기 위해 의미‑마스크 기반 픽셀‑레벨 코드북을 학습하고, 이를 가중치 예측기로 결합해 이미지별 적응형 코드북을 생성한다. 세 단계 학습(의미‑코드북 사전학습, 원시 이미지 재구성, 강화 학습)과 채널‑주의 게이트 모듈(GCAM)·주파수‑인식 피처 융합(FAFF) 디코더를 도입해 색상 복원과 세부 텍스처 회복을 동시에 달성한다. 다중 벤치마크 실험에서 기존 UIE 모델들을 능가하는 성능을 보이며, 코드와 모델을 공개한다.

상세 분석

SUCode는 수중 이미지 향상(UIE) 분야에서 “전역‑단일 모델”이 갖는 한계를 의미‑인식 코드북으로 극복한다는 점이 가장 큰 혁신이다. 기존 VQ‑VAE 기반 코드북은 전체 이미지에 하나의 고정된 코드셋을 적용해 지역별 왜곡을 충분히 반영하지 못했지만, SUCode는 의미 마스크(m)를 이용해 각 픽셀을 사전 정의된 C개의 의미 카테고리(예: 물, 배경, 전경 등) 중 하나에 할당하고, 카테고리별 전용 코드북 Z_c를 학습한다. 이렇게 하면 색상 감쇠, 스캐터링 등 물리적 왜곡이 의미에 따라 다르게 표현될 수 있다.

학습은 3단계로 진행된다.

1. Stage I – 의미‑코드북 사전학습에서는 원시 수중 이미지와 해당 의미 마스크를 입력으로, 다중 스케일 인코더 E_q가 잠재 임베딩 ˆz를 생성한다. 각 위치 i에 대해 클래스 c(i)와 대응하는 코드북 Z_c(i)에서 가장 근접한 코드벡터를 선택해 양자화된 표현 z_q(i)를 만든다. 재구성 손실(L1)과 적대적 손실을 동시에 최소화해 의미‑특화 코드북을 안정적으로 구축한다.
2. Stage II – 원시 이미지 표현 학습에서는 고정된 의미‑코드북들을 가중치 예측기(Weight Predictor)로 선형 결합해 이미지‑전역 코드북을 만든다. 이 단계는 “pseudo‑ground‑truth”에 의존하지 않고 원시 이미지 자체를 재구성하도록 설계돼, UIE의 ill‑posed 특성을 완화한다.
3. Stage III – 강화 학습에서는 위에서 얻은 적응형 코드북을 입력으로, 두 개의 디코더(원시‑디코더와 강화‑디코더)를 사용한다. GCAM은 채널 차원에서 의미‑코드북을 동적으로 재가중해 색상 왜곡을 보정하고, FAFF은 라플라시안·웨이브렛 주파수 정보를 활용해 고주파 텍스처를 복원한다. 최종 출력은 색감이 자연스럽고 세부 구조가 살아있는 수중 이미지가 된다.

핵심 기여는 다음과 같다.

• 픽셀‑레벨 의미‑코드북: 기존의 “one‑shot” 코드북을 넘어, 의미 마스크에 기반한 다중 코드북을 학습해 지역별 왜곡을 정밀히 모델링한다.
• 세 단계 학습 파이프라인: pseudo‑GT 오염을 방지하고, 원시 이미지 자체를 재구성 목표로 삼아 안정적인 잠재 표현을 확보한다.
• GCAM + FAFF 디코더: 채널‑주의와 주파수‑인식 융합을 통해 색상 복원과 고주파 디테일 회복을 동시에 달성한다.

실험에서는 UIEB, EUVP, RUIE, SQUID 등 4개 공개 데이터셋에서 9개 최신 UIE 모델을 비교하였다. PSNR/SSIM 등 전통적인 전참조 지표와 UCIQE, UIQM 등 비전문가 지표 모두에서 평균 1.2 dB(PSNR)·0.03(SSIM) 이상의 개선을 기록했으며, 특히 깊은 배경·탁도 높은 영역에서 색상 왜곡이 크게 감소했다. 정성적 결과에서도 SUCode는 색채가 자연스럽고 경계가 선명한 이미지를 제공한다.

한계점으로는 의미 마스크가 필요하다는 점이다. 논문에서는 사전 학습된 세그멘테이션 모델을 사용했으나, 마스크 품질이 낮으면 코드북 할당이 부정확해질 수 있다. 또한 코드북 크기(N)와 카테고리 수(C)의 선택이 메모리와 연산량에 큰 영향을 미치므로, 실시간 적용을 위한 경량화 연구가 필요하다.

전반적으로 SUCode는 의미‑인식과 이산 표현을 결합한 최초의 UIE 프레임워크로, 비균일한 수중 환경에서의 색상·구조 복원을 크게 향상시킨다. 향후 의미‑마스크 자동 생성, 경량 코드북 설계, 비디오 연속성 보존 등으로 확장될 여지가 크다.