액티브 조명과 코딩 노출 픽셀을 이용한 실시간 고해상도 하이퍼스펙트럼 비디오 시스템

본 논문은 동적 장면에서도 고속으로 하이퍼스펙트럼 영상을 획득할 수 있는 ‘Lumosaic’ 시스템을 제안한다. 기존의 스냅샷 하이퍼스펙트럼 카메라(CASSI, MSFA 등)는 광학적으로 파장을 분할하거나 디퓨저, 프리즘 등을 사용해 한 번의 노출에 다중 파장 정보를 압축한다. 이러한 방식은 광량 손실이 크고, 특히 짧은 노출 시간에서 신호 대 잡음비가 낮아지며, 움직임이 있는 경우 파장별 샘플이 시간적으로 어긋나면서 스펙트럼 혼합 및 블러 현상이 발생한다. Lumosaic는 이러한 문제를 ‘액티브 조명’과 ‘코딩 노출 픽셀(CEP)’이라는 두 가지 혁신적인 기술로 해결한다. 하드웨어는 12개의 좁은 대역폭 LED(Lumileds Luxeon C)와 VGA 해상도(640×480) CEP 이미지 센서로 구성된다. LED는 100 kHz 이상으로 전환 가능하며, 마이크로컨트롤러가 LED 전류와 센서 서브프레임 클록을 마이크로초 단위로 동기화한다. CEP 센서는 각 픽셀이 두 개의 전하 저장 버킷을 가지고, 서브프레임당 이진 노출 코드를 기록할 수 있다. 한 프레임은 S=158개의 서브프레임으로 나뉘며, 각 서브프레임은 특정 LED와 특정 픽셀 타일이 동시에 활성화되는 형태다. 코딩 스킴은 ‘타일’ 기반으로 설계된다. 센서는 T개의 반복 타일(예: 4×4)로 구분되고, 각 타일마다 고유한 노출 코드 C_tile와 조명 코드 I_tile을 할당한다. 매핑 함수 π(p)를 통해 픽셀 p가 어느 타일에 속하는지 결정하고, 해당 타일의 코드가 픽셀에 적용된다. 이렇게 하면 공간적으로 인접한 픽셀들은 서로 다른 파장·시간 샘플을 동시에 기록하게 되며, 하나의 프레임 안에 ‘스펙트로‑템포럴 모자이크’가 형성된다. 수학적 모델은 다음과 같다. LED 스펙트럼 E_l(λ)와 센서 스펙트럼 감도 S(λ)를 곱한 효과적 스펙트럼 벡터 a_{p,s}=S⊙I_{p,s}가 각 서브프레임 s에서 픽셀 p에 대한 가중치가 된다. 픽셀 p의 서브프레임 s에서의 포톤 응답은 y_{p,s}=a_{p,s}^T r_p (r_p는 해당 픽셀의 스펙트럼 반사율)이며, 최종 프레임 측정값 Y_p는 활성 서브프레임들의 합으로 표현된다. 전체 시스템은 선형 연산자 A∈ℝ^{P×PΛ}에 의해 Y = A x + η 로 모델링된다. 복원 파이프라인은 (1) RAW 데이터에서 선택된 버킷을 추출·노이즈 보정, (2) 광학 흐름을 이용해 서브프레임 간 움직임을 정렬, (3) 3D U‑Net 기반 딥러닝 네트워크가 스펙트럼 디모자이킹과 시간적 일관성 보정을 동시에 수행한다. 손실 함수는 스펙트럼 L1 손실, 구조적 유사도(SSIM) 손실, 그리고 시간적 TV 정규화 항을 포함한다. 학습 데이터는 물리 기반 시뮬레이션으로 만든 합성 장면과 실제 캡처한 영상의 혼합이다. 실험에서는 합성 데이터와 실제 실험을 통해 기존 스냅샷 HSI 대비 PSNR이 평균 5 dB, SSIM이 0.12 향상되었으며, 스펙트럼 재현 오차는 30 % 이상 감소했다. 특히 회전 구체, 빠르게 움직이는 손, 물체의 색 변화 등 동적 시나리오에서 색 번짐과 스펙트럼 혼합이 현저히 억제되었다. 하드웨어 측면에서는 LED와 센서가 12.5 kHz 서브프레임 속도를 지원하지만, 현재는 읽기·동기화 오버헤드 때문에 30 fps가 한계이다. 이론적으로는 서브프레임 수와 노출 시간을 조정하면 60 fps 이상도 가능하다. 논문의 주요 기여는 다음과 같다. 첫째, 조명·노출을 공동 설계한 고밀도 스펙트로‑템포럴 코딩 스킴을 제시하였다. 둘째, 전용 CEP 센서를 활용해 픽셀‑레벨에서 마이크로초 단위 노출 제어를 구현하였다. 셋째, 딥러닝 기반 복원 파이프라인을 설계해 실시간, 고해상도, 31채널(400‑700 nm, 10 nm 간격) 하이퍼스펙트럼 비디오를 얻었다. 제한점으로는 LED 수가 제한적이라 스펙트럼 해상도가 고정돼 있다는 점, 현재는 두 버킷 중 하나만 사용해 동적 범위가 절반으로 감소한다는 점, 그리고 시스템 딜레이가 프레임 레이트를 제한한다는 점이 있다. 향후 다중 버킷 활용, LED 수 확대, 온‑칩 광학 보정 등을 통해 성능을 더욱 향상시킬 수 있다.