EEG 기반 고해상도 fMRI 동적 재구성 및 중간 프레임 보간

본 논문은 고해상도 fMRI의 시간적 연속성을 확보하면서도 정밀한 공간 해상도를 유지하는 새로운 EEG‑조건부 재구성 프레임워크를 제시한다. 연구 배경으로는 fMRI가 뇌 활동을 고해상도(수 mm)으로 측정하지만, 비용과 스캔 시간 때문에 대규모 데이터 수집이 제한적이며, 기존 복원 방법들은 프레임을 독립적으로 처리하거나 ROI/parcel 수준에서만 시간 정보를 활용해 공간 세부 묘사가 부족했다는 점을 들었다. 반면 EEG는 밀리초 수준의 시간 정보를 제공하므로, 두 모달리티를 결합하면 서로의 약점을 보완할 수 있다. 저자들은 이를 구현하기 위해 크게 세 단계의 설계를 수행한다. 1. **문제 정의 및 데이터 형식** - 목표는 피질 표면(fsLR) 위의 정점(Nv) × 시간(K) 형태의 fMRI 시퀀스 X와, C개의 전극·T_s 샘플을 갖는 EEG S 사이의 조건부 확률 pθ(X|S)를 학습하는 것이다. - EEG와 fMRI는 혈류 반응 지연을 고려해 정렬되며, 윈도우 길이 Kw를 설정해 연속적인 K_w‑프레임을 동시에 처리한다. 2. **EEG‑conditioned Diffusion‑Transformer** - **토큰화**: 각 정점‑시간 쌍을 하나의 토큰으로 변환해 (K_w·N_v) 개의 토큰 시퀀스를 만든다. 토큰에는 시간적 포지셔널 인코딩을 부여해 프레임 구분을 명확히 한다. - **EEG 인코더**: 전체 EEG 윈도우를 1‑D Conv‑Net 혹은 Transformer 기반 인코더 fϕ에 통과시켜 전역 컨텍스트 h_EEG를 추출한다. - **디퓨전 과정**: 전통적인 DDPM의 전방 노이즈 주입 과정을 그대로 사용하되, 역방향 단계에서 각 토큰에 대해 εθ(xⁿ, n, h_EEG)를 예측하도록 학습한다. Cross‑attention을 통해 h_EEG가 모든 토큰에 동시에 영향을 미치며, 이는 시간적 연속성을 자연스럽게 강제한다. - **학습 목표**: L_diff = E