데이터 기반 스펙트럼 초기화로 구현하는 경량형 함수 파라미터화 신경망

본 논문은 함수 파라미터화 신경망, 특히 Bag‑of‑Functions(BoF) 아키텍처가 전통적인 무작위 초기화에 크게 의존하고 있어 학습 과정에서 수렴 속도 저하와 파라미터 변동성 증가라는 문제에 직면한다는 점을 지적한다. 이러한 문제를 해결하기 위해 저자들은 데이터‑구조화된 사전 정보를 활용한 초기화 및 아키텍처 설계 프레임워크를 제안한다. 첫 번째 단계는 입력 시계열 데이터에 Fast Fourier Transform(FFT)을 적용해 주파수 스펙트럼을 얻고, 에너지 비중이 높은 주요 주기 성분을 추출한다. 이때 선택된 주기 모드 집합 |Kτ| 의 크기는 데이터의 계절성 복잡도를 정량화하는 지표가 된다. 저자들은 이 지표를 이용해 BoF 모델의 스택 단계 수 S (즉, 계절·추세·이벤트를 순차적으로 분리하는 잔차 블록의 개수)를 자동으로 결정한다. 또한, 각 단계의 인코더 입력 차원 N_in 을 최소화하기 위해, 스펙트럼 분석 결과와 유한‑샘플 회귀 이론을 결합한다. 구체적으로, 잔차 기반 회귀를 통해 추세 성분을 다항식·로그·지수 형태의 베이스 함수로 모델링하고, 표본 크기 T 와 노이즈 수준 σ² 에 대한 이론적 경계식을 도출해 N_in 의 최소값을 제시한다. 두 번째 단계는 초기 가중치의 평균 μ 와 분산 σ² 을 데이터‑특화값 μ̂_data, σ̂²_data 로 설정하는 것이다. 이를 위해 각 인코더의 최종 레이어에 정규분포 바이어스를 추가하고, 초기 파라미터 z(0) 가 실제 파라미터 분포 P*(z) 와 최대한 일치하도록 설계한다. 이렇게 하면 학습 초기에 모델이 이미 데이터의 구조적 특성을 반영한 파라미터 공간에 위치하게 된다. 이론적 분석에서는 (1) 스펙트럼 모드 수와 모델 깊이 사이의 정량적 관계를 증명해 과도한 스택이 불필요함을 보이고, (2) 잔차 회귀의 추정 오차가 표본 크기와 노이즈에 따라 어떻게 수렴하는지를 바운딩하는 식을 제공한다. 이러한 분석은 설계 단계에서 필요한 최소 샘플 수와 인코더 차원을 명시적으로 결정할 수 있게 해준다. 실험 부분에서는 합성 데이터(다중 주기, 가우시안·아웃라이어 노이즈 포함)와 실제 전력 소비, 교통 흐름, 금융 시계열 등 네 개의 벤치마크를 사용한다. 비교 대상은 (i) 표준 Xavier/He 초기화, (ii) 기존 BoF 변형(무작위 초기화 + 고정 깊이), (iii) 제안하는 사전‑정보 초기화 프레임워크이다. 주요 결과는 다음과 같다. 첫째, 수렴 속도가 평균 2.3배 가속화되었으며, 50 % 이상의 에폭에서 손실이 급격히 감소한다. 둘째, 최종 재구성 오차(MSE)는 기존 방법 대비 15 %~22 % 개선된다. 셋째, 동일한 성능을 유지하면서 인코더 차원을 평균 45 %~55 % 축소할 수 있다. 넷째, 30 % 이상의 파라미터 변동성(다중 시드 실험에서의 표준편차) 감소가 관찰되었다. 결론적으로, 이 논문은 “스펙트럼 기반 사전 정보”를 활용해 함수 파라미터화 신경망의 초기화와 구조를 데이터에 맞게 자동 설계하는 새로운 패러다임을 제시한다. 제안된 방법은 학습 효율성을 크게 높이고, 모델의 해석 가능성을 유지하거나 향상시키며, 기존 초기화 기법에 비해 계산 비용을 절감한다. 향후 연구에서는 다변량 시계열, 비정상성 강한 데이터, 그리고 다른 함수 파라미터화 아키텍처(예: Implicit Neural Representations)에도 적용 가능성을 탐색할 예정이다.