포아송 변분 오토인코더의 대사 비용과 정보 처리

본 논문은 현대 인공지능 모델이 에너지 효율성 측면에서 인간 뇌와 큰 격차를 보이고 있다는 문제 의식에서 출발한다. 뇌는 약 20 W의 전력으로 복잡한 연산을 수행하며, 이는 ‘효율적인 코딩 가설’과 ‘스파스 스파이킹’ 메커니즘에 기반한다. 이러한 생물학적 원리를 이론적으로 정량화하기 위해 저자들은 변분 자유 에너지(ELBO) 프레임워크에 포아송 확률분포를 적용한 포아송 변분 오토인코더(P‑VAE)를 제안한다. P‑VAE는 기존 Gaussian VAE와 구조적으로 유사하지만, 잠재 변수 z 를 연속적인 실수 대신 비음수 정수(스파이크 카운트)로 모델링한다. 인코더는 입력 x 에 대해 사전 발화율 λ₀ 에 곱해지는 잔차 게인 δλ(x)≥0 을 출력하고, 최종 포아송 파라미터 λ(x)=λ₀⊙δλ(x) 를 형성한다. 디코더는 동일한 포아송 모델을 사용해 x 를 재구성한다. 이러한 잔차 파라미터화는 ‘예측 코딩’과 ‘게인 제어’라는 신경과학적 개념을 수학적으로 구현한다. 핵심 이론적 결과는 ELBO의 KL 항이 포아송 사전 파라미터 λ₀에 선형적으로 의존한다는 점이다. 구체적으로, 1차원 경우 KL = λ₀ f(δλ)이며, f(y)=y log y − y + 1 이다. 이 식은 y=1(즉, 사전과 동일)에서 0이 되고, y>1일 때 초이차적으로 상승한다. 따라서 발화율을 증가시키는 변동은 큰 비용을 초래하고, ‘침묵이 저렴’한 메커니즘을 제공한다. 반면 Gaussian VAE는 KL = ½(δμ²/σ₀² + g(δσ²)) 형태이며, 여기서 g(y)=y − 1 − log y 는 사전 분산 σ₀²에만 의존한다. 즉, 평균 이동 비용을 줄이기 위해 사전 분산을 무한히 크게 만들면 비용이 사라지는 ‘무지는 저렴’한 특성을 갖는다. 정보기하학적으로 포아송의 자연 파라미터는 log λ이며 피셔 정보 행렬 I=λ이다. 이는 파라미터 자체가 메트릭 스케일을 결정한다는 의미이며, KL이 λ₀에 선형 결합되는 구조적 원인을 제공한다. Gaussian은 평균 파라미터와 분산 파라미터가 독립적으로 작용해 메트릭이 평균에 무관하므로, 대사 비용 해석이 불가능하다. 실험에서는 β‑VAE 방식으로 KL 가중치 β를 0.1부터 10까지 변화시키며, 잠재 차원 K 를 2, 5, 10, 20으로 조절한다. P‑VAE는 β가 커질수록 평균 스파스성(활성 잠재 차원의 비율)과 전체 발화량이 현저히 감소한다. 특히 β=5 이상에서는 거의 모든 잠재 차원이 ‘침묵’ 상태가 되며, 재구성 손실이 약간 증가하지만 전반적인 효율성은 크게 향상된다. 반면 Grelu‑VAE(입력에 ReLU를 적용해 비음수 Gaussian 잠재 변수를 만든 모델)는 β 변화에 거의 반응하지 않는다; 평균 발화량과 스파스성은 일정하게 유지된다. 이는 비음수 제약 자체가 아니라 포아송 통계가 만든 대사 비용 구조가 원인임을 강력히 시사한다. 또한, 저자들은 사전 발화율 λ₀ 을 학습 가능한 파라미터로 두고, 초기값을 0.1~5 사이에서 무작위 초기화한다. 학습 과정에서 λ₀ 는 점진적으로 감소하며, 최종적으로 거의 0에 가까운 값으로 수렴한다. 이는 모델이 ‘침묵은 저렴’이라는 비용 구조를 활용해 사전 발화율 자체를 최소화한다는 증거이다. 논문은 이러한 결과를 기존 신경과학 이론과 연결한다. Aimone(2025)의 하드웨어 관점에서는 에너지 소비가 상태 변화(스파이크)와 비례한다는 점을 강조했으며, 포아송 KL이 발화율에 직접 연결되는 것은 그 이론과 수학적으로 일치한다. 또한, Olshausen & Field(1996)의 스파스 코딩과도 유사하게, 포아송 KL은 L1 정규화와 비슷한 형태를 띠지만, 가중치 f(δλ) 가 데이터에 따라 적응적으로 변한다는 차별점을 가진다. 결론적으로, 포아송 변분 추론은 정보 이득(KL)과 대사 비용을 동일 식에 결합함으로써, 에너지 제약을 내재화한 학습 목표를 제공한다. 이는 기존 VAE에서 KL을 단순 정규화 항으로 보는 관점을 넘어, 정보 이론적 의미와 생물학적 에너지 제약을 동시에 만족하는 새로운 계산 이론의 초석이 된다. 향후 연구에서는 이 프레임워크를 더 복잡한 신경망 구조(예: 변분 리커런트 네트워크)와 결합하거나, 실제 neuromorphic 하드웨어(Loihi 등)와 연동해 에너지-정확도 트레이드오프를 실험적으로 검증하는 방향이 제시된다.