뇌파 동기화와 복소수 신경망

**1. 서론** 딥러닝은 이미지 인식 등 다양한 분야에서 눈부신 성과를 거두었지만, 뇌의 풍부한 계산 메커니즘을 완전히 재현하지는 못한다. 특히 뉴런 스파이크의 타이밍, 즉 동기화 현상이 정보 처리에 중요한 역할을 할 것이라는 가설이 오래전부터 제기되어 왔다. 저자들은 이러한 생물학적 메커니즘을 딥러닝에 통합하기 위해 복소수‑값 뉴런을 제안한다. **2. 복소수 뉴런 모델링** - **표현**: 각 뉴런의 상태를 \(z_i = r_i e^{j\phi_i}\) 로 정의한다. 여기서 \(r_i\)는 평균 발화율, \(\phi_i\)는 위상(스파이크 타이밍)이다. - **입력 계산**: 실값 가중치 \(\mathbf{w}\)와 복소수 입력 \(\mathbf{z}\)의 내적 \(\zeta = \mathbf{w}\cdot\mathbf{z}\) 로 포스트시냅스 입력을 구한다. 복소평면에서 벡터 합이므로 위상이 비슷하면 크기가 증폭되고, 반대이면 상쇄된다. - **출력 함수**: 초기 모델은 \(r_i = f(|\zeta|)\), \(\phi_i = \arg(\zeta)\) 로 정의했지만, 위상 반대 입력이 완전 상쇄되는 비현실적 현상이 발견되었다. **3. 모델 수정** 두 개의 입력을 결합한다. - **동기화 항**: \(\tfrac12|\zeta|\) – 위상에 의존하는 부분. - **클래식 항**: \(\tfrac12\chi\) where \(\chi = \mathbf{w}\cdot|\mathbf{z}|\) – 전통적인 실값 입력. 최종 출력 크기는 \(r_i = f(\tfrac12|\zeta| + \tfrac12\chi)\) 로 정의한다. 이 구조는 위상 차이가 클 때도 최소한의 흥분을 보장하고, 억제 가중치가 실제 억제 역할을 수행하도록 만든다. **4. 동기화의 기능적 역할** - **바인딩**: 위상이 유사한 뉴런 집단이 동일 객체의 특징을 공동으로 나타내며, 위상 차이를 통해 서로 다른 객체를 구분한다. 이는 “동기화에 의한 결합” 이론과 일치한다. - **동적 게이팅**: 서로 다른 위상의 입력이 동시에 들어올 경우, 위상 차이에 따라 실제 입력 크기가 조절된다. 위상이 반대(\(\pi\))이면 두 입력이 상쇄되어 출력이 거의 0이 된다. 이는 정보 흐름을 선택적으로 차단하거나 강화하는 메커니즘으로 해석된다. **5. 실험** - **사전 학습된 실값 DBM 변환**: 기존 딥 볼츠만 머신을 복소수 형태로 변환하고, 위상 파라미터를 초기화한다. - **바인딩 테스트**: 간단한 객체 결합 과제에서 동일 객체에 속한 피처가 같은 위상을 갖도록 학습되었으며, 서로 다른 객체는 위상이 구분되었다. - **게이팅 시뮬레이션**: 두 입력의 위상 차이를 조절하면서 출력 크기의 변화를 측정하였다. 위상 차이가 \(\pi\)에 가까울수록 출력이 급격히 감소함을 확인했다. **6. 논의 및 관련 연구** 복소수 신경망 자체는 오래전부터 존재했지만, 딥러닝 커뮤니티에서는 거의 활용되지 않았다. 기존 연구(Rao et al., 2008; Rao & Cecchi, 2010)와 비교해, 본 논문은 위상과 크기를 명시적으로 분리하고, 동기화와 클래식 항을 혼합하는 새로운 설계 방식을 제시한다. 또한, 스파이크 기반 모델과 달리 복소수 표현은 역전파와 같은 기존 최적화 기법을 그대로 적용할 수 있다는 장점이 있다. **7. 한계와 향후 과제** - 현재는 사전 학습된 실값 모델을 변환하는 방식에 머물러 있어, 동기화를 학습 과정에 직접 포함시키는 방법이 필요하다. - 위상 파라미터의 초기화와 학습 안정성, 복소수 가중치 확장, 대규모 데이터셋에 대한 효율성 등 실용적인 문제들이 남아 있다. - 또한, 위상과 크기의 상호작용을 보다 정교하게 모델링하기 위해 복합적인 손실 함수 설계와 정규화 기법이 요구된다. **8. 결론** 복소수‑값 뉴런을 이용한 동기화 모델은 뇌의 스파이크 타이밍을 딥러닝에 추상화함으로써, 바인딩과 동적 게이팅이라는 두 가지 핵심 기능을 구현한다. 실험 결과는 이 접근법이 분산된 특징을 동기화된 그룹으로 조직할 수 있음을 보여준다. 향후 연구에서는 동기화 학습을 직접 최적화하고, 복소수 가중치를 포함한 전면적인 네트워크 설계가 필요할 것이다.