피드백 제어 기반 스파이킹 신경망 온칩 학습 구현
본 논문은 혼합 신호 neuromorphic 프로세서인 DYNAP‑SE에 스파이킹 피드백 제어 옵티마이저를 구현하고 인‑더‑루프 학습을 통해 이진 분류와 Yin‑Yang 비선형 문제에서 소프트웨어 시뮬레이션 및 역전파 기반 기준과 동등한 성능을 달성했음을 보여준다
저자: Jonathan Haag, Christian Metzner, Dmitrii Zendrikov
스파이킹 신경망(SNN)은 이벤트 기반 동작으로 에너지 효율이 높아 neuromorphic 시스템에 적합하지만, 기존의 역전파 기반 학습은 전역 오류와 시간‑배치 정보를 필요로 하여 하드웨어 구현이 어렵다 이러한 한계를 극복하기 위해 최근 스파이킹 피드백 제어 알고리즘이 제안되었으며, 이는 오류 신호를 스파이크 열로 직접 인코딩해 로컬 시냅스 가중치를 연속적으로 업데이트한다 본 연구는 이 알고리즘을 혼합 신호 DYNAP‑SE 프로세서에 구현하고, 인‑더‑루프(ITL) 학습 프레임워크를 통해 실제 하드웨어에서 성능을 검증한다 DYNAP‑SE는 4개의 코어와 각 코어당 256개의 아날로그 AdExp‑IF 뉴런을 포함하며, AER 프로토콜을 통해 비동기식 스파이크 통신을 지원한다 아날로그 시냅스는 병렬 연결 수로 가중치를 표현해 최대 6비트 해상도를 제공한다 그러나 회로 변동성, 잡음, 관측 제한 등으로 인해 개별 뉴런의 발화율이 불안정할 수 있다 이를 보완하기 위해 동일한 기능을 하는 10개의 뉴런을 풀링해 평균 발화율을 신호로 사용함으로써 변동성을 크게 감소시켰다 피드백 제어 옵티마이저는 각 출력 뉴런에 양성 및 음성 제어 뉴런을 연결해 비례‑적분 제어기를 구현한다 양성 제어 뉴런은 목표 발화율이 실제보다 높을 때 출력 뉴런을 자극하고, 음성 제어 뉴런은 반대 상황에서 억제한다 이 두 제어 뉴런의 스파이크 활동 차이는 피드백 전류 Ifb로 변환되며, 이는 식 wt=wt‑1+η Ifb stin에 의해 시냅스 가중치를 실시간으로 조정한다 이 과정은 완전히 로컬이며, 하드웨어에서 직접 구현 가능하도록 설계되었다 학습 절차는 다음과 같다 첫째, 호스트 컴퓨터가 입력 데이터와 목표 스파이크 레이트를 칩에 전송한다 둘째, 칩이 실시간으로 전방향 전파를 수행하고 AER 인터페이스를 통해 출력 스파이크를 수집한다 셋째, 호스트가 수집된 스파이크로 피드백 전류를 추정하고 부동소수점 가중치 업데이트를 계산한다 넷째, 계산된 가중치를 하드웨어가 지원하는 정수 양자화 단계로 변환하고 시냅스 연결을 재구성한다 이때 가중치 부호가 바뀌면 시냅스 유형을 전류성에서 억제성으로 전환해야 하므로 교정이 필요하다 실험에서는 두 가지 벤치마크를 사용했다 첫 번째는 두 입력 뉴런이 서로 다른 발화율을 갖는 이진 분류 작업으로, 목표 오류가 2 Hz 이하로 수렴하면서 100 % 정확도를 달성했다 또한 시뮬레이션과 동일한 학습 곡선을 보였으며, 피드백 없이도 학습 후 출력 뉴런이 목표 발화율에 근접했다 두 번째는 4개의 입력 특성을 이용해 Yin‑Yang 기호를 3클래스로 구분하는 비선형 문제였다 여기서는 각 클래스당 하나의 출력 뉴런을 두고, 목표 발화율을 20 Hz(정답)와 2 Hz(오답)으로 설정했다 학습 결과는 테스트 정확도 67 %를 기록했으며, 이는 소프트웨어 시뮬레이션(63 %) 및 ANN‑BP(66 %)와 거의 동일했다 또한 학습이 진행됨에 따라 시냅스 가중치가 초기 가우시안 분포에서 안정적인 값으로 수렴함을 확인했다 전력 측정 결과, 추론 단계에서 칩의 소비 전력은 10‑100 µW 수준으로 매우 낮았다 전체적으로 이 연구는 피드백 제어 기반 로컬 학습 규칙이 혼합 신호 neuromorphic 하드웨어에서 실시간으로 구현 가능함을 입증하고, 기존 역전파 기반 방법과 동등한 정확도를 달성함을 보여준다 또한 현재는 호스트가 가중치 업데이트를 담당하지만, 향후 전용 회로에 피드백 제어 로직을 직접 내장함으로써 완전 온칩 학습이 가능할 것으로 기대한다 향후 연구에서는 다층 네트워크에 대한 피드백 가중치 학습 규칙을 개발하고, 기존 백프로파게이션 없이도 깊은 구조를 학습할 수 있는 프레임워크와 결합하는 방향을 제시한다
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기