기억 증강 신경망 적응 제어를 위한 향상된 주의 메커니즘

본 연구는 기억(working memory) 기반 신경망 적응 제어 구조에 새로운 주의(attention) 메커니즘을 도입하여, 기존 소프트·하드 주의가 갖는 정보 손실 및 전환 실패 문제를 해결하고자 한다. 먼저, 저자들은 이전 연구에서 제안한 메모리 증강 적응 제어 아키텍처를 간략히 소개한다. 이 아키텍처는 외부 작업 메모리를 기존 피드백 제어기에 연결하고, 신경망(NN)의 출력 u_ad에 메모리 읽기 결과 h_o를 더함으로써 최종 제어 입력 u = u_bl + u_ad + v 를 생성한다. 여기서 u_bl은 문제 특화 기본 제어, v는 고차 항 보상을 위한 로버스트 항이다. 기존 소프트 주의는 모든 메모리 슬롯을 가중합해 읽고 쓰지만, 관련성이 낮은 슬롯까지 지속적으로 업데이트되면서 중요한 정보가 서서히 사라지는 단점이 있다. 반면 하드 주의는 단일 슬롯만을 선택·갱신해 정보 보존을 가능하게 하지만, 현재 슬롯의 관련성이 감소했을 때 새로운 슬롯으로 전환하지 못하는 경직성을 보인다. 이를 보완하기 위해 논문은 두 가지 핵심 요소를 결합한 “하드 주의 + 주의 재배치(attention reallocation)” 메커니즘을 제안한다. 1. **하드 주의 구현** - **상태 기반 키(state‑based)**: 각 메모리 슬롯 i는 키 k_i를 가지고, 동적 시스템 ˙k_i = −c_k w_r(i)(k_i − x) 로 현재 시스템 상태 x를 추적한다. 쿼리 q는 현재 상태 x이며, ‖q−k_i‖_∞ 가 최소인 슬롯 i* 를 선택한다. w_r(i) = 1 (i=i*) 혹은 0 (그 외) 로 설정되어 하드 어텐션을 구현한다. - **표현 기반 키(representation‑based)**: 키를 메모리 벡터 자체 h_i 로 정의하고, 현재 은닉 출력 q = σ(Vᵀx̃ + b_v) 와 가장 근접한 슬롯을 선택한다. 여기서도 w_r(i)∈{0,1} 로 하드 어텐션을 구현한다. 2. **주의 재배치 메커니즘** - 현재 은닉 출력과 모든 슬롯 키 사이의 거리 d_i = ‖σ(Vᵀx̃ + b_v) − (1/c_w) μ_i‖_∞ 를 계산한다. 최소 거리 d_min이 사전 정의된 임계값 θ보다 크면 a_r=1 로 설정해 재배치를 트리거한다. - 재배치 시 가장 거리가 큰 슬롯 i_s 를 선택하고, 해당 슬롯의 키와 메모리 내용을 현재 은닉 출력으로 초기화한다. 이렇게 하면 이전에 저장된 정보는 해당 슬롯이 다시 선택될 때까지 보존되며, 정보 손실을 최소화한다. - 메모리 슬롯 수는 초기에는 하나만 활성화하고, 필요에 따라 새로운 슬롯을 추가하도록 설계되어, 급격한 환경 변화에 대한 적응성을 확보한다. **메모리 인터페이스** - **쓰기**: ˙h_i = −w_r(i) h_i + c_w w_r(i) h_w + w_r(i) Ŵ hᵀ e, 여기서 h_w = σ(Vᵀx̃ + Ŵb_v) 로 현재 은닉 출력에 기반한 쓰기 벡터를 만든다. - **읽기**: h_o = Σ_i w_r(i) h_i 로 선택된 슬롯의 내용을 직접 읽어낸다. **NN 출력 수정** - 최종 NN 보상 u_ad = −Ŵᵀσ(ŴVᵀx̃ + Ŵb_v) + h_o − Ŵb_w 로 정의한다. 메모리 읽기 결과 h_o 가 NN 출력에 직접 더해짐으로써, 급격한 파라미터 변화 시 학습 방향을 빠르게 조정한다. **시뮬레이션 및 결과** - 2‑링크와 3‑링크 로봇 팔 시스템을 대상으로, 질량 변화, 외란 등 급격한 파라미터 변동 상황을 설정하였다. - 기존 소프트 주의 기반 제어와 순수 하드 주의 기반 제어에 비해, 제안된 하드+재배치 메커니즘은 추적 오차가 급격히 감소하고, 안정적인 수렴을 보였다. - 특히, 재배치가 발생한 순간 메모리 내에 보존된 이전 정보가 재활용되어, 학습 초기 단계에서의 진동이 크게 억제되었다. - 메모리 슬롯 수를 동적으로 확장함으로써, 필요 시 새로운 상황에 대한 기억을 추가하고, 불필요한 슬롯 전환을 방지하였다. **결론 및 의의** 본 논문은 인간의 주의 전이와 기억 보존 메커니즘을 제어 시스템에 효과적으로 매핑함으로써, 메모리 증강 신경망 적응 제어의 학습 속도와 안정성을 동시에 향상시킨다. 하드 주의와 주의 재배치를 결합한 새로운 메커니즘은 정보 손실을 최소화하면서도 급격한 환경 변화에 빠르게 적응할 수 있는 실용적인 프레임워크를 제공한다. 향후 연구에서는 이 메커니즘을 실제 로봇 플랫폼에 적용하고, 실시간 구현을 위한 계산 효율성 분석이 진행될 수 있다.