다음 메모: LLM 기반 에이전트를 위한 잠재 사실 메모리

LLM 기반 에이전트는 복잡한 환경에서 연속적인 의사결정을 수행하기 위해 과거 관찰을 저장하고 재활용하는 메모리 메커니즘이 필수적이다. 특히 사실 메모리는 관찰된 구체적인 사실들을 손실 없이 보존해야 하는 핵심 구성요소이며, 기존 접근법은 크게 텍스트 메모리와 파라미터 메모리 두 갈래로 나뉜다. 텍스트 메모리는 데이터베이스에 저장된 원문을 인덱싱해 컨텍스트에 삽입하는 방식으로, 대규모 사실을 저장할 경우 프롬프트 길이가 폭증하고 검색 비용이 크게 증가한다. 파라미터 메모리는 모델 가중치를 직접 수정해 정보를 내재화하지만, 재학습 시 기존 지식이 사라지는 재앙적 망각(catastrophic forgetting)과 고비용 연산·저장 문제가 있다. 이러한 문제점을 해결하고자 저자들은 ‘잠재 사실 메모리(latent factual memory)’라는 새로운 패러다임을 제시한다. NextMem은 자동회귀(auto‑regressive) 오토인코더를 기반으로 텍스트를 압축된 잠재 시퀀스로 변환한다. 인코더와 디코더는 동일한 Transformer‑decoder 구조를 공유하지만, 각각 별도의 파라미터 집합(θ_encode, θ_decode)을 갖는다. 인코더는 입력 토큰 시퀀스에 특수 시작 토큰