변형 임베딩을 활용한 트랜스포머 기억 용량 분석

본 논문은 현대 대형 언어 모델(LLM)이 사실 기억과 질문 응답과 같은 작업에서 보여주는 뛰어난 저장·검색 능력을 이론적으로 설명하고자 한다. 기존 연구들은 주로 무한 데이터 가정이나 토큰 임베딩을 정규 직교(또는 원-핫) 벡터로 가정해 분석을 단순화했지만, 실제 모델은 유한 데이터와 무작위(비직교) 임베딩을 사용한다는 점에서 큰 차이가 있다. 저자들은 이러한 현실적 상황을 반영하기 위해, 단층 트랜스포머(어텐션+MLP) 구조에 무작위 가우시안 임베딩을 적용하고, 간단한 토큰 회수(task)에서의 학습 과정을 분석한다. ### 문제 설정 - 어휘 크기 V, 시퀀스 길이 L, 임베딩 차원 d, MLP 폭 m을 파라미터로 둔다. - 입력 시퀀스 X∈