양자 최대우도 예측과 힐베르트 공간 임베딩
** 본 논문은 대형 언어 모델(LLM)의 인컨텍스트 학습을 확률분포를 양자 밀도 연산자로 임베딩한 뒤, 해당 양자 모델에서 최대우도 예측(QMLP)을 수행하는 새로운 프레임워크를 제시한다. 정보기하학적 관점에서 양자 역정보 투영과 양자 피타고라스 정리를 이용해 해석하고, 트레이스 노름 및 양자 상대 엔트로피 기준의 비점근적 수렴 속도와 집중 부등식을 제공한다. 이를 통해 고전적 LLM과 양자 LLM 모두를 통합적으로 다룰 수 있는 이론적 …
저자: Sreejith Sreekumar, Nir Weinberger
**
본 논문은 현대 대형 언어 모델(LLM)의 인컨텍스트 학습(ICL) 현상을 새로운 정보기하학적·양자 통계적 관점에서 재해석한다. 기존 연구들은 ICL을 사전학습된 임베딩을 이용한 베이지안 추론, 리지 회귀, 혹은 선형 최소제곱 등 고전적 통계 절차와 동등시켰지만, 어휘 규모와 토큰 차원의 급격한 증가로 인해 KL 발산 기반 손실이 차원 저주에 취약함을 지적한다.
이를 해결하기 위해 저자들은 확률분포를 힐베르트 공간 ℋ에 임베딩하고, 각 분포를 공분산 연산자 ρ = E_{X∼P}
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기