그리드 세계 예측 기하학이 트랜스포머 내부 표현을 형성한다
이 논문은 고정된 단계 수와 목표 지점을 갖는 2차원 격자 위 무작위 보행 과정을 분석한다. 보행자의 현재 위치와 남은 시간만으로 미래 토큰 분포를 완전히 결정할 수 있는 2차원 충분 벡터를 도출하고, 이를 기반으로 디코더‑전용 트랜스포머를 학습시킨다. 실험 결과, 모델의 은닉층 표현이 충분 벡터와 강하게 정렬되며 차원 수가 낮다는 것을 확인한다. 이는 확률 분포의 기하학이 모델 내부 세계 모델 형성에 직접적인 역할을 함을 보여준다.
저자: Sasha Brenner, Thomas R. Knösche, Nico Scherf
본 논문은 “다음 토큰 예측(next‑token prediction)”이라는 단순 목표가 어떻게 복잡한 세계 모델(world model)과 유사한 내부 표현을 생성하는지를, 수학적으로 정확히 정의된 격자 보행(grid‑walker) 과정을 통해 검증한다. 서론에서는 대규모 언어 모델이 문법·의미를 학습함에도 불구하고, 그 내부 메커니즘을 명확히 규정하기 어렵다는 점을 지적한다. 특히, 확률적 목표와 세계 구조 사이의 연결 고리를 이론적으로 정립하려는 시도가 부족함을 강조한다. 이를 보완하기 위해 저자들은 확률 과정의 “충분 통계(sufficient statistic)” 개념을 차용해, 최소 정보만으로 미래를 최적 예측할 수 있는 벡터를 도출한다.
관련 연구 파트에서는 (1) 계산역학(computational mechanics)과 믿음 상태(belief state) 분석, (2) 언어 모델 내 문법 구조 탐색, (3) 트랜스포머 기반 세계 모델의 등장 사례를 정리한다. 기존 연구는 주로 복잡하고 비정형적인 데이터에서 관찰된 현상을 기술했지만, 이 논문은 완전한 해석이 가능한 toy‑model을 제시한다는 점에서 차별화된다.
핵심 방법론은 다음과 같다. 격자 보행자는 2차원 정수 격자 \(\mathbb Z^2\) 위에서 매 단계 네 방향(L,R,D,U) 중 하나를 이동한다. 보행자는 미리 정해진 목표점 p와 총 단계 수 T를 가지고, 반드시 T 단계 후 p에 도달해야 한다는 제약을 갖는다. 이 제약 하에 모든 유효 경로는 동일 확률을 갖도록 정의한다. 저자들은 부분 경로 s_t (t
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기