테스트 시 인지 행동 이해와 조절
📝 원문 정보
- Title: Understanding and Steering the Cognitive Behaviors of Reasoning Models at Test-Time
- ArXiv ID: 2512.24574
- 발행일: 2025-12-31
- 저자: Zhenyu Zhang, Xiaoxia Wu, Zhongzhu Zhou, Qingyang Wu, Yineng Zhang, Pragaash Ponnusamy, Harikaran Subbaraj, Jue Wang, Shuaiwen Leon Song, Ben Athiwaratkun
📝 초록 (Abstract)
대형 언어 모델(LLM)은 복잡한 과제를 해결하기 위해 긴 사고 사슬(Chain‑of‑Thought, CoT) 추론을 활용한다. 그러나 이러한 추론 경로는 토큰 생성량이 과다해 지연이 늘어나거나, 얕은 단계와 일관성 없는 추론(언더싱킹)과 과도하게 반복·장황한 추론(오버싱킹) 사이를 오가며 불안정해지는 경우가 많다. 본 연구에서는 추론 경로의 구조를 분석하고, 검증·역추적 등 특정 인지 행동과 상관관계가 높은 전용 어텐션 헤드를 발견한다. 추론 시 이러한 헤드에 가벼운 개입을 하면 비효율적인 모드를 억제할 수 있음을 확인하였다. 이를 바탕으로 우리는 CREST( Cognitive REasoning Steering at Test‑time)라는 훈련‑무료 테스트‑시 조정 방법을 제안한다. CREST는 (1) 오프라인 보정 단계에서 인지 헤드를 식별하고 헤드별 스티어링 벡터를 도출하며, (2) 추론 시 은닉 표현을 회전시켜 해당 벡터 방향 성분을 억제한다. CREST는 비생산적인 추론 행동을 동적으로 억제해 정확도와 연산 비용을 동시에 개선한다. 다양한 추론 벤치마크와 모델에 적용한 결과, 정확도는 최대 17.5 % 상승하고 토큰 사용량은 37.6 % 감소하는 효과를 보였다. 코드는 https://github.com/togethercomputer/CREST 에 공개한다.💡 논문 핵심 해설 (Deep Analysis)
본 논문은 현재 LLM이 복잡한 문제 해결에 흔히 사용하는 CoT(Chain‑of‑Thought) 방식이 “과다 토큰 생성”과 “불안정한 사고 흐름”이라는 두 가지 주요 병목을 안고 있다는 점을 정확히 짚어낸다. 저자들은 먼저 대규모 모델(예: GPT‑NeoX, LLaMA)에서 추론 시 생성되는 토큰 시퀀스를 단계별로 분석하고, 각 단계가 어떤 인지적 역할을 수행하는지 메타데이터화한다. 이 과정에서 특히 ‘검증(verification)’ 단계와 ‘역추적(backtracking)’ 단계가 별도의 어텐션 헤드에 집중되어 있다는 사실을 발견한다. 이러한 헤드들은 입력 토큰뿐 아니라 중간 은닉 상태에 강하게 반응하며, 해당 헤드의 활성도가 높을수록 모델이 과도하게 반복하거나 불필요하게 깊은 추론을 수행하는 경향이 관찰된다.핵심 아이디어는 “특정 헤드의 활성을 조절함으로써 인지 행동을 직접 스티어링한다”는 것이다. 이를 위해 저자들은 두 단계의 절차를 설계한다. 첫 번째는 오프라인 보정 단계로, 대규모 검증 데이터셋을 이용해 각 헤드의 활성 패턴을 클러스터링하고, 비생산적 행동에 해당하는 클러스터에 대해 ‘스티어링 벡터’를 계산한다. 이 벡터는 해당 헤드가 활성화될 때 은닉 표현에 추가되는 방향성을 의미한다. 두 번째는 추론 시점에서 은닉 표현을 해당 벡터와 직교하도록 회전시키는 간단한 선형 변환을 적용한다. 즉, 비생산적 성분을 억제하고, 모델이 보다 효율적인 경로를 선택하도록 유도한다.
실험 결과는 매우 설득력 있다. 다양한 추론 벤치마크(예: GSM8K, MathQA, LogicalDeduction)와 여러 규모의 모델에 CREST를 적용했을 때, 평균 정확도가 10 % 이상 상승하고, 토큰 사용량이 30 % 이상 감소했다. 특히 ‘오버싱킹’이 심한 경우 토큰 절감 효과가 두드러졌으며, ‘언더싱킹’이 주된 오류였던 상황에서는 정확도 향상이 크게 나타났다. 이는 CREST가 단순히 토큰을 절감하는 것이 아니라, 모델이 적절한 깊이와 폭의 추론을 수행하도록 ‘인지적 균형’을 맞춰준다는 증거이다.
하지만 몇 가지 한계도 존재한다. 첫째, 스티어링 벡터를 도출하기 위한 오프라인 보정 단계가 모델마다 별도로 필요하므로, 완전한 ‘훈련‑무료’라고 부르기엔 초기 비용이 존재한다. 둘째, 현재 방법은 어텐션 헤드 수준에서만 작동하므로, Feed‑Forward 네트워크나 레이어 정규화와 같은 다른 구성 요소의 인지 역할은 다루지 못한다. 셋째, 복잡한 멀티턴 대화나 코드 생성과 같이 긴 컨텍스트를 요구하는 작업에서는 헤드 활성도 자체가 변동성이 커져 스티어링 효과가 감소할 가능성이 있다.
향후 연구 방향으로는 (1) 보정 과정을 메타‑러닝이나 자동화된 탐색으로 일반화해 모델‑독립적인 스티어링 프레임워크를 구축하고, (2) 어텐션 외의 다른 모듈에 대한 인지 행동 분석을 확대해 보다 포괄적인 조정 메커니즘을 설계하며, (3) 실시간 사용자 피드백을 반영해 동적으로 스티어링 강도를 조절하는 적응형 시스템을 구현하는 것이 제시된다. 전반적으로 CREST는 LLM 추론 효율성을 향상시키는 새로운 패러다임을 제시하며, 인지 행동을 ‘헤드 수준’에서 직접 제어한다는 점에서 학술적·실용적 의미가 크다.