Title: Reasoning Relay: Evaluating Stability and Interchangeability of Large Language Models in Mathematical Reasoning
ArXiv ID: 2512.20647
발행일: 2025-12-16
저자: Leo Lu, Jonathan Zhang, Sean Chua, Spencer Kim, Kevin Zhu, Sean O’Brien, Vasu Sharma
📝 초록 (Abstract)
체인‑오브‑씽크(CoT) 프롬프트는 대형 언어 모델(LLM)의 추론 능력을 크게 향상시켰다. 기존 연구는 주로 내부 추론 전략을 통해 모델 성능을 개선하는 데 초점을 맞추었지만, 서로 다른 모델 간에 추론 과정을 교환할 수 있는지에 대해서는 거의 알려져 있지 않다. 본 연구에서는 한 모델이 만든 부분적인 추론 체인을 다른 모델이 이어받아도 논리적 일관성과 최종 정답 정확도가 유지되는지를 평가한다. 이를 통해 추론 연쇄의 중간 단계가 전이 가능한 스캐폴드 역할을 할 수 있는지를 검증하고, 모델 교체 시 추론이 일관되고 신뢰할 수 있는지를 탐색한다. 우리는 토큰 수준 로그‑확률 임계값을 이용해 Gemma‑3‑4B‑IT와 LLaMA‑3.1‑70B‑Instruct에서 초기·중간·후반 단계까지 추론을 잘라내고, 이를 Gemma‑3‑1B‑IT와 LLaMA‑3.1‑8B‑Instruct가 이어받는 실험을 수행한다. 평가 파이프라인은 잘라낸 단계에 프로세스 보상 모델(PRM)을 적용해 추론 안정성을 정량화한다. PRM 평가 결과, 하이브리드 추론 체인은 종종 기존 단일 모델 체인과 동등하거나 더 높은 정확도와 논리 구조를 유지한다는 것이 밝혀졌다. 이러한 결과는 추론 모델의 새로운 행동 특성인 ‘교환 가능성’을 시사하며, 협업형 AI 시스템에서 모듈식 추론을 구현하는 새로운 패러다임을 제시한다.
💡 논문 핵심 해설 (Deep Analysis)
본 논문은 추론 연쇄의 중간 산출물을 다른 모델이 이어받을 수 있는지를 실험적으로 검증함으로써, LLM 연구 분야에 새로운 시각을 제공한다. 첫 번째 핵심 기여는 ‘추론 교환 가능성’이라는 개념을 정의하고, 이를 정량화하기 위한 평가 프레임워크를 구축한 점이다. 저자들은 토큰‑레벨 로그‑확률을 기준으로 추론을 세 단계(초기, 중간, 후기)로 트렁케이트하고, 각 단계마다 프로세스 보상 모델(PRM)을 적용해 논리적 일관성과 정답 정확도를 측정한다. 이때 사용된 두 베이스 모델인 Gemma‑3‑4B‑IT와 LLaMA‑3.1‑70B‑Instruct는 각각 다른 아키텍처와 파라미터 규모를 갖고 있어, 결과가 모델 패밀리 내·외부에서 일반화될 수 있음을 검증한다.
실험 결과는 흥미롭다. 동일 패밀리 내에서는 작은 모델이 큰 모델의 추론을 이어받아도 성능 저하가 거의 없었으며, 심지어 일부 경우에는 작은 모델이 더 높은 정확도를 보였다. 이는 작은 모델이 큰 모델이 만든 중간 논리 구조를 효율적으로 재해석하거나, 과도한 파라미터에 의한 과적합을 피할 수 있음을 시사한다. 교차 패밀리(예: Gemma → LLaMA)에서도 전반적인 논리 흐름이 유지되었고, 최종 정답 정확도는 대체로 유지되었다. 다만, 매우 초기 단계에서 트렁케이트된 경우에는 두 모델 간의 표현 차이로 인해 논리적 비약이 발생할 위험이 있었다. 이는 추론 교환이 ‘얼마만큼의 중간 정보가 제공되어야 하는가’라는 임계점을 필요로 함을 의미한다.
또한 PRM을 활용한 평가 방식은 인간 평가자의 주관성을 최소화하면서도 추론 과정의 질을 정량화할 수 있는 장점을 가진다. 하지만 PRM 자체가 훈련된 데이터와 목표에 따라 편향될 가능성이 있으므로, 향후 다중 보상 모델을 병합하거나 인간 라벨링과의 혼합 평가가 필요하다.
한계점으로는 실험에 사용된 모델이 상대적으로 최신 버전이지만, 아직은 제한된 수의 모델과 데이터셋에 국한되어 있다는 점이다. 다양한 도메인(수학, 법률, 의료)과 더 큰 모델(수백억 파라미터)에서의 일반화 여부는 추가 검증이 요구된다. 또한, 추론 교환이 실제 서비스 환경에서 발생할 경우, 실시간 토큰 비용 및 지연 시간에 대한 비용 효율성 분석이 필요하다.
향후 연구 방향은 (1) 추론 교환을 위한 최적 트렁케이션 포인트 자동 탐색 알고리즘 개발, (2) 다중 모델 협업을 위한 프로토콜 설계, (3) 보안 및 프라이버시 관점에서 중간 추론 정보의 노출 위험 평가 등이 있다. 이러한 연구는 ‘모듈식 AI’라는 비전을 실현하는 데 핵심적인 역할을 할 것으로 기대된다.
📄 논문 본문 발췌 (Excerpt)
## 모델 간 추론 연쇄 교환 가능성 탐구
본 연구는 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위해 연쇄 추론(Chain of Thought, CoT) 촉발 기법의 모듈식 분해와 협업 프레임워크의 잠재력을 조사합니다.
연구 배경:
CoT 촉발은 LLM의 복잡한 문제 해결 능력을 향상시키는 강력한 메커니즘으로 입증되었습니다. 이전 연구는 CoT가 개별 모델 성능을 향상시키는 데 효과적임을 보여주었습니다 (Kojima et al., 2023, Zhang et al., 2022, Jin et al., 2024). 최근 Hebenstreit et al. (2024)은 전체 CoT 시퀀스의 전이 가능성을 조사하여 한 모델에서 발견한 추론 논리를 다른 모델에 일반화할 수 있는지 살펴보았습니다. 그러나 부분적으로 재사용된 추론 경로의 교환 가능성에 대한 명확한 답변은 부족했습니다.
연구 목적:
본 연구의 목표는 다음과 같습니다:
모듈 분해와 제약: 복잡한 수학적 추론 과제에 대한 LLM의 제로샷 성능과 해석 가능성을 향상시키는 모듈식 분해의 효과를 분석합니다.
협업 프레임워크: CoT의 모듈식 분해를 활용하여 다양한 LLMs 간의 협업을 위한 프레임워크를 제시하고, 이를 통해 추론 연쇄 교환의 가능성과 한계를 탐구합니다.
방법:
데이터셋 및 모델: MATH 데이터셋 (Hendrycks et al., 2021)을 사용하여 다양한 추론 복잡도와 도메인 특성을 가진 문제들을 벤치마킹했습니다. 실험에 사용된 모델은 Gemma-3-4B-IT, LLaMA-3.1-70B-Instruct, Gemma-3-1B-IT, 그리고 LLaMA-3.1-8B-Instruct 입니다.
연쇄 분할: 각 문제에 대해 초기 생성 모델을 사용하여 완전한 CoT 추론 경로를 생성합니다. 이를 기반으로 누적 로그 확률에 따라 25%, 50%, 75% 지점에서 추론을 부분적으로 자릅니다.
연속 모델: 부분적으로 잘린 추론 경로에 다른 모델의 연속을 수행하여 완전한 추론 경로를 재구성합니다. 모든 연속은 CoT 템플릿을 사용하여 일관성을 유지했습니다.
평가 지표: 정확도, PRM 점수 (Process Reward Model), 정규화된 상대적 향상(NRG), 그리고 교차 모델 저하(XMD)를 포함한 다양한 지표를 사용하여 연속된 추론의 품질과 성능을 평가합니다.
결과 및 논의:
실험 결과는 다음과 같은 주요 통찰력을 제공했습니다:
모델 간 교환 가능성: 일부 경우, 특히 동일한 모델 가족 내에서 추론 경로의 중간 부분이 다른 모델에 의해 성공적으로 연속될 수 있음을 보여주었습니다. 하지만, 다른 모델 가족 간의 교환은 일관된 결과를 보이지 않았으며, 종종 성능 저하를 초래했습니다.
구조적 차이: LLaMA와 Gemma 모델 가족 간의 구조적 차이는 추론 경로의 연속성에 영향을 미치는 주요 요소로 나타났습니다. 각 모델 가족은 고유한 추론 패턴을 가지고 있으며, 이는 서로 다른 아키텍처에서 비롯됩니다.
추론 깊이 및 용량 제한: 더 큰 모델이 부분적으로 생성된 추론 경로를 계속할 때, 더 작은 모델은 용량 한계에 부딪힐 수 있습니다. 이는 특히 더 긴 추론 시퀀스에서 두드러집니다.
