학술 논문 스캔 기반 오류 탐지 벤치마크 ScholScan

본 논문은 멀티모달 대형 언어 모델(MLLM)이 인간 연구자 수준의 학술 논문 이해와 오류 탐지를 수행하도록 평가하기 위한 새로운 벤치마크 ‘ScholScan’을 제안한다. 기존의 학술 QA 벤치마크는 사전에 정의된 질문‑답 쌍과 목표 텍스트 조각을 제공하고, 모델은 해당 조각을 검색해 짧은 근거를 바탕으로 답을 도출한다. 이러한 ‘검색‑지향’ 패러다임은 논문의 전체 흐름을 파악하고, 문서 전반에 걸친 일관성을 검증하는 데 한계가 있다. ScholScan은 이러한 한계를 극복하고자 ‘스캔‑지향’ 과제를 도입한다. 모델은 논문의 전체 텍스트(이미지 혹은 OCR 텍스트)와 목표가 없는 질문만을 받고, 논문을 전면 스캔해 오류를 스스로 발견하고, 오류가 존재하는 구간을 정확히 지목하며, 그 근거와 추론 과정을 단계별로 제시해야 한다. 데이터 구축은 크게 두 단계로 이루어진다. 첫 번째 단계에서는 고품질 논문(주로 ICLR 2024·2025, Nature Communications)에서 Gemini 2.5 Pro를 이용해 오류를 인위적으로 삽입하거나, 실제 리뷰에서 지적된 오류를 추출해 질문 형태로 변환하는 ‘생성(Generation)’과 ‘샘플링(Sampling)’ 방식을 사용한다. 두 번째 단계에서는 10명의 도메인 전문가가 이 후보를 이중 검토하고, 불일치 시 제3자 중재를 거쳐 최종 1,800개의 고신뢰 질문을 확정한다. 오류 카테고리는 ‘연구 설계·방법’, ‘수치·공식 계산’, ‘추론·결론’, ‘인용·참조 정합성’ 등 9가지로, 각 카테고리는 학문 전반에 걸쳐 빈번히 발생하는 실수들을 포괄한다. 전체 데이터는 715편의 자연과학 논문(물리·화학·컴퓨터 과학 등 13개 분야)에서 추출되었다. 평가 프레임워크는 모델 출력의 네 가지 핵심 요소를 정량화한다. (1) 오류 검출(Detection) – 모델이 오류를 인식했는지와 목표 오류를 포함했는지를 0/1 이진 점수로 평가한다. (2) 증거 위치(Evidence) – 모델이 제시한 증거 구간과 정답 증거 구간 사이의 Dice 점수를 계산하고, 과다 보고에 대해 제곱 패널티를 부여한다. (3) 추론 과정(Reasoning) – 정답 추론 체인과 모델이 제시한 체인 사이의 prefix‑match 비율을 사용해 충실도를 측정한다. (4) 무관한 오류(Unrelated Error) – 모델이 제시한 비관련 오류 수에 대해 지수형 페널티를 적용한다. 최종 점수 S는 위 네 요소를 곱해 산출한다. 자동 평가는 GPT‑4.1 기반 파싱 파이프라인을 사용했으며, 인간 평가와 높은 상관관계를 보였다. 실험에서는 15개의 최신 MLLM(다양한 멀티모달 LLM, 비전‑언어 모델, OCR 기반 텍스트 입력 포함)을 24가지 입력 구성(이미지 vs. OCR, 단일 vs. 다중 논문 등)으로 평가했다. 전체 평균 S 점수는 0.30 이하로, 특히 오류 검출과 증거 위치에서 낮은 점수를 기록했다. 검색‑증강(RAG) 기법을 적용한 경우에도 성능 향상이 거의 없었으며, 이는 현재 모델이 ‘문서‑전체 맥락을 유지하면서 정확히 근거를 찾아내는’ 능력이 부족함을 의미한다. 이미지 입력과 OCR 텍스트 입력 사이에서도 큰 차이가 없었으며, 이는 멀티모달 인코더가 레이아웃·표·수식 정보를 충분히 활용하지 못한다는 점을 시사한다. 논문의 한계로는 (1) 오류 탐지의 주관성 – 인간 평가자와 자동 평가 간에 미세 차이가 존재한다. (2) 긴 컨텍스트 처리 제한 – 현재 모델은 수천 토큰을 초과하는 30페이지 이상의 논문을 완전하게 스캔하기 어렵다. (3) 도메인 편중 – 데이터가 주로 자연과학에 국한돼 있어 인문·사회과학 논문에 대한 일반화 가능성이 검증되지 않았다. (4) 복합 점수 구조 – 전체 점수가 여러 요소의 곱으로 구성돼 개별 요소를 별도로 최적화하기 어려운 구조다. 학술적 의의는 두 가지다. 첫째, ‘스캔‑지향’ 과제가 AI 연구 보조 도구의 다음 단계임을 명확히 제시함으로써, 향후 모델 설계가 장기 메모리, 레이아웃 인식, 멀티스텝 추론을 통합하도록 유도한다. 둘째, ScholScan 자체가 공개 데이터셋·코드·평가 파이프라인을 제공하므로, 연구 커뮤니티가 동일한 기준에서 MLLM의 문서‑전체 이해 능력을 비교·향상시킬 수 있다. 향후 연구에서는 (1) 더 긴 논문과 다양한 학문 분야를 포함한 데이터 확장, (2) 인간‑AI 협업 시나리오(예: 모델이 제안한 오류를 인간이 검증) 도입, (3) 효율적인 장기 메모리와 레이아웃‑수식 인식을 결합한 모델 아키텍처 개발이 기대된다. ScholScan은 이러한 방향성을 제시하는 대표적인 벤치마크로 자리매김할 것이다.