시각 속 속임수를 파헤치는 이중경로 차트 분석 프레임워크

본 연구는 차트 기반 질문 응답(ChartQA) 분야에서 최근 부각된 ‘Misleading Chart Question Answering(MQ A)’ 문제를 다루며, 시각적 속임수에 취약한 기존 비전‑언어 모델(VLM)의 한계를 체계적으로 분석한다. 기존 모델은 차트를 전체적으로 한 번에 처리하는 End‑to‑End 방식과 OCR을 이용해 차트를 텍스트로 변환하는 두 가지 패러다임으로 나뉜다. 전자는 차트의 전반적인 시각적 흐름에 과도하게 의존해 축이 뒤집히거나 레전드가 교묘히 변형된 경우 시각적 편향에 빠지기 쉽고, 후자는 OCR만으로는 숫자와 레이블 사이의 공간적 관계를 파악하지 못해 ‘엔티티 미스얼라인먼트’ 문제에 봉착한다. 이러한 문제를 해결하고자 저자들은 ‘시각‑수치 이중경로’와 ‘에이전트식 요약’이라는 두 축을 중심으로 새로운 프레임워크인 ChartCynics를 제안한다. 1. **Diagnostic Vision Path** - 차트 이미지에서 그래픽 요소 탐지기를 활용해 제목, 범례, x‑축, y‑축 등 핵심 구성요소를 자동으로 ROI로 추출한다. - 각 ROI에 대해 적절한 패딩을 적용해 눈금 라벨, 레전드 마커 등 미세한 시각 정보를 포함한다. - ‘Blind Test’를 수행하는 Diagnostic Agent는 질문과 선택지를 배제한 상태에서 순수히 시각적 이상 징후를 진단한다. 이 과정에서 모델이 스스로 시각적 함정을 인식하고 ‘Action Directive’를 생성한다(예: “축 눈금 값을 직접 읽어라”). 2. **OCR‑Driven Data Path** - 최신 OCR 엔진을 이용해 차트 내부의 수치 데이터를 추출한다. - Vision Path에서 제공한 Action Directive를 활용해 OCR 결과를 축 눈금과 데이터 라벨에 정확히 매핑함으로써, 단순 문자열 추출이 아니라 공간적 의미를 보존한다. 3. **Agentic Summarizer** - 두 경로에서 얻은 ‘Diagnosis’와 ‘OCR 데이터’를 입력받아 Detective Chain‑of‑Thought(D‑CoT)라는 5단계 검증 프로세스를 수행한다. - 첫 번째 학습 단계인 Oracle‑Informed SFT에서는 전문가가 설계한 ‘skeptical’ CoT를 주입해 모델이 구조화된 검증 흐름을 학습하도록 한다. - 두 번째 단계인 Deception‑Aware GRPO에서는 시각적 함정에 대한 오답을 명시적으로 페널티하는 보상 함수를 설계하고, Group Relative Policy Optimization을 통해 강화학습을 진행한다. 이 과정에서 모델은 시각적 편향을 억제하고 논리적 일관성을 유지하도록 정렬된다. 4. **실험 및 결과** - Misleading ChartQA와 LEAF‑QA 두 벤치마크에서 각각 74.43%와 64.55%의 정확도를 달성했으며, 이는 동일 백본(Qwen3‑VL‑8B) 모델 대비 약 29%p의 절대 향상에 해당한다. - SFT만 적용했을 때도 22.95%p의 큰 성능 상승을 보였으며, GRPO를 추가함으로써 교차 모달 모순 상황에서 최종 정확도가 크게 개선되었다. - 표준 차트(비속임)에서도 성능 저하 없이 기존 특화 차트 파싱 모델보다 우수한 결과를 얻어 ‘과도한 회의주의’ 문제를 방지함을 입증한다. 5. **의의와 한계** - 이중경로와 에이전트식 검증을 결합함으로써 작은 오픈소스 모델도 복잡한 시각적 속임수에 강인한 추론 능력을 가질 수 있음을 보여준다. - 현재는 ROI 추출과 OCR 정확도에 크게 의존하므로, 복잡한 레이아웃이나 손상된 이미지에 대해서는 추가적인 전처리 기법이 필요하다. - 향후 연구에서는 다중 단계의 시각적 탐지와 더 정교한 강화학습 보상 설계, 그리고 인간‑모델 협업 인터페이스를 통해 실시간 차트 감시 시스템으로 확장할 가능성을 제시한다.