불확실성 기반 증거 선택을 통한 RAG의 엔트로피 최소화

본 논문은 Retrieval‑Augmented Generation(RAG) 시스템이 현재 주로 질의와 의미적 유사도가 높은 문서를 MIPS 기반으로 순차적으로 가져오는 방식에 의존하고 있음을 지적한다. 이러한 “관련도 중심” 접근은 단일 정답이 존재하는 팩트형 QA에서는 효과적이지만, 실제 지식‑집약적 환경에서는 질문 자체의 모호성, 상충되는 증거, 다중 홉 추론 등 복합적인 불확실성이 존재한다. 이때 기존 시스템은 높은 의미적 유사도를 가진 중복 증거를 과도하게 수집하는 ‘에피스테믹 콜랩스’를 겪으며, LLM이 편향된 증거 분포에 기반해 과신하거나 사실과 다른 답변을 생성하게 된다. 이에 저자들은 ‘Entropic Claim Resolution(ECR)’이라는 새로운 추론‑시간 알고리즘을 제안한다. ECR은 RAG의 증거 선택 과정을 “가설‑증거” 이중 구조의 확률 모델로 재구성한다. 구체적으로, 질의 Q에 대해 가능한 매크로 답변 가설 집합 A={a₁,…,a_k}를 생성하고, 초기에는 균등 사전 확률을 부여한다. 이후 고정된 고재현 후보 주장 C={c₁,…,c_n} 중 아직 검증되지 않은 것을 선택하는데, 선택 기준은 Expected Entropy Reduction(EER)이다. EER은 현재 가설 엔트로피와 해당 주장을 검증했을 때 기대되는 사후 엔트로피 차이로 정의되며, 이는 정보이득과 동일한 의미를 갖는다. 실제 구현에서는 모든 가능한 진리값에 대한 완전한 마진을 계산하기 어려우므로, 각 주장 c가 지원하는 가설 집합 A⁺(c)와 반대되는 A⁻(c)의 확률 질량 p⁺(c), p⁻(c)를 이용한 휴리스틱을 도입한다. 점수는 |p⁺−p⁻|·H(A|Xₑᵥₐₗ)·conf(c) 형태이며, 이는 가설을 크게 분리하고 높은 신뢰도를 가진 주장을 우선한다는 의미다. 또한, ECR은 경량의 일관성 신호 λ·ConflictPotential(c)를 추가한다. ConflictPotential는 기존에 검증된 주장과 논리적 모순을 형성하는 경우 1, 아니면 0을 반환한다. 이 항은 엔트로피 최소화 목표를 압도하지 않으면서도, 모순이 존재할 때 이를 조기에 드러내는 역할을 한다. 정지 기준은 엔트로피가 사전 정의된 임계값 ε 이하가 되는 순간이며, 이를 ‘에피스테믹 충분성(epistemic sufficiency)’이라고 명명한다. ε는 사용자가 허용 가능한 불확실성 수준을 설정할 수 있게 해, 비용‑정확도 트레이드오프를 조절한다. ECR은 기존의 ReAct, Tree‑of‑Thoughts, Self‑RAG와 같은 에이전트형 RAG이 heuristic 기반의 “다음 행동 선택”에 의존하는 점을 극복한다. 여기서는 명시적 확률 모델과 정보이론적 목표가 존재하므로, 선택 과정이 수학적으로 해석 가능하고, 최적화 이론에 기반한 성능 보장이 가능하다. 논문은 또한 ECR을 생산 환경용 다중 전략 검색 파이프라인(CSGR++)에 통합한 구현을 제시한다. CSGR++는 dense retrieval, graph‑based expansion, 그리고 hybrid 전략을 결합한 시스템으로, ECR은 이 파이프라인의 최상위 의사결정 모듈로 삽입돼 별도 파인‑튜닝 없이도 동작한다. 실험(논문 본문에 상세히 기술되지 않았지만)에서는 의료·법률·금융 등 고위험 도메인에서 기존 RAG 대비 hallucination 감소, 답변 정확도 향상, 그리고 추론 비용 절감 효과를 보였다고 주장한다. 핵심 기여는 다음과 같다. (1) 가설‑증거 확률 모델을 기반으로 한 엔트로피 최소화 증거 선택 알고리즘(ECR) 제안, (2) 수학적으로 정의된 에피스테믹 충분성 정지 기준 도입, (3) 경량 일관성 신호를 통한 모순 노출 메커니즘 제시, (4) CSGR++에의 실시간 통합 및 스케일러빌리티 입증. 한편 한계점도 언급한다. 가설 생성 단계가 LLM에 크게 의존하므로 초기 가설이 부정확하면 전체 과정이 편향될 위험이 있다. 또한 EER 휴리스틱이 가설 수에 선형적으로 의존해 가설이 수백 개 이상으로 늘어날 경우 계산 비용이 급증한다. 마지막으로, 증거 검증 단계에서 “P(X_c=1)”를 추정하는 구체적 방법이 논문에 상세히 제시되지 않아, 실제 적용 시 별도 신뢰도 추정 모델이 필요하다. 전반적으로 ECR은 “무엇을 검색할 것인가”를 엔트로피 최소화라는 명확한 목표 아래 재정의함으로써, 고위험·고불확실성 환경에서 RAG 시스템의 신뢰성과 해석 가능성을 크게 향상시킬 수 있는 유망한 접근법으로 평가된다.