법적 판단 예측을 위한 검증 가능한 진화 추론 프레임워크 VERDICT

초록

VERDICT는 다중 에이전트 협업 구조와 마이크로‑디렉티브 기반 하이브리드 법학 메모리를 결합해, 사실 구조화·법령·판례 검색·초안 작성·검증·수정을 순환적으로 수행한다. 각 단계에서 Pass/Reject 피드백을 제공함으로써 검증 가능한 추론 과정을 기록하고, 검증된 경로를 마이크로‑디렉티브로 정제해 지속적으로 학습한다. CAIL2018에서 최고 성능을 달성했으며, 시간 분할 평가를 통한 CJO2025에서도 강한 일반화 능력을 보였다.

상세 분석

본 논문은 법률 판단 예측(LJP) 분야에서 기존 모델이 안고 있는 ‘정확도 중심·블랙박스·정적 지식’의 한계를 극복하기 위해 두 가지 핵심 혁신을 제시한다. 첫 번째는 다중 에이전트 기반의 Traceable Draft‑Verify‑Revise 워크플로우이다. 여기서는 법원 서기, 법률 보조, 사건 담당 판사, 심사 감독, 그리고 주심 판사라는 다섯 종류의 전문 에이전트가 각각 고유한 역할을 수행한다. 서기는 사실 요점을 추출하고, 보조 에이전트는 밀집 벡터 검색과 의미 기반 필터링을 결합해 후보 법령·판례 집합을 만든다. 사건 담당 판사 에이전트는 도메인‑특화된 전문가 모델(π*θ)을 이용해 사실과 법령을 연결한 초안을 생성한다. 심사 감독 에이전트는 **Hybrid Jurisprudential Memory(HJM)**에 접근해 현재 사건과 연관된 표준 아카이브(M_std)와 진화된 마이크로‑디렉티브(M_dir)를 조회하고, 초안이 규칙(Rule)과 표준(Standard) 모두에 부합하는지 검증한다. 검증 결과는 Pass 혹은 Reject 신호와 함께 구체적인 수정 제안(feedback)으로 반환되며, 이 피드백은 다음 라운드의 컨텍스트에 누적된다. 라운드가 최대 T_max에 도달하거나 Pass가 나오면 주심 판사 에이전트가 최종 판결을 집계하고, 전체 추론 과정을 기록한다. 이러한 설계는 법률 분야에서 요구되는 절차적 투명성과 증거 기반 검증을 자연스럽게 구현한다는 점에서 의의가 크다.

두 번째 혁신은 Micro‑Directive Paradigm에 기반한 Hybrid Jurisprudential Memory이다. 전통적인 법학 지식 저장소는 정형화된 법령(규칙)이나 비구조화된 판례(표준)만을 보관한다. 그러나 법관은 판례에서 추출한 ‘표준’과 법령의 ‘규칙’을 조화시켜 구체적인 ‘마이크로‑디렉티브’를 만든다. 논문은 이를 메모리 구조로 형식화한다. M_std는 각 표준 판례를 텍스트, 임베딩, 법적 요소(Λ), 그리고 카테고리(c)로 구성한 무방향 그래프로, 유사도 임계값 τ를 초과하는 노드 간에 일관성 에지를 부여한다. M_dir는 검증된 다중 에이전트 경로를 기반으로 생성·업데이트되는 마이크로‑디렉티브 레코드이며, 각 레코드는 텍스트(r_txt), 신뢰도(confidence), 그리고 적용 조건(C)으로 이루어진다. 에이전트가 초안을 제출하고 감독이 Reject 피드백을 줄 때마다 해당 피드백과 정답 라벨이 HJM에 저장되고, 주기적으로 Distillation 과정을 거쳐 새로운 마이크로‑디렉티브가 도출된다. 이렇게 축적된 디렉티브는 이후 사건에서 사전 지식으로 활용돼, 모델이 지속적 학습과 롱테일 일반화를 수행하도록 만든다.

기술적 구현 측면에서 저자들은 두 단계의 모델 정렬 파이프라인을 제시한다. 첫 번째는 Protocol‑Aware Instruction Tuning으로, 교사 모델을 이용해 법적 프로토콜(예: 사실‑법령‑요소 매핑)과 형식에 맞는 SFT 데이터를 구축한다. 두 번째는 Logic‑Driven Contrastive Alignment로, 오류 샘플(D_fault)을 반영해 반사 모델(M_R)이 논리적 결함을 분석하고, 전문가 모델(M_E)이 이를 교정하도록 유도한다. 교정된 쌍(정답, 오류)으로 구성된 Preference 데이터(D_pref)를 DPO(Direct Preference Optimization) 방식에 적용해 모델의 논리적 일관성을 강화한다.

실험에서는 공개된 CAIL2018과 저자 자체 구축한 CJO2025(2025년 이후 사건을 포함한 미래 시점 분할) 두 데이터셋을 사용했다. VERDICT는 CAIL2018에서 기존 최고 성능을 2.3%p 상회했으며, CJO2025에서는 시간적 일반화 능력(Accuracy‑Drop <5%)을 유지했다. 또한, 각 에이전트별 추론 단계와 HJM 업데이트 로그를 공개함으로써 재현성과 추론 검증을 가능하게 했다.

전체적으로 본 논문은 법률 AI가 단순 예측을 넘어 법적 절차와 지식 진화를 모사할 수 있는 설계 원칙을 제시한다는 점에서 학문적·실무적 기여가 크다. 다만, 마이크로‑디렉티브의 자동 생성·평가 기준이 아직 주관적일 수 있고, 대규모 판례 데이터에 대한 그래프 구축 비용이 높은 점은 향후 연구 과제로 남는다.