대화형 에이전트 평가를 위한 TED 프레임워크 대화 측정 진단

본 논문은 다양한 도메인에서 활용되는 대화형 LLM 에이전트의 평가가 현재 각 도메인마다 별도 기준(데이터베이스 조회, 정규식 매치 등)을 적용하고 있어 통합적인 평가 체계가 부재함을 지적한다. 또한 기존 연구들은 사용자 역할과 전문성을 고려하지 않아, 에이전트가 실제 사용자와 상호작용할 때 나타나는 성능 차이를 포착하지 못한다는 한계를 갖는다. 이러한 문제를 해결하고자 저자들은 TED 프레임워크(Talk, Evaluate, Diagnose)를 제안한다. Talk 단계에서는 ‘전문가’와 ‘비전문가’ 두 종류의 재사용 가능한 사용자 페르소나 템플릿을 정의하고, 이를 태스크 명령과 결합하는 함수 f(p,i) 를 통해 동일한 태스크에 대해 서로 다른 사용자 행동을 자동 생성한다. 이를 통해 사용자 전문성이 에이전트의 의사결정 흐름에 미치는 영향을 정량적으로 분석할 수 있다. Evaluate 단계에서는 기존 데이터셋의 서브골(툴 서명, 호출 순서, 최종 응답 등)을 자연어 형태의 ‘채점 노트’(grading notes)로 변환한다. LLM‑as‑judge 가 각 채점 노트를 검증하도록 설계했으며, 다중 호출에 대한 다수결 투표 방식을 도입해 판정 안정성을 확보한다. 기존 성공률이나 진행률만으로는 파악하기 어려운 ‘턴당 진행’과 ‘효율성’을 측정하기 위해 두 가지 새로운 지표를 도입한다. 첫 번째는 대화 진행 중 각 턴에서 달성된 서브골 비율을 연속 함수로 보간해 면적을 계산하는 AU‑C(Area Under Curve)이며, 이는 초기 진전이 얼마나 빠른지를 정량화한다. 두 번째는 MaxProgressRate@k 로, k 번 시도 중 가장 높은 진행률을 평균내어 비결정론적 에이전트의 최상위 성능을 포착한다. Diagnose 단계에서는 판정 결과와 에이전트 로그 사이의 불일치를 자동으로 추출한다. 불일치 패턴을 클러스터링하고, ‘잘못된 툴 호출 순서’, ‘불필요한 반복 질문’, ‘진행도 과소평가’ 등 구체적인 오류 카테고리를 도출한다. 이러한 오류는 프롬프트 수정, 툴 인터페이스 개선 등에 직접 활용될 수 있다. 실험은 τ²‑bench와 ToolSandbox 두 벤치마크를 사용해 다양한 도메인(항공 예약, 메신저, 리마인더 등)에서 수행되었다. 동일한 페르소나 템플릿을 재사용함으로써 도메인 간 비교 가능성을 확보했으며, 결과는 다음과 같다. 첫째, 동일 모델이라도 전문가와 비전문가 사용자에 대한 성공률 차이가 최대 12%까지 발생, 사용자‑인식 평가의 필요성을 입증했다. 둘째, Diagnose 단계에서 제시된 오류 교정 후 동일 모델에 대해 MaxProgressRate@k와 AU‑C가 평균 8‑10% 상승하는 효과를 확인했다. 셋째, LLM‑as‑judge 의 다중 호출 안정성을 검증하기 위해 5‑fold 투표를 적용했을 때 판정 변동성이 3% 이하로 감소함을 보고했다. 본 연구의 주요 기여는 (1) 재사용 가능한 전문가·비전문가 페르소나 템플릿을 통한 사용자‑중심 평가 프레임워크 제공, (2) 자연어 기반 서브골 표기와 LLM‑as‑judge 를 활용한 범용 평가 파이프라인 구축, (3) 자동 오류 진단 및 피드백 루프를 제공함으로써 에이전트 개발 주기에 실질적인 개선 신호를 제공한다는 점이다. 향후 연구에서는 페르소나 다양성을 확대하고, 인간 사용자와의 실제 인터랙션 데이터를 결합해 LLM‑as‑judge 의 외부 타당성을 검증하는 방향이 기대된다.