미니앱 벤치마크: LLM 기반 인터랙티브 HTML 응답 평가

본 논문은 대형 언어 모델(LLM)이 텍스트 응답을 넘어 동적인 HTML 기반 미니앱(MiniApp)을 생성하도록 요구되는 새로운 인간‑AI 상호작용 패러다임을 정의한다. 저자들은 기존 코드·웹 생성 벤치마크가 정적 레이아웃 재현이나 알고리즘 정확도에 초점을 맞추어, 실제 사용자 의도와 현실 세계 원칙을 반영한 인터랙티브 로직을 평가하지 못한다는 문제점을 지적한다. 이를 해결하기 위해 두 가지 주요 기여를 제시한다. 첫 번째는 MiniAppBench이다. 이 벤치마크는 대규모 실사용 로그(10 M + 쿼리)에서 원칙‑구동형 인터랙션 요구가 명확한 쿼리를 추출하고, LLM‑기반 난이도 예측, 인간 전문가 검증, 난이도 라벨링(Easy, Mid, Hard) 과정을 거쳐 500개의 과제로 정제한다. 과제는 과학, 게임, 도구, 인문, 시각, 생활 등 6개 도메인에 균등하게 배분되며, 각 과제는 질문(q), 도메인(c, s), 평가 기준(r), 난이도(d)라는 구조화된 튜플로 표현된다. 평가 기준은 ‘Intention’, ‘Static’, ‘Dynamic’ 세 차원으로 구성된 검증 레퍼런스(Eval‑Ref)이며, 이는 전통적인 정답 코드가 아닌 제약 집합 형태다. 두 번째는 MiniAppEval이라는 에이전트 기반 평가 프레임워크다. Playwright를 활용해 생성된 HTML을 실제 브라우저 환경에서 실행하고, 인간 사용자가 수행할 법한 탐색 행동을 자동으로 시뮬레이션한다. Intention 단계에서는 UI 텍스트·버튼 라벨 등을 추출해 질문 의도와 일치하는지 확인한다. Static 단계에서는 DOM 트리, CSS 스타일, 코드 품질(중복, 접근성, 보안) 등을 정적 분석 도구와 규칙 기반 검사로 검증한다. Dynamic 단계에서는 이벤트 핸들러, 상태 전이, 물리·수학 법칙 등 실행 시 발생하는 동작을 관찰하고, 사전 정의된 제약(예: 자유 낙하 가속도 9.8 m/s², 일주일은 7일)과 일치하는지 평가한다. 이러한 다중 차원 평가는 단일 정답이 존재하지 않는 오픈 엔드 과제에서도 객관적인 품질 측정을 가능하게 한다. 실험에서는 최신 LLM(GPT‑4‑Turbo, Claude‑2, Llama‑2‑70B 등)을 MiniAppBench에 적용했다. 전체 평균 성공률은 28 %에 불과했으며, 특히 Dynamic 차원에서 낮은 점수를 기록했다. UI 레이아웃 재현은 비교적 양호했지만, 물리·수학 원칙을 필요로 하는 과제에서는 시뮬레이션 결과가 기대와 크게 달랐으며, 인터랙션 로직이 부정확하거나 누락되는 경우가 많았다. MiniAppEval 점수와 인간 평가자(3인)의 평균 점수 간 상관계수는 0.84로, 자동화된 평가가 인간 판단을 충분히 대체할 수 있음을 입증한다. 논문의 한계로는 평가 기준이 도메인‑특화 규칙에 의존한다는 점, 복잡한 멀티‑페이지 애플리케이션에 대한 탐색 경로 설계가 아직 미흡하다는 점, 그리고 생성된 JavaScript 코드의 보안·성능 검증이 포함되지 않았다는 점을 들 수 있다. 향후 연구에서는 더 풍부한 사용자 시나리오와 멀티‑모달 피드백을 도입하고, 보안·성능 프로파일링을 포함한 종합 평가 체계를 구축함으로써 LLM이 고품질 인터랙티브 애플리케이션을 자동으로 설계·생성할 수 있는 길을 모색한다.