실행 경로 기반 AI 에이전트 런타임 거버넌스

이 논문은 대형 언어 모델(LLM)을 기반으로 하는 AI 에이전트가 수행하는 복합 작업이 비결정적이며 경로‑의존적이라는 사실을 출발점으로 삼아, 실행 경로를 중심으로 한 런타임 거버넌스 프레임워크를 제시한다. 기존의 설계‑시점 검증, 정적 접근 제어(RBAC, IAM), 프롬프트‑레벨 제어는 각각 경로 전체를 평가하지 못하거나 확률적 억제에 머무르는 한계가 있다. 따라서 논문은 정책을 **deterministic function** π(agent id, partial path, next action, org state) → violation probability 형태로 정의하고, 이를 매 단계마다 실행해 위반 확률을 실시간으로 평가한다. 정책 엔진은 현재까지 누적된 실행 경로와 조직의 보안·규제 상태를 입력받아, 사전 정의된 위험 허용도와 비교한다. 위험 허용도는 조직이 감수할 수 있는 기대 위반 비용과 작업 성공률 사이의 트레이드오프를 수식화한 목적 함수와 연결된다. 이를 통해 조직은 “위반 비용이 한도 이하”라는 제약 하에 최대한의 업무 효율을 달성하도록 정책 파라미터를 조정할 수 있다. 프레임워크는 기존 메커니즘을 특수 사례로 포함한다. 프롬프트‑레벨 제어는 정책 함수가 ‘partial path’를 무시하고 LLM 입력만 변형해 경로 분포를 바꾸는 형태이며, 정적 접근 제어는 ‘partial path’를 완전히 배제하고 오직 ‘next action’과 ‘agent id’만으로 결정한다. 두 경우 모두 경로‑의존적 위반(예: 데이터 조회 후 외부 메일 전송)을 검출하지 못한다. 따라서 논문은 **런타임 평가**를 일반적인 경우로 제시하고, 모든 경로‑의존적 정책을 구현하기 위한 필수 조건으로 강조한다. 구체적인 정책 예시로는 EU AI Act의 고위험 시스템 요구사항을 반영한 세 가지가 제시된다. 첫째, 정보 장벽 위반 정책은 데이터베이스 조회 후 외부 이메일 전송 시 위반 확률을 1.0으로 설정해 즉시 차단한다. 둘째, 데이터 최소화 정책은 동일 세션 내 중복 데이터 조회를 제한해 불필요한 데이터 노출을 방지한다. 셋째, 자가 수정 방지 정책은 에이전트가 자체 코드를 생성·실행하려 할 경우 차단하거나 인간 승인을 요구한다. 이러한 정책은 모두 실행 경로 전체를 고려해 정의되며, 정책 엔진은 각 단계마다 이를 평가한다. 구현 방안으로는 정책 엔진을 마이크로서비스 형태로 배치하고, 에이전트와 외부 툴 사이에 인터셉터 레이어를 두어 행동 전후에 정책 검증을 수행한다. 정책 정의는 DSL 혹은 JSON 스키마로 기술하고, 정책 업데이트는 실시간 반영이 가능하도록 설계한다. 다중 에이전트 환경에서는 공통 상태 저장소와 경로 집계 서비스를 통해 조직 전체의 경로를 통합 감시한다. 마지막으로 논문은 몇 가지 핵심 오픈 문제를 제시한다. 첫째, 위반 확률을 실제 손해와 매핑하는 위험 캘리브레이션 방법론이 부족하다. 둘째, 정책 간 충돌(예: 보안 정책 vs. 업무 효율성 정책)을 해결하기 위한 우선순위 체계가 필요하다. 셋째, 경로 추적 데이터 자체가 민감 정보를 포함할 수 있어 프라이버시와 스케일링 문제를 어떻게 다룰지에 대한 연구가 요구된다. 넷째, 정책 위반 후 복구·보상 메커니즘을 설계하는 것이 필요하다. 이러한 과제들을 해결함으로써, 실행 경로 기반 런타임 거버넌스는 AI 에이전트의 책임감 있는 배치를 위한 핵심 인프라가 될 수 있다.