안전한 LLM 기반 사이버물리 시스템을 위한 프레임워크

초록

SafePilot은 계층적 신경‑심볼릭 구조를 이용해 LLM이 생성한 계획을 형식적 사양(FOL·LTL)과 반복 검증·프롬프트 재조정 과정을 통해 안전·시간 제약을 보장한다. 복잡한 과제는 자동 분해·재조합으로 해결하고, 검증 실패 시 구체적 오류 원인을 LLM에 피드백함으로써 신뢰성을 크게 향상시킨다.

상세 분석

본 논문은 LLM이 사이버물리 시스템(CPS)에서 의사결정·계획 생성 역할을 수행할 때 발생하는 ‘환각’ 문제를 체계적으로 해결하고자 한다. 핵심 아이디어는 (1) 작업 난이도를 판단하는 디스크리미네이터, (2) 계층적 플래너가 필요 시 작업을 자동으로 분할·조합하는 divide‑and‑conquer 전략, (3) 자연어 제약을 형식 논리(FOL, LTL)로 변환하는 변환기, (4) 형식 검증기와 LLM 기반 플래너 사이의 피드백 루프를 결합한 검증‑가이드 플래닝 메커니즘이다.

디스크리미네이터는 입력된 자연어 과제와 사양을 사전 학습된 메타‑모델에 매핑해 LLM이 직접 해결하기에 과도한 복잡도인지 판단한다. 복잡도가 높을 경우, 계층적 플래너는 문제를 의미론적으로 독립적인 서브태스크로 분해하고, 각 서브태스크는 동일한 검증‑가이드 루프를 통해 개별적으로 해결된다. 이때 서브플랜 간의 의존 관계는 LTL의 순차·동시 연산자를 활용해 명시적으로 모델링한다.

LLM 기반 플래너는 변환기가 제공한 형식 사양을 프롬프트에 삽입해 “계획 생성 + 검증 요구” 형태의 복합 프롬프트를 만든다. 생성된 계획은 검증기에 의해 FOL 기반 안전 제약(예: 충돌 회피, 물체 보유 상태)과 LTL 기반 시간 제약(예: 마감 기한, 순서 보장) 모두에 대해 자동 정형 검증을 받는다. 검증 실패 시, 검증기는 위반 원인을 자연어 형태의 ‘오류 설명’과 함께 반환하고, 이 정보를 프롬프트에 추가해 LLM에게 재생성을 요구한다. 이러한 반복은 사전 정의된 최대 반복 횟수에 도달하거나, 모든 사양을 만족하는 계획이 도출될 때까지 지속된다.

주요 기술적 기여는 다음과 같다. 첫째, 자연어와 형식 논리 사이의 양방향 매핑을 자동화함으로써 사용자가 사양을 직접 코딩할 필요를 없앴다. 둘째, 계층적 분해·재조합 메커니즘을 통해 단일 LLM 호출로는 해결하기 어려운 대규모 복합 과제를 효율적으로 처리한다. 셋째, 검증 결과를 LLM에게 직접 피드백함으로써 ‘환각’이 발생했을 때 구체적인 교정 정보를 제공하고, 이를 통해 재생성 단계에서 오류 재발 가능성을 크게 낮춘다. 넷째, FOL과 LTL을 동시에 지원함으로써 속성 기반(안전, 거리 등)과 시간 기반(시퀀스, 마감) 제약을 포괄적으로 다룰 수 있다.

실험에서는 로봇 매니퓰레이션과 무인 항공기 경로 계획 두 사례를 통해 SafePilot이 기존 단일‑LLM 플래닝 대비 성공률을 30% 이상 향상시키고, 검증 시간도 합리적인 수준(수 초 내)으로 유지함을 보였다. 특히 복잡한 다단계 작업에서 자동 분해가 없을 경우 발생하는 계획 불가능 상황을 효과적으로 회피했다.

전체적으로 SafePilot은 LLM‑기반 CPS의 신뢰성을 형식 검증과 신경‑심볼릭 계층 구조를 결합해 실용적인 수준으로 끌어올린 혁신적 프레임워크라 할 수 있다.