UAV와 대화하는 새로운 패러다임 — LLM 기반 듀얼 에이전트 인터랙션 프레임워크

**1. 연구 배경 및 필요성** UAV의 보급이 급증함에 따라 인간과 UAV 간의 상호작용(Human‑UAV Interaction, HUI) 요구도 복잡해졌다. 기존 HUI는 엔지니어가 미리 정의한 명령 체계와 상태 머신에 의존해, 비전문가가 자연어로 UAV를 제어하기 어렵다. 특히 프로그래밍 언어와 자연어 사이의 공통 언어가 부재해 사용자는 자신의 의도를 코드로 변환하는 과정에서 큰 장벽을 마주한다. **2. 기존 연구의 한계** 최근 LLM을 활용한 단일‑에이전트 HUI 프레임워크가 제안됐지만, 계획 단계와 실행 단계가 하나의 LLM 호출에 혼재하면서(① 계획에 실행 코드가 섞임, ② 복합 태스크에서 계획 효율 저하) 오류가 빈번했다. 또한, 사전 정의된 고수준 함수 라이브러리만으로는 복잡한 장애물 회피·동적 경로 재계획 등 실시간 제어 요구를 충족시키지 못했다. **3. 제안하는 듀얼‑에이전트 프레임워크(UAV‑GPT)** - **구조**: 두 개의 독립 LLM 에이전트(Planning Agent, Execution Agent)를 API 기반으로 연결한다. - **Planning Agent**: 사용자의 자연어 요청을 의미론적으로 파싱하고, 사전 정의된 행동 라이브러리와 디스크리트 태스크 재구성 기법을 이용해 고수준 작업 흐름을 생성한다. 여기서는 코드나 실행 세부사항을 배제하고, 인간과 유사한 추론 과정을 모방한다. - **Execution Agent**: Planning Agent가 전달한 고수준 계획을 받아, 미리 구축된 커맨드 라이브러리와 매핑하여 ROS 기반 제어 스크립트 또는 외부 툴(예: 장애물 회피 모듈)을 호출한다. LLM은 코드 생성·검증을 담당하며, 실시간 피드백을 통해 오류를 즉시 수정한다. - **프롬프트 엔지니어링**: 두 에이전트 각각에 맞춤형 프롬프트를 설계해 역할 구분을 명확히 한다. Planning 프롬프트는 “의도 파악·태스크 분류·행동 순서 도출”에 초점을, Execution 프롬프트는 “코드 변환·툴 선택·실시간 제어”에 초점을 둔다. **4. 데이터베이스 및 평가 지표** - **태스크 데이터베이스**: 농업, 항공 촬영, 물류, 환경 모니터링 네 분야에서 각각 15개의 시나리오를 선정하고, 각 시나리오를 3가지 난이도로 변형해 총 60개의 태스크를 구축했다. - **성능 지표**: (① Planning Accuracy – 사용자의 의도와 생성된 계획의 일치도, ② Execution Efficiency – 비행 시간·자원 대비 목표 달성 비율, ③ Success Rate – 오류 없이 완료된 태스크 비율). **5. 실험 결과** - **시뮬레이션**: 단일‑LLM 기반 프레임워크 대비 평균 60 %의 실행 효율 향상과 30 %의 성공률 상승을 기록했다. 특히 복합 경로 계획·동적 장애물 회피와 같은 고난이도 태스크에서 두 배에 가까운 성능 개선을 보였다. - **실제 비행**: ROS 기반 제어 알고리즘을 적용한 실제 UAV 실험에서도 계획 정확도 92 %, 성공률 88 %를 달성했다. - **사용자 연구**: 30명의 비전문가를 대상으로 사전·사후 설문과 로그 분석을 수행했으며, 인터랙션 부드러움 점수가 기존 시스템 대비 1.8배 상승하고, “시스템이 내 의도를 정확히 이해한다”는 긍정적 응답이 85 %에 달했다. **6. 논문의 주요 기여** 1. LLM 기반 듀얼‑에이전트 구조를 제안해 계획과 실행을 명확히 분리, 혼합 오류를 방지하였다. 2. 행동 라이브러리와 ROS 스킬을 결합해 전통적인 제어 알고리즘을 LLM에 통합, 복합 태스크 수행 범위를 확대하였다. 3. 사용자 중심 실험을 통해 HUI 부드러움과 개인화 지원 능력이 크게 향상됨을 입증하였다. 4. 시뮬레이션·실제 비행 모두에서 단일‑LLM 대비 평균 60 % 효율·30 % 성공률 개선을 실증하였다. **7. 한계 및 향후 연구** - **실시간성**: LLM 호출 지연이 실시간 제어에 영향을 줄 수 있어 경량화 모델이나 캐시 전략이 필요하다. - **안전 검증**: 현재는 시뮬레이션과 제한된 실험에 머물러 있어, 대규모 실외 환경·다중 UAV 협업 상황에서의 안전성 검증이 요구된다. - **모델 업데이트**: 프롬프트와 행동 라이브러리의 지속적인 유지·보수가 필요하며, 사용자 피드백을 자동으로 반영하는 메커니즘이 향후 과제로 남는다. **8. 결론** UAV‑GPT는 LLM을 인간과 UAV 사이의 “공통 언어”로 활용함으로써, 비전문가도 자연어로 복합 UAV 작업을 정의·실행할 수 있게 만든다. 듀얼‑에이전트와 맞춤형 프롬프트 설계가 핵심 성공 요인이며, 실험 결과는 기존 단일‑에이전트 방식 대비 현저한 효율·성공률 향상을 보여준다. 향후 멀티‑UAV 협업, 온보드 경량 LLM, 안전 검증 프레임워크와의 통합을 통해 실제 산업 현장에 적용 가능한 차세대 HUI 시스템으로 발전할 가능성이 크다.