그린 스톰워터 인프라를 위한 도메인 강화 LLM 에이전트

본 논문은 도시 환경에서 급증하는 그린 스톰워터 인프라(GSI)의 설계·운영·유지보수 작업에 필요한 전문 지식을 대규모 언어 모델(LLM)에 효과적으로 주입하는 방법론을 제시한다. 기존에 GSI 관련 매뉴얼, 규제 문서, 현장 점검 양식 등은 분산되어 있어 비전문가가 현장 상황에 맞는 정확한 지침을 찾기 어렵다. 이러한 문제를 해결하고자 저자들은 세 가지 상호 보완적인 전략을 결합한 ‘GSI Agent’ 프레임워크를 설계하였다. 첫 번째 구성 요소는 ‘지도 미세조정(Supervised Fine‑Tuning, SFT)’이다. 저자들은 실제 GSI 현장 시나리오를 반영한 10 955개의 instruction‑style 샘플을 수집·정제하여 GSI Dataset을 구축하였다. 각 샘플은 고유 ID, 원본 문서 출처, 지리적 태그, 작업 유형(질문‑답변, 검증, 절차 생성 등), 그리고 정답(공식 문서 기반)으로 구성된다. 이 데이터셋을 이용해 기존의 범용 LLM을 LoRA와 같은 파라미터 효율적 기법으로 미세조정함으로써, 모델 내부에 GSI 전용 용어와 규정, 절차적 사고 흐름을 직접 내재시켰다. 두 번째는 ‘검색‑증강 생성(Retrieval‑Augmented Generation, RAG)’이다. 시·군·구에서 발행한 설계 매뉴얼, 유지보수 가이드, 규제 문서 등을 passage 수준으로 분할하고, dense vector(예: Sentence‑BERT)로 임베딩한 뒤 벡터 데이터베이스에 색인한다. 사용자가 질의를 입력하면, 해당 질의와 가장 유사한 top‑k 패시지를 실시간으로 검색해 LLM의 프롬프트에 삽입한다. 이를 통해 최신 문서 반영, 사실성 강화, 그리고 ‘지식 파편화’를 최소화한다. 또한, 이미지 기반 현장 보고서가 제공될 경우, 이미지 요약 텍스트와 결합해 검색 쿼리를 보강한다. 세 번째는 ‘도메인‑특화 LLM 에이전트’이다. 에이전트는 (1) 검색 모듈에서 반환된 패시지를 검증·필터링, (2) 필요한 경우 추가 질의를 생성해 정보 부족을 보완, (3) 최종 응답을 구조화된 JSON 혹은 표 형식으로 출력하는 일련의 워크플로우를 관리한다. 에이전트는 “검색 → 통합 → 생성” 순환을 명시적 상태 머신으로 구현하고, 규제 위반 가능성이 감지되면 경고를 삽입하거나 사용자를 재질문하도록 설계되었다. 실험 설계는 두 가지 데이터셋을 사용한다. 첫 번째는 앞서 만든 GSI Dataset으로, 질문‑답변, 검증, 절차 생성, 정보 추출, 분류 등 9가지 작업군을 포함한다. 두 번째는 일반 상식 평가용 Common Knowledge Dataset(5 000 샘플)으로, 모델의 일반 지식 유지 여부를 검증한다. 평가 지표는 BLEU‑4, ROUGE‑L, Micro‑F1, Sentence‑BERT 기반 의미 유사도(Sentence‑BERT), LLM‑Judge 기반 G‑Eval, 그리고 인간 전문가 평가 등 다중 레이어를 포함한다. 주요 결과는 다음과 같다. GSI Dataset에 대해 BLEU‑4 점수가 0.090에서 0.307로 3배 이상 상승했으며, ROUGE‑L도 0.22→0.48로 크게 개선되었다. 특히 질문‑답변과 검증 작업에서 LLM‑Judge 점수가 3.2→4.6으로 상승해 사실성 및 논리적 일관성이 크게 향상된 것을 확인했다. 반면 Common Knowledge Dataset에서는 BLEU‑4가 0.304→0.305로 변동이 거의 없으며, 전반적인 정확도와 F1 점수도 유지되었다. 이는 도메인 강화가 일반 지식 손실 없이 이루어졌음을 의미한다. 한계점으로는 (1) 현재 이미지‑텍스트 멀티모달 처리가 부수적이며, (2) 실시간 검색 시 지연(latency) 문제가 현장 적용에 제약이 될 수 있다. 또한, 지식베이스 업데이트 주기가 수동적이어서 최신 규정 반영에 시간이 소요된다. 향후 연구에서는 멀티모달 인식 강화, 지속적 학습(continual learning) 기반 자동 업데이트, 그리고 교통·에너지·폐기물 관리 등 다른 인프라 도메인으로의 확장을 목표로 하고 있다. 결론적으로, GSI Agent는 SFT, RAG, 에이전트 기반 워크플로우를 결합해 전문 인프라 분야에서 LLM의 정확성, 신뢰성, 그리고 유지보수 효율성을 크게 향상시킬 수 있음을 실증하였다. 이는 향후 다양한 공공·민간 엔지니어링 분야에 LLM을 적용하는 데 있어 중요한 설계 원칙을 제공한다.