동적 런타임 상호운용성을 위한 생성형 AI 미들웨어 SAGAI MID

본 논문은 현대 분산 시스템에서 서로 다른 스키마를 가진 REST API, GraphQL 엔드포인트, 사유 IoT 프로토콜 등이 공존하면서 발생하는 스키마 불일치 문제를 해결하기 위해, 대형 언어 모델(LLM)을 활용한 런타임 미들웨어인 SAGAI‑MID를 제안한다. 기존 정적 어댑터는 스키마 쌍마다 수작업 코딩이 필요하고, 새로운 조합이 등장하면 재배포가 요구되는 비효율성을 가지고 있다. 저자들은 이러한 한계를 극복하기 위해 FastAPI 기반의 ASGI 미들웨어에 5계층 파이프라인을 설계하였다. 1) **입력 레이어**는 HTTP 요청을 가로채고, 라우트와 연결된 source‑target JSON 스키마를 SchemaRegistry를 통해 조회한다. 라우트가 등록되지 않은 경우는 그대로 통과시켜 오버헤드를 최소화한다. 2) **탐지 모듈**은 구조적 디텍터와 의미적 디텍터를 결합한다. 구조적 디텍터는 재귀적 속성 비교를 통해 타입, 중첩, cardinality 차이를 빠르게 식별한다. 의미적 디텍터는 LLM에게 두 스키마를 전달해 네이밍, 약어, 단위 변환 등 인간 수준의 의미 차이를 파악한다. LLM 호출이 실패해도 구조적 결과가 유지되므로 시스템 가용성이 보장된다. 3) **해결 엔진**은 두 가지 전략을 제공한다. DIRECT는 매 요청마다 LLM이 매핑을 생성하고 즉시 변환한다. 정확도는 높지만 비용·지연이 크다. CODEGEN은 최초 요청 시 LLM이 매핑과 파이썬 어댑터 코드를 동시에 생성하고, 이를 컴파일·검증한 뒤 캐시한다. 이후 동일 스키마 조합에 대해서는 캐시된 파이썬 함수만 실행되어 <1 ms 응답 시간을 달성한다. 캐시 키는 source와 target 스키마의 SHA‑256 해시이며, 매핑·코드 모두를 저장한다. 4) **보호 레이어**는 LLM의 비결정성에 대비한 3단계 방어 체계이다. Tier 1은 JSON‑Schema와 Pydantic 검증을 통해 변환 결과가 목표 스키마를 만족하는지 확인한다. 실패 시 Tier 2인 앙상블 투표가 작동한다. 동일 매핑 요청을 N번(기본 3) 병렬 호출해 다수결로 최종 매핑을 선택함으로써 hallucination을 크게 감소시킨다. 최종적으로도 검증에 통과하지 못하면 Tier 3인 규칙 기반 폴백이 동작한다. 여기서는 difflib 기반 문자열 유사도 매칭, 사전 정의된 단위 변환 표, 타입 강제 변환 로직 등을 적용해 최소한의 기능적 변환을 보장한다. 5) **모니터링 레이어**는 요청당 레이턴시, 토큰 사용량, pass@1 성공 여부 등을 기록해 운영상의 인사이트를 제공한다. 논문은 Bass et al.이 정의한 인터옵러빌리티 전술(Discover, Tailor Interface, Convert Data, Manage Resources, Orchestrate)과 SAGAI‑MID의 각 레이어를 매핑한 표를 제시한다. 예를 들어 Discover는 SchemaRegistry와 탐지 모듈, Convert Data는 DIRECT·CODEGEN 및 보호 레이어, Manage Resources는 캐시·레이트 리밋·모델 라우팅 등으로 구현된다. 이는 설계‑시점 전술을 런타임‑시점 서비스로 전환한다는 학술적 의미를 갖는다. **실험**은 10가지 시나리오(REST 버전 마이그레이션, IoT‑Analytics 브리징, GraphQL 변환 등)를 6개 LLM(OpenAI GPT‑4, GPT‑3.5, Anthropic Claude‑2 등)과 2개 제공자 조합으로 평가하였다. 주요 평가지표는 pass@1 정확도, 평균 레이턴시, 토큰 비용, 보호 스택 활성화 비율이다. 결과는 다음과 같다. - CODEGEN 전략 평균 0.83 pass@1, DIRECT는 0.77 pass@1. - 가장 정확한 모델이 동시에 가장 저렴했으며, 모델 간 비용 차이는 30배에 달했지만 정확도 차이는 미미했다. - 캐시 히트율은 85 %에 달해, CODEGEN 사용 시 평균 레이턴시가 0.9 ms 이하로 감소했다. - 보호 스택 적용 시 오류율이 70 % 이상 감소했으며, Tier 2 앙상블 투표가 전체 오류의 45 %를 해결했다. **논의**에서는 LLM을 미들웨어 핵심 로직에 삽입함으로써 설계‑시점 전술을 동적으로 실행할 수 있다는 점, 구조·의미 하이브리드 탐지와 3단계 보호 스택이 LLM 비결정성을 실용 수준으로 낮춘다는 점, CODEGEN 기반 어댑터 캐시가 비용·성능 트레이드오프를 최적화한다는 점을 강조한다. 또한, 모델 비용 효율성 분석을 통해 “가장 정확한 모델이 가장 저렴”한 현상이 관찰됐으며, 이는 클라우드 비용 관리에 중요한 인사이트를 제공한다. **제한점**으로는 LLM 호출 지연이 여전히 초기 요청에 큰 영향을 미친다, 복잡한 비정형 데이터(예: 이미지, 바이너리) 변환은 현재 범위 밖이다, 그리고 보호 스택의 규칙 기반 폴백이 도메인 특화 로직을 완전히 대체하지 못한다는 점을 언급한다. **미래 연구**는 (1) 멀티모달 LLM을 활용한 비정형 데이터 변환, (2) 자동화된 규칙 학습을 통한 폴백 강화, (3) 서비스 메쉬와 연계한 전역적인 인터옵러빌리티 정책 관리 등을 제안한다. 결론적으로, SAGAI‑MID는 LLM 기반 스키마 매핑·코드 생성·검증을 미들웨어에 통합함으로써, 설계‑시점에 고정된 어댑터를 런타임‑시점에 동적으로 생성·재사용하는 새로운 패러다임을 제시한다. 이는 마이크로서비스 진화, API 버전 관리, 사물인터넷 데이터 파이프라인 등 다양한 실무 환경에 즉시 적용 가능하며, 향후 LLM 성능이 향상될수록 시스템 전체의 적응성도 비례적으로 상승할 것으로 기대된다.