안전한 빌더 위험한 유지보수 인간과 AI PR 파괴적 변경 비교 연구

본 논문은 AI 코딩 에이전트가 현대 소프트웨어 개발 워크플로우에 깊이 침투함에 따라, 이들이 생성하는 Pull Request(PR)가 기존 코드의 하위 호환성을 깨뜨리는 파괴적 변경을 얼마나 자주 일으키는지를 정량적으로 조사한다. 연구는 크게 네 부분으로 구성된다. 첫째, 배경 및 관련 연구에서는 파괴적 변경이 API 호환성을 위협하는 핵심 요인임을 설명하고, 기존 연구가 주로 인간이 만든 코드에서의 파괴적 변경 빈도를 조사했으며, AI가 만든 코드에 대한 분석은 부족했음을 지적한다. 또한 AI 코딩 도구(Devin, Claude Code, GitHub Copilot 등)의 생산성 향상 효과와 동시에 버그·보안 취약점 증가 현상을 언급한다. 둘째, 방법론에서는 AIDev 데이터셋을 활용해 Python 저장소 530개(별 100★ 이상)에서 AI가 만든 7,191개의 PR과 인간이 만든 1,402개의 PR을 추출한다. PR을 feat, fix, perf, refactor, chore라는 다섯 가지 작업 유형으로 필터링하고, 총 60,324개의 파일‑레벨 패치를 확보한다. Git diff를 기반으로 사전·사후 코드를 재구성한 뒤 Python AST 파서를 이용해 17가지 파괴적 변경 패턴(함수·클래스 삭제, 시그니처 변경, 반환 타입 변형 등)을 탐지한다. 검증 단계에서는 무작위 표본 94개를 두 명이 독립 검토해 95% 이상의 정확도와 κ=0.79의 높은 일치도를 얻었다. 셋째, 결과 분석에서는 다음과 같은 핵심 발견을 제시한다. (1) 전체 파괴적 변경 비율은 AI가 3.45%, 인간이 7.40%로 AI가 절반 수준의 위험을 보인다. (2) 작업 유형별로는 AI가 생성 작업(feat, fix, perf)에서는 2.89%~4.12%로 낮은 비율을 유지하지만, 유지보수 작업(refactor, chore)에서는 각각 6.72%와 9.35%로 인간보다 두 배 이상 높은 위험을 나타낸다. 반대로 인간은 생성 작업에서 높은 파괴적 변경 비율(예: feat 7.74%)을 보이며, 유지보수 작업에서는 비교적 낮은 비율을 기록한다. (3) 에이전트별 비교에서는 Claude Code가 가장 높은 5.10%를 보였지만, 전체적으로 인간보다 낮은 수준을 유지한다. (4) 신뢰도 점수와 파괴적 변경 사이에는 뚜렷한 상관관계가 없으며, 8‑10 구간 모두 3% 내외의 파괴적 변경 비율을 보인다. 이를 “Confidence Trap”이라 명명하고, 높은 신뢰도 점수가 구조적 위험을 반영하지 못한다는 점을 강조한다. 넷째, 논의에서는 실무적·연구적 함의를 도출한다. 실무에서는 유지보수 작업에 AI를 활용할 경우, 작업 유형 기반 강화 리뷰 정책을 적용하고, 신뢰도 점수에 의존하지 말고 AST 기반 파괴적 변경 검출 도구를 병행해야 한다고 제안한다. 연구 측면에서는 기존 코드 생성·테스트 통과 중심의 벤치마크에 파괴적 변경 탐지를 추가하고, 다양한 언어와 더 정교한 정적·동적 분석을 결합한 후속 연구가 필요함을 강조한다. 위협 분석에서는 (1) 작업 유형 라벨링 오류, (2) AST 기반 정적 분석이 실제 런타임 호환성에 비해 과대평가할 가능성, (3) Python에 국한된 결과의 일반화 한계 등을 제시한다. 결론적으로, AI 코딩 에이전트는 코드 생성 작업에서는 인간보다 안전하지만, 구조적 변화를 수반하는 유지보수 작업에서는 오히려 높은 파괴적 변경 위험을 내포한다. 따라서 AI 활용 시 작업 유형에 따른 차별화된 검증 프로세스와 신뢰도 점수 외의 위험 지표를 도입하는 것이 필수적이다.