AI 기반 대규모 재현성 워크플로우

본 논문은 “AI‑Assisted Workflow for Large‑Scale Replication and Reanalysis”라는 제목 아래, 정치학 분야에서 발표된 실증 논문의 재현성을 대규모로 검증하고 자동화하는 새로운 방법론을 제시한다. 연구자는 2010‑2025년 사이에 세 개의 최고 수준 정치학 저널(American Political Science Review, American Journal of Political Science, Journal of Politics)에서 발표된 모든 실증·계량 논문을 대상으로 데이터·코드 가용성을 자동 추출하고, 이를 기반으로 384편(총 3 382개 회귀 모델)의 전 논문 복제 작업을 수행하였다. 핵심적인 기술적 기여는 ‘AI‑에이전트 기반 워크플로우’이다. 이 워크플로우는 (1) 대형 언어 모델(LLM)을 활용해 작업을 여러 서브에이전트에 라우팅하고, (2) 각 서브에이전트가 복제 패키지 다운로드, 환경 재구성(컨테이너·패키지 매니저 이용), 코드 실행, 결과 추출을 담당한다. 인간 연구자는 사전에 정의된 ‘진단 템플릿’을 제공하는데, 여기에는 2단계 최소제곱(2SLS) 추정치, OLS와의 차이, 약한 도구 진단 등 구체적인 통계량이 포함된다. 템플릿은 CRAN 패키지 ivDiag에 구현되어 있어, 자동화된 파이프라인이 동일한 통계량을 일관되게 산출하도록 보장한다. 워크플로우는 실행 과정에서 발생하는 오류(디렉터리 구조 불일치, 라이브러리 버전 충돌, 파일명 오류 등)를 구조화된 ‘지식 레이어’에 기록한다. 이 레이어는 재현 가능한 버전‑관리 시스템과 연동되어, 동일한 오류가 재발하면 자동으로 일반화된 해결 규칙을 적용한다. 결과적으로 파이프라인은 지속적으로 학습하고 개선되며, 동일 버전에서는 완전한 재현성을 보장한다. 실증 검증은 두 단계로 진행된다. 첫 번째 단계는 기존에 수작업으로 검증된 67편(70개 사양)의 IV 논문을 대상으로, AI 워크플로우가 기존 2SLS 계수를 정확히 재현하는지 확인하였다. 여기서는 100% 일치율을 기록했으며, 이는 언어·환경·디렉터리 차이가 있더라도 자동화가 성공했음을 의미한다. 두 번째 단계는 2023‑2025년 사이에 발표된 25편의 신규 IV 논문을 추가해 총 92편(215개 사양)으로 확대하였다. 이 단계에서 전체 성공률은 87%였으며, 실패 원인은 주로 복제 패키지 자체의 누락·불완전성(데이터 미제공, 코드 부분 삭제 등)이었다. 즉, 기술적 실행 능력은 충분히 확보됐으며, 남은 과제는 복제 자료의 완전성 확보에 있다. 정책적 요인에 대한 분석도 수행하였다. 저널별 검증 정책 도입 시점(예: AJPS 2015년, APSR·JOP 2021년)과 데이터 아카이빙 의무가 재현성에 미치는 영향을 조사한 결과, 정책 도입 전후 재현성 비율이 29.6%에서 79.8%로 크게 상승했으며, 접근 가능한 복제 패키지에 한정하면 94.4%에 달한다. 이는 정책적 인센티브와 기술적 자동화가 상호 보완적으로 작용해 대규모 재현성을 가능하게 함을 보여준다. 또한, 자동화된 진단 템플릿을 활용해 2SLS‑OLS 차이와 도구 강도 간의 부정적 상관관계를 재현했으며, 이는 기존 수작업 연구와 일관된 결과다. 이는 워크플로우가 단순히 결과를 복제하는 수준을 넘어, 체계적인 메타분석과 재검증에도 활용될 수 있음을 시사한다. 결론적으로, 이 논문은 (1) AI‑에이전트와 버전‑관리된 코드를 결합한 모듈형 파이프라인 설계, (2) 구조화된 오류 기록을 통한 지속 가능한 개선 메커니즘, (3) 저널 정책·데이터 아카이빙 의무와의 시너지 효과가 대규모 재현성 확보에 필수적이라는 세 가지 교훈을 제공한다. 향후 연구는 (가) 비정량·실험적 연구로의 확장, (나) 자동화된 방법론 설계 지원, (다) 복제 패키지 품질 검증 메커니즘 구축 등을 통해 재현성 생태계를 더욱 강화할 수 있을 것으로 기대된다.