신경망 기반 프로그램 분석기 테스트를 위한 변환 기반 방법론

본 논문은 신경망 기반 프로그램 분석기, 즉 프로그램을 입력으로 받아 버그 예측, 메서드 명 추론 등 다양한 소프트웨어 공학 작업을 수행하는 모델들의 신뢰성을 평가하기 위한 새로운 테스트 프레임워크를 제안한다. 기존 연구에서는 이미지나 자연어 처리와 같은 분야에서 변환 기반 테스트가 활발히 진행됐지만, 소스 코드에 적용되는 신경 모델에 대한 체계적인 검증은 아직 부족한 실정이다. 이를 보완하고자 저자들은 의미 보존 변환(semantic‑preserving transformation)을 중심으로 한 메타테스트 접근법을 설계하였다. **1. 배경 및 동기** 소프트웨어 공학 분야에서는 Tree‑LSTM, Gemini, GGNN, code2vec, code2seq 등 다양한 신경 모델이 제안되어 왔다. 이러한 모델들은 기존 정적·동적 분석 도구와 달리 데이터‑드리븐 방식으로 프로그램 특성을 학습한다. 그러나 학습 데이터에 포함되지 않은 코드 변형에 대해 모델이 어떻게 반응하는지는 충분히 검증되지 않았다. 특히, 변형이 의미적으로는 동일하지만 구문적으로는 다른 프로그램을 모델에 제공했을 때 예측이 일관되지 않으면, 해당 모델을 기반으로 하는 상위 분석(예: 자동 리팩터링, 보안 취약점 탐지)의 신뢰성이 크게 저하된다. **2. 제안 방법론** 프레임워크는 크게 두 단계로 구성된다. - **(1) 변환 기반 합성 테스트 프로그램 생성**: 원본 데이터셋의 각 프로그램에 대해 의미 보존 변환을 적용한다. 현재 구현된 변환은 변수명 교체, 불리언 값 스와핑, 루프 교환(while↔for), 스위치‑if 변환, 문장 순서 재배열이다. 모든 변환은 컴파일러 수준에서 의미가 동일함을 보장하도록 설계되었으며, 변환 전후 프로그램은 동일한 입력‑출력 동작을 수행한다. - **(2) 예측 비교 및 메타오라클 정의**: 원본 프로그램과 변환된 프로그램을 동일한 신경 모델에 입력하고, 모델이 출력한 라벨(예: 메서드 이름)과 예측 확률 분포를 비교한다. 변환 전후 예측이 ‘동일하게 유지’되어야 한다는 메타변형 관계를 오라클로 설정한다. 현재는 라벨 일치 여부를 기준으로 삼지만, 향후에는 상위‑k 일치율, 확률 분포 유사도(KL divergence) 등 정량적 지표를 도입할 계획이다. **3. 초기 실험** 코드2벡(code2vec) 모델을 대상으로 간단한 루프 구조 변환 실험을 수행하였다. 동일한 ‘isPrime’ 메서드 구현을 for‑loop과 while‑loop 두 형태로 작성했을 때, 코드2벡은 for‑loop 버전은 정상적으로 ‘isPrime’ 라벨을 상위‑5에 포함했지만, while‑loop 버전은 ‘skip’ 라벨을 예측하며 실패하였다. 이는 모델이 구문적 패턴(특히 루프 형태)에 과도하게 의존하고, 의미적 동일성을 인식하지 못함을 보여준다. **4. 향후 계획 및 과제** - **변환 다양화**: 현재는 기본적인 구문 변환에 국한되지만, 함수 인라인/아웃라인, 조건식 단순화, 코드 재구성 등 보다 복잡한 변환을 도입할 예정이다. - **변환 적용 위치 선정**: 데이터 흐름 분석, 제어 흐름 그래프(CFG) 기반 heuristics 등을 활용해 변환이 모델에 미치는 영향을 극대화할 수 있는 지점을 자동으로 탐색한다. - **다양한 모델 평가**: code2vec 외에 GGNN, LIGER, Dynamic Neural Program Embedding 등 그래프 기반 및 실행 정보 기반 모델에 동일 변환을 적용해 비교 분석한다. - **오라클 정교화**: 라벨 일치 외에 예측 확률 분포, 상위‑k 일치율, 모델 내부 표현(embedding) 유사도 등을 종합적으로 고려한 메타오라클을 설계한다. - **대규모 벤치마크 구축**: Java 코드베이스(코드2벡 데이터셋)와 C# 코드베이스(GGNN 데이터셋)를 활용해 변환 기반 테스트를 대규모로 수행하고, 변환별 취약점 패턴을 정량화한다. **5. 관련 연구와 차별점** 이미 이미지·자율주행 분야에서는 DeepTest, DeepRoad 등 변환 기반 테스트가 활발히 연구되었으며, 코드 임베딩 분야에서도 COSET이 변환을 이용해 모델 안정성을 평가했다. 그러나 이들 연구는 주로 이미지 변환이나 간단한 코드 토큰 변형에 머물렀으며, 프로그램 의미 보존을 보장하는 구조적 변환을 체계적으로 적용한 사례는 드물다. 본 논문은 이러한 공백을 메우며, 의미 보존 변환을 통한 메타테스트를 신경 프로그램 분석기에 적용한다는 점에서 차별성을 가진다. **6. 결론** 변환 기반 메타테스트는 신경망 기반 프로그램 분석기의 견고성을 검증하는 강력한 도구가 될 수 있다. 초기 실험에서 드러난 모델의 취약성은 현재 신경 프로그램 분석기가 구문적 패턴에 과도하게 의존하고 있음을 시사한다. 향후 변환 종류와 적용 전략을 확장하고, 다양한 모델과 대규모 데이터셋에 적용함으로써, 신경 프로그램 분석기의 실무 적용에 필요한 신뢰성 보증 체계를 구축할 수 있을 것으로 기대된다.