디자인 토론 탐지를 위한 트랜스포머 모델의 교차 도메인 성능 분석

**1. 연구 배경 및 목적** 소프트웨어 설계 결정은 시스템의 구조와 유지보수 비용에 직접적인 영향을 미치며, 이러한 결정 과정은 Stack Overflow, GitHub 풀 리퀘스트, 이슈, 커밋 메시지 등 다양한 개발자 커뮤니케이션 채널에 자연어 형태로 기록된다. 기존 연구는 주로 단일 도메인(예: GitHub)에서 전통적인 머신러닝 분류기를 이용해 설계 토론을 탐지했지만, 라벨링 데이터가 부족하고 도메인 간 일반화가 어려워 실무 적용에 한계가 있었다. Mahadi et al. (2022)는 Stack Overflow 데이터를 활용해 교차 도메인 분류를 시도했지만, 전통 모델은 성능 저하를 보였고, 데이터 증강(유사어 삽입)만이 일부 개선을 가져왔다. 본 논문은 이러한 한계를 극복하고자 최신 트랜스포머 기반 모델(BERT, RoBERTa, XLNet, LaMini‑Flan‑T5‑77M, ChatGPT‑4o‑mini)을 사용해 **교차 도메인 설계 토론 탐지**를 평가한다. 특히 (i) 대형 사전학습 모델이 도메인 차이를 얼마나 메워줄 수 있는가, (ii) 경량 모델이 실용적인 대안이 될 수 있는가, (iii) 기존에 제안된 유사어 삽입 증강이 트랜스포머에 적용될 때 효과가 있는가를 검증한다. **2. 데이터셋 및 전처리** - **학습 데이터**: Mahadi et al. (2022)에서 수집한 Stack Overflow 질문·답변·댓글 115,000개(라벨: 설계 vs 비설계). 라벨은 사용자 태그 기반 자동 라벨링으로, 설계 관련 태그가 있으면 ‘설계’, 없으면 ‘비설계’로 분류. - **테스트 데이터**: 세 개의 기존 연구에서 제공한 GitHub 기반 데이터셋 - Brunet et al. (2014): 커밋, 이슈, 풀 리퀘스트 1,000개(디자인 246, 비디자인 754) - Viviani et al. (2019): 풀 리퀘스트 8,615개(디자인 6,250, 비디자인 2,365) - da Silva Maldonado et al. (2017): 코드 코멘트 3,782개(디자인 2,599, 비디자인 1,183) 전처리 단계에서는 HTML 태그 제거, 코드 스니펫 마스킹, 토큰 길이 512 이하로 트렁케이션, 그리고 각 모델에 맞는 토크나이저(BERT‑WordPiece, RoBERTa‑ByteLevel, XLNet‑SentencePiece 등)를 적용하였다. **3. 모델 및 실험 설계** - **디스크리미네이티브 모델**: BERT‑base (12층, 110M 파라미터), RoBERTa‑base, XLNet‑base. 각 모델을 3 epoch, 배치 32, 학습률 2e‑5로 fine‑tune. - **생성형/인스트럭션 모델**: LaMini‑Flan‑T5‑77M (77M 파라미터, 경량), ChatGPT‑4o‑mini (OpenAI API, 7B 파라미터 수준). 이들 모델은 “Given the following text, classify whether it is a design discussion.” 형태의 프롬프트를 사용해 zero‑shot/few‑shot 방식으로 학습 없이 바로 추론하거나, 소량의 학습 데이터를 이용해 추가 fine‑tune(LoRA)하였다. - **데이터 증강**: 유사어 삽입은 WordNet 기반으로 각 문장의 10% 토큰을 의미가 유사한 단어로 교체하는 방식이며, 원본과 증강 데이터를 합쳐 학습하였다. 성능 평가는 정확도, 정밀도, 재현율, F1, ROC‑AUC를 모두 보고한다. 교차 도메인 특성을 강조하기 위해 각 테스트 셋에 대해 개별 결과와 전체 평균을 제시한다. **4. 주요 결과** | 모델 | 재현율 (Avg) | 정밀도 (Avg) | F1 (Avg) | ROC‑AUC (Avg) | |------|--------------|--------------|----------|----------------| | BERT | 0.81 | 0.65 | 0.72 | 0.84 | | RoBERTa | 0.79 | 0.66 | 0.72 | 0.85 | | XLNet | 0.55 | 0.81 | 0.66 | 0.78 | | LaMini‑Flan‑T5‑77M | 0.62 | 0.73 | 0.67 | 0.80 | | ChatGPT‑4o‑mini | 0.86 | 0.70 | 0.77 | 0.88 | - **재현율** 측면에서 ChatGPT‑4o‑mini가 가장 우수했으며, BERT·RoBERTa도 0.8 수준으로 높은 탐지율을 보였다. - **정밀도**는 XLNet이 0.81로 가장 높았지만, 재현율이 낮아 전체적인 균형이 부족했다. - **경량 모델**인 LaMini‑Flan‑T5‑77M는 파라미터가 적음에도 평균 0.73의 정밀도를 유지했으나, 재현율이 0.62에 머물러 전체 F1가 0.67에 그쳤다. - **유사어 삽입** 증강은 모든 모델에서 성능 변동이 미미했으며, 오히려 일부 경우 정밀도가 감소하는 부작용이 있었다. **5. 논의 및 시사점** - **재현율 중심 활용**: 설계 토론을 놓치지 않는 것이 중요한 초기 탐색 단계에서는 ChatGPT‑4o‑mini와 같은 대형 생성형 모델이 가장 적합하다. - **자원 제약 상황**: 라이트 모델(LaMini‑Flan‑T5‑77M)은 GPU 메모리와 추론 시간에서 큰 장점을 제공하므로, 대규모 로그 분석 파이프라인에 적합하지만, 정밀도·재현율 균형을 위해 후처리 규칙을 추가하는 것이 필요하다. - **도메인 적응 필요성**: 교차 도메인에서 성능 저하가 여전히 존재하므로, 도메인 어댑터, 매칭 레이어, 혹은 멀티‑도메인 공동 학습(Multi‑Domain Joint Training)과 같은 기술을 도입하면 향후 개선 가능성이 크다. - **데이터 증강 재고**: 사전학습된 트랜스포머는 풍부한 어휘 정보를 이미 내재하고 있어, 단순 유사어 교체는 오히려 노이즈를 증가시킨다. 보다 의미론적 구조를 보존하는 paraphrase‑based 증강이나, 샘플링 기반의 도메인 특화 데이터 생성이 필요하다. **6. 제한점 및 위협** - **라벨링 품질**: Stack Overflow 라벨은 사용자 태그에 의존해 자동 생성되었으며, 태그가 설계와 정확히 매핑되지 않을 가능성이 있다. - **도메인 편향**: 테스트 데이터는 모두 오픈소스 프로젝트에 한정돼 기업 내부 레포지토리와는 차이가 있을 수 있다. - **하이퍼파라미터 제한**: 동일한 학습 설정을 모든 모델에 적용했으며, 최적화된 하이퍼파라미터 탐색을 수행하지 않아 모델별 최적 성능을 완전히 발휘하지 못했을 가능성이 있다. **7. 결론** 본 연구는 최신 트랜스포머 모델이 전통적인 머신러닝보다 교차 도메인 설계 토론 탐지에서 전반적으로 우수한 성능을 보이며, 특히 대형 생성형 모델이 높은 재현율을 제공한다는 점을 입증한다. 라이트 모델도 자원 제한 상황에서 실용적이지만, 정밀·재현 균형이 다소 떨어진다. 유사어 삽입 기반 데이터 증강은 기대 이하의 효과를 보였으며, 향후 연구에서는 도메인 적응 기법과 의미론적 증강 방법을 탐구해야 한다. 이러한 결과는 자동 설계 토론 추출 도구 개발에 실질적인 가이드를 제공하며, 설계 의사결정 추적·문서화·지식 전이 등 다양한 소프트웨어 엔지니어링 활동에 기여할 수 있다.