소프트웨어 결함 예측과 테스트 위험 매트릭스를 활용한 테스트 노력 최적화

본 논문은 소프트웨어 시스템 테스트 단계에서 테스트 노력과 리스크를 정량적으로 평가하기 위한 ‘테스트 위험 매트릭스(Test Risk Matrix)’를 제안한다. 서론에서는 개발 일정 압박과 품질 보증 사이의 갈등을 언급하며, 기존의 개발 단계별 품질 관리 그리드(NASA‑NMI‑5330.1, DOD‑STD‑79‑25)가 문서와 프로세스 중심으로 시스템 테스트를 포괄하지 못한다는 점을 지적한다. ‘시스템 테스트 위험 매트릭스’ 섹션에서는 매트릭스가 테스트 강도(Intensity), 테스트 환경(Environment), 인력(Staff, Staff Weeks, Calendar Weeks), 예상 결함(Predicted Defects), 결함 제거 효율(DRE), 전달 결함(Delivered Defects) 등 7개의 요소로 구성된다고 설명한다. 여기서 강도와 환경은 표준 요소로 대부분 변하지 않으며, 예상 결함, DRE, 전달 결함은 프로젝트마다 계산해야 하는 사용자 정의 요소이다. 매트릭스는 테스트 수준을 ‘Minimal, Low, Medium, High, Extensive’ 다섯 단계로 구분하고, 각 수준에 대응하는 테스트 스코프(A~E), 강도, 환경, 인력 투입량, DRE 값을 표 형태로 제시한다. ‘테스트 스코프 매트릭스(Test Scope Matrix)’는 테스트 활동(예: Sanity, Features, Regression, Stress, Load)을 스코프 레벨별로 포함 여부를 표시한다. 스코프 A~E는 점진적으로 테스트 범위를 확대하며, 필요에 따라 보안, 성능, 신뢰성 등 추가 테스트 유형을 삽입할 수 있다. ‘추정 방법(Deriving Estimates)’에서는 결함 예측을 위한 두 가지 접근법을 제시한다. 첫 번째는 역사적 데이터에 기반한 방법으로, 조직의 과거 결함 발생률과 결함 제거 효율을 활용한다. 두 번째는 함수점(Function Point)이나 LOC 기반의 정량적 모델을 이용하는 방법으로, Jones(1991)와 Musa(1987)의 공식을 인용한다. DRE는 Card(1990)의 공식 E = N/(N+S)로 계산한다. ‘예시(Example)’에서는 100,000 LOC(≈800 FP) 규모의 신규 소프트웨어를 가정하고, 예상 결함을 800개, DRE를 10%~95% 범위로 설정한다. 매트릭스에 입력하면 각 테스트 수준별 전달 결함 수가 720, 560, 320, 120, 40으로 감소함을 보여준다. 이는 테스트 강도를 높일수록 전달 결함이 크게 감소하지만 인력·시간 투입이 증가함을 시각적으로 확인할 수 있게 한다. ‘미래 방향(Future Directions)’에서는 매트릭스의 정확성을 검증하기 위한 결함 예측 모델의 인증, 정량적 방법을 통한 테스트 절차 정렬, 소프트웨어 신뢰도 예측값을 매트릭스에 통합하는 방안 등을 제시한다. 또한 개발 단계와 테스트 단계 사이의 연계성을 강화해, 개발 단계에서 절감된 작업량이 테스트 시간 절감으로 얼마나 전환되는지를 정량화하는 연구 필요성을 강조한다. ‘결론(Conclusions)’에서는 테스트 위험 매트릭스가 대규모 소프트웨어 프로젝트에서 관리 도구로서 가치가 입증되었으며, 최소한의 사전 준비만으로도 다양한 프로젝트에 적용 가능하다고 주장한다. 매트릭스는 소프트웨어 메트릭스를 의사결정 지원 도구로 활용하는 초기 사례로서, 테스트 활동 선택에 대한 명확한 리스크·비용 정보를 제공한다.