스프레드시트 오류 탐지·수정 행동 분석: 전문가와 학생의 비교 연구

본 연구는 13명의 산업 현장 전문가와 34명의 회계·재무 전공 학생을 대상으로, VBA 기반 셀 활동 기록 도구를 이용해 스프레드시트 디버깅 과정을 실시간으로 추적하였다. 전문가가 전체 오류의 72%를, 학생이 58%를 수정했으며, 특히 규칙 위반 및 수식 오류에서 큰 차이를 보였다. 검사한 셀 비율과 오류 수정 성과 사이에 강한 양의 상관관계가 발견되었다.

저자: Brian Bishop, Kevin McDaid

스프레드시트 오류 탐지·수정 행동 분석: 전문가와 학생의 비교 연구
본 논문은 스프레드시트 오류 탐지와 수정 과정에서 최종 사용자가 실제로 어떤 행동을 보이는지를 실증적으로 조사한다. 서론에서는 스프레드시트가 기업 의사결정에 광범위하게 활용됨에도 불구하고, 오류 발생률이 높고 그 영향이 심각함을 지적한다. 기존 연구는 주로 오류 예방을 위한 설계·테스트 기법에 초점을 맞추었으며, 사용자의 디버깅 행동을 상세히 다룬 연구는 거의 없었다. 특히 Chen & Chan(2000)의 소규모 비전문가 대상 연구가 유일했지만, 비디오·생각소리내기 방식으로만 제한적인 데이터를 제공했다. 이에 저자들은 두 집단(산업 현장 전문가 13명, 회계·재무 전공 학생 34명)을 대상으로 동일한 스프레드시트 모델을 제공하고, VBA 기반 셀 활동 추적 플러그인을 통해 모든 셀 선택·편집·복사·붙여넣기 동작을 밀리초 단위로 기록했다. 스프레드시트는 ‘Payroll’, ‘Office Expenses’, ‘Projections’ 세 워크시트로 구성되었으며, 각각 데이터 입력, 규칙 위반, 수식 오류 등 다양한 오류 유형을 포함한다. 오류 분류는 Howe & Simpkin(2006)의 체계를 차용해 총 42개의 오류를 네 가지 카테고리(클리리컬·규칙 위반·데이터 입력·수식)로 나누었다. 실험 절차는 참가자에게 오류가 포함된 파일과 작업 지침을 제공하고, 오류를 발견하면 즉시 수정하도록 지시하였다. 전문가에게는 시간 제한을 두지 않았으며 평균 28분, 학생에게는 60분 수업 시간 내에 수행하도록 하였다. 작업 중 셀 활동 로그는 자동으로 수집되었으며, 이후 각 참가자의 오류 수정율과 검사한 셀 비율을 산출하였다. 주요 결과는 다음과 같다. 전체 오류 수정율은 전문가 72%, 학생 58%로 전문가가 유의하게 우수했다. 특히 규칙 위반 오류(전문가 85% vs 학생 65%)와 수식 오류(전문가 79% vs 학생 63%)에서 차이가 크게 나타났다. 클리리컬 오류는 두 집단 모두 낮은 탐지율(전문가 17%, 학생 11%)을 보였으며, 이는 참가자들이 의미 없는 오탈자에 관심을 두지 않았기 때문이다. Howe & Simpkin(2006)의 대규모 학생 실험과 비교했을 때, 본 연구의 전문가 그룹은 동일 오류 유형에서 25%p 정도 높은 성과를 기록했다. 이는 전문가가 스프레드시트 구조와 수식에 대한 이해도가 실제 디버깅 성과에 직접적인 영향을 미친다는 점을 뒷받침한다. 또한 셀 검사 비율과 오류 수정 수 사이에 강한 양의 상관관계가 발견되었다. 즉, 더 많은 셀을 검토할수록 오류를 더 많이 찾아 수정한다는 것이 데이터로 입증되었다. 이는 디버깅 과정에서 ‘광범위한 셀 탐색’이 핵심 전략임을 시사한다. 그룹 코드 검토 효과를 추정하기 위해, 모든 학생을 3인 그룹으로 조합해 각 그룹이 발견한 오류를 풀링하는 시뮬레이션을 수행했다. 그 결과 평균 오류 수정율이 81%에 도달했으며, 이는 Panko(1999)의 실제 그룹 검사 결과(83%)와 일치한다. 즉, 개인 작업만으로는 놓치는 오류를 그룹 내 정보 공유를 통해 보완할 수 있음을 보여준다. 논의에서는 스프레드시트 디버깅이 전통적인 소프트웨어 개발의 정적 검증, 동적 검증, 디버깅을 하나로 통합한 특수한 프로세스임을 강조한다. 따라서 기존 V&V 기법을 그대로 적용하기보다는, 셀 수준의 탐색 행동을 지원하는 도구(예: 자동 셀 추적, 시각적 히트맵)와 교육이 필요하다고 제언한다. 또한, 전문가와 학생 간의 성과 차이가 눈에 띄게 나타난 점은 스프레드시트 전문 교육의 필요성을 부각시킨다. 향후 연구 방향으로는 (1) 보다 복잡하고 도메인 지식이 요구되는 스프레드시트 모델을 사용해 행동 차이를 검증, (2) 눈 움직임 추적(Eye‑tracking)과 결합해 시각적 탐색 패턴을 정량화, (3) 실제 업무 환경에서 장기적으로 도구를 사용한 데이터를 수집해 행동 모델을 정교화, (4) 그룹 기반 코드 검토 프로세스를 실제 조직에 적용해 효율성을 평가하는 실험을 제시한다.

원본 논문

고화질 논문을 불러오는 중입니다...

댓글 및 학술 토론

Loading comments...

의견 남기기