인용통계의 함정과 개선방향

피터 가빈 홀은 Adler, Ewing, Taylor가 발표한 “Citation Statistics”에 대한 논평을 통해 인용 통계와 임팩트 팩터가 연구 성과 평가에 사용되는 현황을 비판한다. 그는 1980년대 미국 대학에서 논문 수를 세는 방식으로 교수들의 성과를 평가하던 전통을 언급하며, 현재는 더 정교한 인용 기반 지표가 등장했지만 여전히 근본적인 문제는 해결되지 않았다고 지적한다. 첫 번째 문제는 인용 데이터의 통계적 특성이다. 인용 횟수는 분야마다 크게 차이가 나며, 특히 수학·통계학에서는 인용이 늦게 발생하고 장기간에 걸쳐 누적된다. 이러한 ‘heavy‑tailed’ 특성은 평균이나 임팩트 팩터와 같은 요약 통계가 실제 영향력을 과대·과소 평가하게 만든다. 예를 들어, 몇몇 고인용 논문이 평균을 끌어올리면서 대부분의 논문은 평균 이하의 인용을 받는다. 따라서 중앙값, 백분위수, 혹은 분포 전체를 모델링하는 베이지안 접근법 등이 필요하지만, 현재는 이러한 정교한 도구가 부족한 상황이다. 두 번째 문제는 인용 지표를 정책적·재정적 결정에 직접 활용한다는 점이다. 호주 연구청(ARC)의 저널 등급 매김 사례를 상세히 설명한다. 정부는 5%·15%·30%·50%의 네 단계로 저널을 구분하려 했으며, 이를 위해 5년 임팩트 팩터를 사용했다. 그러나 확률·통계 분야에서는 저널이 낮은 등급에 배치되는 등, 분야 특성을 반영하지 못한 결과가 나타났다. 특히 ‘Statistics in Medicine’이 ‘The Annals of Probability’보다 높은 임팩트 팩터를 받아 상위 등급에 올랐고, 이는 학계 내부에서 큰 논쟁을 일으켰다. 이런 사례는 인용 지표가 단순히 수치적 순위만을 제공하고, 학문적 가치를 포괄적으로 평가하지 못한다는 점을 보여준다. 세 번째 문제는 장기적 연구 가치를 간과한다는 점이다. 통계·수학 분야에서는 연구 결과가 10~20년 후에야 진정한 영향을 발휘하는 경우가 많다. 그러나 현재 대부분의 평가 시스템은 2~3년의 짧은 창을 사용한다. 이는 연구자들이 단기 성과에 집중하게 만들고, 장기적이고 근본적인 연구를 억제한다. 홀은 이러한 문제들을 해결하기 위해 다음과 같은 제안을 한다. 첫째, 인용 데이터 자체의 구조와 통계적 특성을 체계적으로 조사하는 전용 연구 프로젝트를 수행해야 한다. 이를 위해 데이터 제공업체(Thomson Reuters 등)와 협력하고, 장기 인용 창을 고려한 모델을 개발해야 한다. 둘째, 인용 지표를 보완할 정성적 평가와 동료 평가 체계를 동시에 도입해야 한다. 셋째, 정책 입안자는 인용 기반 평가에 과도하게 의존하지 말고, 다양한 성과 지표(연구 기여도, 교육 활동, 사회적 영향 등)를 종합적으로 고려해야 한다. 마지막으로, 인용 통계가 젊은 연구자들에게 과도한 압박을 가해 통계학 분야를 기피하게 만들 위험성을 경고한다. 인용 수치에만 의존하는 평가 체계는 창의적이고 위험을 감수하는 연구를 억제하고, 결국 학문의 발전을 저해한다. 따라서 학계와 정부는 인용 데이터의 한계를 명확히 인식하고, 보다 공정하고 포괄적인 평가 시스템을 구축하기 위한 투자를 확대해야 한다는 것이 논문의 핵심 결론이다.