연구 평가와 인용 통계: 한계와 대안에 대한 재고

Adler, Ewing, Taylor는 “Citation Statistics” 논문에 대한 토론자들의 의견에 답변하며, 인용 지표를 연구 평가에 활용하는 현재의 흐름에 대해 심도 있는 비판과 제안을 제시한다. 서두에서 Bernard Silerman의 “개인을 하나의 숫자로 환원하는 것은 도덕적·전문적 혐오감”이라는 발언을 인용해, 연구 품질이 단순히 순위화될 수 없는 복합적 개념임을 강조한다. 이와 함께, 모든 분석은 명확히 정의된 모델 안에서 이루어져야 한다는 통계학적 원칙을 재확인한다. Peter Hall이 제안한 바와 같이, 통계학자들이 인용 데이터 자체의 구조와 정보를 탐구하는 전용 연구를 수행해야 한다는 필요성을 강조한다. 그러나 저자들은 이러한 연구가 오히려 ‘더 나은’ 인용 분석 방법을 제시하는 새로운 제안들로 이어질 위험을 경고한다. 현재 인용 데이터는 공동 저자 간의 상호 의존성, 분야별 인용 문화 차이, 시간에 따른 인용 패턴 변화 등 복잡한 요인을 포함하고 있음에도 불구하고, 기존 문헌에서는 이러한 요소들을 충분히 조명하지 못하고 있다. 특히 David Spiegelhalter와 Harvey Goldstein이 지적한 바와 같이, 개별 연구자의 인용 기록은 공동 저작 활동으로 인해 독립성을 상실한다. 이는 인용 수를 단순히 합산하거나 평균화하는 방식이 통계적 편향을 초래함을 의미한다. 저자들은 이러한 문제를 해결하기 위해, 공동 저자 네트워크를 모델링하고 인용의 상관 구조를 고려한 새로운 통계적 방법론이 필요하다고 주장한다. 다음으로, 인용 지표가 연구자 행동에 미치는 피드백 메커니즘을 논한다. 인용 기반 평가가 도입되면, 연구자는 인용을 늘리기 위한 전략—예를 들어, 자기 인용, 인용 클러스터 형성, 저널 선택의 최적화 등—을 채택하게 된다. 이는 ‘좋은 연구’를 촉진하기보다는 인용 수치를 목표로 하는 행위 변화를 야기할 가능성이 크다. 기존의 질적 평가, 즉 동료 검토는 연구자의 기여를 다각도로 평가하고, 정량적 정보와 결합해 균형 잡힌 판단을 제공한다. 반면, 순수 정량적 시스템은 피드백이 빈번하고 명확해짐에 따라, 연구자들이 단기적 인용 증가에 집중하도록 유도한다. 또한, 인용 정책이 분야별 관행과 다르게 설정될 경우, 소수 집단이 시스템을 조작해 부당한 이득을 얻을 위험을 강조한다. 예를 들어, 특정 하위 분야에서 인용 네트워크를 인위적으로 형성하거나, 인용을 강제하는 협약을 체결함으로써 자동화된 평가 시스템을 속일 수 있다. 이는 평가 체계 자체가 이해관계 충돌에 민감함을 보여준다. 마지막으로, 연구 평가와 관련된 이해관계 충돌을 논한다. 대부분의 연구자는 자신의 연구가 어떻게 평가되는가에 깊은 개인적·전문적 정체성을 부여한다. 따라서 h‑index와 같은 지표가 자신에게 유리하게 작용한다면, 이를 비판적으로 바라보기 어렵다. 일부 학자는 이러한 지표를 활용해 경력 개발이나 기업 이익을 추구하기도 한다. 저자들은 다원적 평가 문화—다양한 정량·정성 지표와 인간 행동·윤리적 고려가 결합된 체계—가 필요하다고 결론짓는다. 이는 연구 품질을 다차원적으로 이해하고, 부정 행위를 최소화하며, 장기적으로 학문 발전에 기여할 수 있는 길이다.