영국 연구 평가제도와 서지계량학: 평가 방식 전환의 함의

Silverman은 영국 연구 평가제도(RAE)가 지난 두 세기 동안 영국 대학들의 연구 자금 배분과 명성 형성에 결정적인 역할을 해왔음을 서술한다. 현재 RAE는 동료심사를 기반으로 각 학과의 연구 성과를 평가하고, 그 결과에 따라 정부 연구비가 배정된다. 이 과정에서 학생 수에 비례한 교육비와는 달리, 연구비는 성과에 따라 차등 지급되므로 학과와 대학은 RAE 결과에 큰 이해관계를 가진다. 논문은 먼저 기존 RAE가 동료심사를 핵심으로 삼아 왔으며, 이는 연구의 질적 평가를 가능하게 하는 가장 신뢰받는 방법이라고 강조한다. 저자는 2008년 RAE 통계·확률·운영연구 분야 위원회 의장으로서의 경험을 바탕으로, 동료심사가 없어진다면 평가 과정 자체와 연구자 행동 양식 모두에 심각한 편향이 발생할 것이라고 주장한다. 그 다음으로 서지계량(인용 횟수, 임팩트 팩터 등) 기반 평가로의 전환이 제안되는 배경을 설명한다. 정책 입안자들은 대규모 데이터를 활용해 평가를 자동화하고 비용을 절감하려는 의도로 서지계량을 도입하려 한다. 이때 “전체 대학 수준에서는 서지계량과 동료심사 결과가 높은 상관관계를 보인다”는 근거가 제시되지만, 저자는 이를 비판한다. 대학 전체의 평균은 규모의 효과와 다양한 분야의 혼합으로 인해 상관관계가 나타날 수 있지만, 부서·개인 수준으로 내려가면 큰 왜곡이 발생한다는 것이다. Silverman은 서지계량 도입이 초래할 구체적인 부정적 영향을 네 가지 사례로 제시한다. 첫째, 고인용 논문이 반드시 높은 질을 의미하지 않으며, 단기 인용에 의존하면 장기적·기초 연구가 소외된다. 둘째, “출판 혹은 사라짐” 현상이 강화돼 연구자들이 양보다 질을 희생하고, 인용을 끌어낼 수 있는 주제에만 집중하게 된다. 셋째, 기관은 인용 점수를 높이기 위해 신규 교수 채용을 억제하거나, 인용이 높은 외부 연구자와의 협업을 과도하게 추구하는 전략적 행동을 보인다. 넷째, 분야별 인용 문화 차이로 인해 수학·통계와 같이 인용이 적은 분야가 불리해지고, 학문적 다양성이 손상된다. 또한 저자는 서지계량이 완전히 무시될 수는 없으며, 보조적인 정보로 활용될 수는 있겠지만, 이를 평가의 핵심으로 삼는 것은 위험하다고 강조한다. 특히 인용 수와 임팩트 팩터를 질적 평가의 대체물로 삼는 것은 “국가의 평균 GDP로 개인의 부를 판단한다”는 비유처럼 부적절하다고 비판한다. 결론적으로, Silverman은 서지계량이 특정 상황에서 유용한 보조 도구가 될 수는 있지만, 연구 평가의 근본은 여전히 동료심사에 기반해야 한다는 입장을 재확인한다. 그는 “서지계량은 가난한 주인공이 아니라, 연구 평가라는 큰 연극에서 조연 역할을 해야 한다”고 요약한다.