연구자 평가를 위한 인용 백분위 기반 방법 제안

본 논문은 자연·생명과학 분야 개별 연구자를 평가할 때, 논문 수와 인용 횟수만을 이용하는 기존 지표의 한계를 지적하고, 인용 백분위(percentile) 기반 다중 지표 체계를 제시한다. 데이터 선정, 인용 창(window) 설정, 자기인용 처리, 데이터베이스 선택 및 정규화 방법 등을 구체적으로 제안하며, 세 명의 가상의 연구자를 예시로 적용 과정을 보여준다.

저자: Lutz Bornmann, Werner Marx

연구자 평가를 위한 인용 백분위 기반 방법 제안
본 논문은 자연과학·생명과학 분야에서 개별 연구자를 의미 있게 평가하기 위한 구체적인 방법론을 제시한다. 기존에 널리 사용된 h‑index는 생산성과 영향력을 한 숫자로 요약하지만, 연구 성과의 다차원적 특성을 충분히 반영하지 못한다는 비판을 받고 있다. 저자들은 이러한 한계를 극복하기 위해 인용 백분위(percentile) 기반의 다중 지표 체계를 제안한다. 첫 번째 단계는 평가에 사용할 데이터 선정이다. 연구자는 최소 50편 이상의 논문을 확보해야 하며, 가능한 한 전체 경력 논문을 포함해 표본 편향을 최소화한다. 이는 통계적 신뢰성을 확보하고, 경력 초기와 후기의 성과 차이를 포괄적으로 반영하기 위함이다. 두 번째 단계는 인용 분석이다. 최신 1~2년의 논문은 아직 인용이 충분히 축적되지 않았으므로 평가에서 제외한다. 분야별 인용 피크 시점을 고려해 3~5년(또는 최소 2년)의 인용 창을 설정한다. 이는 자연과학·공학 분야에서 인용이 두 번째 해에 최고조에 달한다는 기존 연구 결과와 일치한다. 자기인용에 대한 처리는 두 가지 관점을 제시한다. 자기인용은 연구 연속성을 보여주는 정상적인 현상이므로 기본적으로 포함하되, 전체 인용 중 30%를 초과하면 과도한 자기인용으로 판단해 별도 보고한다. 이는 노르웨이 연구에서 36%가 자기인용이라는 통계와 저자들의 실무 경험을 종합한 기준이다. 데이터베이스 선택에서는 Web of Science와 Scopus를 기본으로 하며, 분야 특화 데이터베이스를 보조적으로 활용한다. Google Scholar는 정확도와 정규화 문제로 사용을 권장하지 않는다. 이름 동명 문제를 해결하기 위해 연구자 고유 식별자(ResearcherID, ORCID)와 개인 출판 목록을 교차 검증한다. 정규화 과정에서는 Thomson Reuters의 National Citation Report와 InCites에서 제공하는 분야·연도별 평균 인용률을 이용해 상대 인용률을 계산한다. 이를 통해 각 논문의 인용이 해당 분야 평균 대비 어느 정도인지 백분위로 표현한다. 제안된 평가 지표는 다음과 같다. (1) 총 논문 수 – 생산성 측정, (2) 평균 인용 백분위 – 전반적 영향력, (3) 상위 10% 논문 비율 – 고품질 연구 비중, (4) 자기인용 비율 – 자기참조 정도, (5) 연도별 인용 추이 – 경력 단계별 영향력 변화. 각 지표는 서로 높은 상관관계를 피하도록 설계돼, 다차원적 성과를 종합적으로 파악한다. 논문은 세 명의 가상의 연구자(Person 1, 2, 3)를 사례로 들어, 제안된 방법을 적용한 결과를 표와 그래프로 제시한다. 이를 통해 연령·경력 차이에 따른 지표 변동을 시각화하고, 단일 h‑index가 놓칠 수 있는 세부적인 차이를 강조한다. 결론적으로, 저자들은 인용 백분위 기반 다중 지표 체계가 연구자 평가의 객관성과 공정성을 높이며, 정책적·기관적 의사결정에 보다 신뢰할 수 있는 근거를 제공한다고 주장한다. 또한, 데이터 품질 관리와 적절한 인용 창 설정, 자기인용 검토 등 실무적 고려사항을 상세히 제시해 향후 평가 시스템 구축에 실질적인 가이드라인을 제공한다.

원본 논문

고화질 논문을 불러오는 중입니다...

댓글 및 학술 토론

Loading comments...

의견 남기기