전문가 평가와 가장 잘 맞는 정규화 인용지표는 무엇인가

본 논문은 평가형 계량학( evaluative bibliometrics )에서 가장 핵심적인 문제 중 하나인 “인용횟수는 학문 분야와 발표 연도에 따라 크게 달라지므로, 이를 어떻게 정규화하느냐”에 대한 실증적 검증을 수행한다. 1980년대 중반부터 시작된 정규화 연구는 현재까지 피인용측(cited‑side)과 인용측(citing‑side) 두 가지 큰 흐름으로 나뉘며, 각각 다양한 지표가 제안되어 왔다. 저자들은 이 두 흐름을 동시에 고려한 포괄적 비교를 목표로, 2007‑2010년 사이에 Web of Science에 등재된 5만 건 이상의 논문을 표본으로 삼았다. 피인용측 정규화 지표로는 (1) 평균 정규화 인용점수(MNCS) – 관측 인용을 동일 분야·연도 평균 인용으로 나눈 비율, (2) 백분위 기반 지표 – InCites와 Hazen 두 가지 계산법을 적용, (3) P100·P100’ – 고유 인용수 순위에 기반한 0‑100 스케일 지표를 사용하였다. 이들 지표는 모두 논문이 속한 분야와 연도에 따라 기대 인용을 정의하고, 실제 인용과 비교함으로써 ‘정규화된’ 영향을 산출한다. 인용측 정규화 지표는 인용 자체에 가중치를 부여하는 방식으로, 각 인용이 발생한 논문의 참고문헌 수 혹은 해당 저널의 평균 참고문헌 수를 기준으로 가중치를 계산한다. 구체적으로 Waltman과 van Eck(2013)가 제안한 SNCS1, SNCS2, SNCS3 세 가지 변형을 적용했으며, 이는 ‘출처 정규화(source normalization)’ 혹은 ‘분수 인용 가중치(fractional counting)’라고도 불린다. 전문가 평가는 F1000Prime 시스템을 통해 얻었다. F1000Prime은 생물의학 분야 논문에 대해 전문가가 1‑3점(‘추천’, ‘좋음’, ‘매우 좋음’)을 부여하는 사후 검토 플랫폼이다. 논문별 F1000 점수와 위에서 언급한 정규화 지표들을 매칭시켜, 피어슨·스피어만 상관분석을 수행하였다. 분석 결과, 모든 정규화 지표와 F1000 평점 간의 상관계수는 0.30~0.35 정도로, 비정규화 인용횟수(times cited)와 거의 동일하거나 약간 높은 수준을 보였다. 특히, 피인용측 지표(MNCS, Hazen, P100, P100’)와 인용측 지표(SNCS1‑3) 사이에 통계적으로 유의미한 차이는 없었으며, 분야별(의학·보건, 공학, 사회과학 등) 차이 역시 최소화되었다. 이는 현재 제안된 정규화 방법들이 학문·연도 차이를 충분히 보정하고 있음을 의미한다. 다만, 연구의 한계도 명시된다. 첫째, F1000Prime 데이터가 생물의학 분야에 국한돼 있어, 인문·사회과학 등 다른 분야에서 동일한 결과가 나타날지는 추가 검증이 필요하다. 둘째, P100·P100’은 기존 연구에서 역설적 현상(다른 논문의 인용 증가가 해당 논문의 점수를 상승시키는 현상)을 보였지만, 본 데이터에서는 그 영향이 미미했다는 점이 관찰되었다. 셋째, 정규화 지표 선택 시 구현 난이도와 해석 용이성을 고려해야 한다는 실용적 조언이 제시된다. 결론적으로, 피인용측과 인용측 정규화 지표 모두 전문가 평점과 유사한 수준의 타당성을 보이며, 특정 지표가 현저히 우수하다고 말하기는 어렵다. 따라서 연구자와 정책 입안자는 데이터 가용성, 계산 복잡성, 그리고 연구 목적에 따라 적절한 정규화 방식을 선택하면 된다. 향후 다학제 데이터와 다양한 전문가 평가 체계를 활용한 추가 연구가 필요하다.