백분위 순위 점수는 상대 성과의 일관된 지표인가

이 논문은 연구 평가에서 널리 사용되는 백분위 순위 점수와 I³(Integrated Impact Indicator) 지표가 각각 상대적·절대적 성과를 측정하는 데 일관된(congruous) 특성을 갖는지를 이론적으로 검증한다. 먼저, 저자는 ‘일관성(congruity)’이라는 개념을 두 단계로 정의한다. 평균 성과를 나타내는 지표 f에 대해, 두 문서 집합 A와 B가 동일한 원소 수를 가질 때, 동일한 문서를 각각 추가한 A′, B′에 대해 f(A)>f(B) ⇔ f(A′)>f(B′)이면 ‘엄격히 일관(strictly congruous)’이라 하고, f(A)>f(B) ⇒ f(A′)≥f(B′)이면 ‘일관(congruous)’이라 명명한다. 이는 기존의 ‘일관성(consistency)’ 정의와 차별화되며, 특히 추가되는 문서가 두 집합의 공통 참조 집합에 속해야 한다는 조건을 도입해 불필요한 변동을 방지한다. 다음으로 백분위 순위 점수(R)와 I³ 점수(I₃)의 수식적 정의를 제시한다. 백분위 순위 점수는 각 문서가 속한 백분위 클래스 k에 부여된 점수 x_k를 가중치로 하여 평균을 취한 형태이다: R(A)=∑_{k=1}^{K} x_k·n_A(k) / N 여기서 n_A(k)는 집합 A에서 클래스 k에 속한 문서 수, N은 A의 전체 문서 수이다. 반면 I₃ 점수는 평균을 취하지 않고 단순히 가중치를 합산한다: I₃(A)=∑_{k=1}^{K} x_k·n_A(k) 두 정의 모두 참조 집합 S(또는 S와 T)에서 파생된 클래스와 점수에 의존한다. 백분위 순위 점수가 ‘엄격히 일관’함을 증명하기 위해, A와 B가 같은 원소 수를 가질 때 R(A)와 R(B)를 위 식으로 표현한다. 동일한 문서가 클래스 j에 추가되면 두 식에 동일한 x_j/N이 더해지므로 부등식의 방향이 변하지 않는다. 따라서 R은 평균 성과에 대해 ‘엄격히 일관’한다. 절대 성과 지표인 I₃는 평균을 사용하지 않으므로, A와 B의 원소 수가 달라도 동일한 문서가 추가될 때 I₃(A)와 I₃(B)에 동일한 x_j가 더해진다. 이는 부등식의 순서를 그대로 유지하므로 I₃는 절대 성과에 대해 ‘엄격히 일관’함을 갖는다. 논문은 백분위 정의에 대한 기존 접근법과 저자가 제안하는 정의 사이의 차이를 구체적인 예시와 표를 통해 비교한다. Leydesdorff 등(2011)의 정의는 “#≤” 대신 “<#”를 사용해 최고 인용 논문이 100점이 되지 않을 위험이 있다. 이를 보정하기 위해 임의의 0.9를 더하는 등 부조정이 필요하지만, 저자는 Beirlant et al.(2005)의 정의를 채택해 오른쪽 폐쇄 구간을 사용함으로써 최고값이 항상 최고 점수를 받도록 설계한다. 또한, 백분위 점수가 ‘상대 일관성’에 위배될 수 있음을 보여주는 반례를 제시한다. 두 집합 A와 B에 동일한 무인용 문서를 추가했을 때, 참조 집합 자체가 변하면 클래스 구간이 이동하고, 결과적으로 B의 점수가 A보다 높아지는 상황이 발생한다. 이를 해결하기 위해 정의 1a에서는 추가 문서가 두 집합의 공통 참조 집합에 이미 포함된 경우에만 일관성을 논하도록 제한한다. 마지막으로, HCP(Highly Cited Publications) 지표를 I₃의 특수 경우로 해석한다. 두 클래스(고인용 vs 비고인용)만을 두고 가중치를 1과 0으로 설정하면 I₃ 식이 바로 HCP 카운트와 동일해진다. 결론적으로, 저자는 백분위 순위 점수가 상대 성과에 대해 ‘엄격히 일관’하고, I₃ 지표가 절대 성과에 대해 ‘엄격히 일관’함을 수학적으로 증명한다. 정의의 미세 차이가 실제 평가 결과에 미치는 영향을 명확히 제시함으로써, 평균 기반 지표의 한계를 보완하고 보다 견고한 성과 측정 체계를 구축하는 데 기여한다.