Title: A Rejoinder on Energy versus Impact Indicators
ArXiv ID: 1108.5845
발행일: 2011-08-31
저자: Loet Leydesdorff, Tobias Opthof
📝 초록 (Abstract)
:
이 논문은 Prathap의 저널 인용 점수(JCS)와 분야 인용 점수(FCS)를 평균으로 사용하는 방식과 달리, 통합 영향 지표(I3)를 개발했습니다. I3는 인용의 두 히트(citations)의 영향을 측정하는데, 이때 평균이 아닌 합을 사용합니다. 또한, 인용 곡선의 품질은 백분위 기준으로 정규화되어야 하며, 이를 통해 다양한 평가 방식에 따라 집계할 수 있습니다. 논문은 I3를 공식화하고, 이 방법이 기존의 평균률과 평균의 비율에 대한 논의에서 제기된 문제점을 해결하며, 인용 분석의 신뢰성을 높일 수 있음을 주장합니다.
💡 논문 핵심 해설 (Deep Analysis)
:
본 논문은 과학 연구의 영향력을 측정하는 새로운 지표인 통합 영향 지표(I3)를 제안하고 있습니다. 이는 기존의 저널 인용 점수(JCS)와 분야 인용 점수(FCS)를 평균으로 사용하는 방식과 달리, 두 히트(citations)의 영향을 합으로 계산합니다. 이러한 접근법은 충돌 시 모멘텀의 벡터 합과 유사한 개념을 적용하며, 인용 분석에서 스칼라 합을 사용하는 것이 타당하다는 주장을 합니다.
논문에서는 I3를 개발하면서 Prathap (2011a)의 엔트로피 개념이 확률적 엔트로피가 아닌 열역학적 엔트로피라는 점을 지적합니다. 이는 인용 분석에서 평균 대신 합을 사용하는 것이 더 적합하다는 논거를 제공하며, 이를 통해 기존의 평균률과 평균의 비율에 대한 논쟁을 해결하려고 합니다.
I3의 주요 특징 중 하나는 인용 곡선의 품질을 백분위 기준으로 정규화하는 것입니다. 이 방법은 Bornmann 및 Mutz (2011)가 제안한 6개의 백분위 순위 범위를 사용하는 것보다 더 일반적입니다. 논문에서는 연속 변수인 백분위 수로 정규화하고, 이후 다양한 평가 방식을 통해 조직할 수 있음을 강조합니다.
I3는 다양한 집계 방법에 적용될 수 있으며, 이는 백분위 기준으로 정규화된 후 영향이 논문 수준에서 결정되기 때문입니다. 이를 통해 저널, 국가, 연구소, 도시 등 다양한 분석 단위를 비교할 수 있습니다.
논문은 또한 인용 분석의 신뢰성에 대한 의문을 제기합니다. 특히 Prathap의 EEE와 새로운 “왕관 지표” MNCS는 편향된 분포를 기반으로 하므로 신뢰성이 떨어진다는 점을 강조합니다. 이는 Leydesdorff 외 (2011)가 제시한 예에서 볼 수 있으며, 여기서 1순위 연구자는 5순위로 하락하고 6순위 연구자는 최고 저자로 부상할 수 있음을 보여줍니다.
논문은 참조 집합의 하위 집합을 테스트하는 방법을 제안하며, 각 하위 집합이 참조 집합에 대한 백분율 영향을 기여함으로써 정규화와 기대값 명시를 가능하게 합니다. 이를 통해 양분위수와 백분위 순위를 활용하여 비매개 통계 방법을 통해 관찰된 값과 기대값을 비교할 수 있습니다.
마지막으로, 논문은 인용 분석의 이론적 근거에 대한 의문을 제기합니다. 특히 인용이 과학적 질을 나타내는 지표로 사용될 수 있는지와 언제 가능한지를 탐구하며, Opthof & Leydesdorff (2010)가 제시한 “우수한” 연구와 단순히 “좋은” 연구를 구분하는 데 인용 분석이 유효한지에 대한 질문을 던집니다.
본 논문의 I3는 과학 연구의 영향력을 측정하는 새로운 접근법으로, 기존 방법론의 한계를 극복하고 더 정확하고 신뢰성 있는 결과를 제공할 수 있음을 주장합니다. 이를 통해 인용 분석이 과학 연구 평가에서 더욱 중요한 역할을 할 수 있을 것으로 보입니다.
이 논문은 인용 분석의 이론적 근거와 실제 적용 방법을 상세히 설명하며, 과학 연구 평가에서 중요한 지표로 활용될 가능성을 제시합니다. 이를 통해 과학 연구의 질과 영향력을 더 정확하게 측정하고 이해할 수 있는 새로운 패러다임을 제안하고 있습니다.
📄 논문 본문 발췌 (Excerpt)
## 통합 영향 지표(I3) 개발
우리는 분산의 형태와 비파라미터적 중요성 검정을 고려한 통합 영향 지표(I3)를 개발했습니다. I3는 Prathap의 시스템 관점과 달리, 분산의 형태를 고려하고 중앙값에 대한 평균 대신 총합을 사용하여 두 히트(citations)의 영향을 측정합니다.
Prathap (2011a)은 저널 인용 점수(JCS)와 분야 인용 점수(FCS)의 평균을 사용하여 계산했지만, 그의 엔트로피 개념은 확률적 엔트로피가 아닌 열역학적 엔트로피입니다 (Leydesdorff, 1995; Theil, 1972 참조). 그러나 두 히트의 영향은 평균이 아닌 합으로 계산되어야 합니다. 충돌의 경우, 이는 모멘텀의 벡터 합과 유사합니다. 우리는 인용의 경우에도 스칼라 합을 사용하는 것이 타당하다고 주장합니다.
단순히 총 인용수를 사용하는 것은 충분하지 않습니다. 편향된 인용 곡선의 품질을 백분위 기준으로 정규화해야 합니다. Bornmann 및 Mutz (2011)는 6개의 백분위 순위 범위로 정규화했지만, 더 일반적인 방법은 연속 변수인 백분위 수로 정규화하고 이후 다양한 평가 방식을 사용하여 조직하는 것입니다 (Leydesdorff 외, 2011; Leydesdorff & Bornmann, 2011a; Rousseau, 2011). 다양한 집계가 가능합니다. 왜냐하면, 백분위 기준으로 정규화된 후 영향은 논문 수준에서 결정되기 때문입니다. 이 통합 영향 지표(I3)는 다음과 같이 공식화될 수 있습니다:
인용은 이산적 사건이기 때문에 이 경우 적분은 단계 함수가 됩니다. 방정식 1을 사용하여 각 백분위(x i)에 있는 논문의 빈도를 해당 논문의 백분위(f(x i))로 곱합니다. 그 결과로 얻은 스칼라(Σ)는 다음과 같이 조정될 수 있습니다:
(i) 다양한 평가 방식(예: 사분위수 또는 미국 과학 및 공학 지표 (NSB, 2010)과 Bornmann 및 Mutz (2011)에서 사용된 6가지 평가 범주)에 따라;
(ii) 이론적으로 명시된 기대값과 비교하여 그 중요성을 검증;
(iii) 전체 영향의 백분율로 표현;
(iv) 저널, 국가, 연구소, 도시 등 다양한 분석 단위를 비교하기 위해 통계적으로 제어 가능한 방식으로 집계 (Theil, 1972).
요약하자면, 평균률과 평균의 비율에 대한 논의 (Gingras 및 Larivière, 2011)는 평균률이 단순한 몫으로, 검정이 불가능하고 수학적으로 일관성이 없음을 가르쳐주었습니다. 관찰된 평균 인용 비율(MOCR)은 기대되는 평균 인용 비율(RCR = MOCR/MECR; Schubert 및 Braun, 1986; Glänzel 외, 2009, p. 182 참조)로 나누어서는 안 됩니다. 대신, 적절한 통계 방법을 사용하여 관찰된 값을 기대값과 비교할 수 있습니다.
둘째, Prathap의 EEE와 새로운 “왕관 지표” MNCS를 포함한 편향된 분포를 기반으로 한 인용 지표는 신뢰성이 떨어집니다. 예를 들어, Leydesdorff 외 (2011)는 암스테르담 의과대학 학술 의학 센터의 7명의 주요 연구자가 백분위 또는 백분위 순위를 사용할 경우, 1순위 연구자는 5순위로 하락하고 6순위 연구자는 최고 저자로 부상할 수 있음을 보여주었습니다.
셋째, 문서 집합을 서로 독립적인 표본으로 테스트하는 대신, 참조 집합의 하위 집합으로 테스트해야 합니다 (Bornmann 외, 2008). 각 하위 집합은 참조 집합에 대한 백분율 영향을 기여합니다. 참조 집합은 정규화와 기대값 명시를 가능하게 합니다.
(이 사양은 이론적 근거에 따라 추가로 구체화될 수 있습니다.) 양분위수와 백분위 순위를 활용하여 비매개 통계 방법을 통해 관찰된 값과 기대값을 비교할 수 있습니다. 또한, EEE(저자 및 기관 간 평가의 불평등)에 대한 비판으로 간주되지 않더라도, 연구 분야 구분은 ISI 주제 분류와 같은 사전 분류 체계가 아닌 다른 방식으로 이루어질 수 있습니다. 기존의 저널 분류는 불확실하고 신뢰성이 떨어졌음이 입증되었습니다 (Boyack & Klavans, 2011; Leydesdorff, 2006; Pudovkin & Garfield, 2002; Rafols et al., 2009). 그러나 인용 문서에서 인용된 문장의 비율을 분배하여 차이를 정상화함으로써 인용 잠재력의 차이를 보정할 수 있습니다 (Garfield, 1979). 이는 개별 논문 수준의 인용 행동의 차이를 반영합니다 (Leydesdorff & Bornmann, 2011b; Leydesdorff & Opthof, 2010; Moed, 2010).
최근 이러한 인용 정상화 방법의 발전(예: 인용문과 인용된 문서 모두를 고려한 지표 사용)에도 불구하고, 인용이 과학적 질을 나타내는 지표로 사용될 수 있는지, 그리고 언제 가능한지에 대한 이론적 의문이 남아 있습니다 (Amsterdamska & Leydesdorff, 1989; Bornmann et al., 2008; Garfield, 1979; Leydesdorff, 1998; Leydesdorff & Amsterdamska, 1990). Opthof & Leydesdorff (2010)는 인용 분석이 “우수한” 연구와 단순히 “좋은” 연구를 구분하는 데 유효한가라는 질문을 던지며 이 논의를 시작했습니다.
