Title: End-to-end evaluation of research organizations
ArXiv ID: 1605.02132
발행일: 2016-05-10
저자: Gangan Prathap
📝 초록 (Abstract)
:
본 논문에서는 아치메데스의 밀도 개념을 통해 크기 의존적 및 독립적 요소를 이해하는 방법을 제시하고, 이를 문헌 측정에 적용한다. 출판물 수와 인용 횟수는 각각 크기 의존적과 독립적인 지표로 볼 수 있으며, 이들로부터 성과의 1차 및 2차 지표를 도출할 수 있다. 또한, 연구 효율성을 측정하기 위해 입력부터 출력까지의 전체 평가 체계를 제안한다. 이를 통해 양적 측면(출판물 수)과 질적 측면(인용 횟수)을 통합하여 연구 성과를 종합적으로 평가할 수 있다.
💡 논문 핵심 해설 (Deep Analysis)
:
본 논문은 아치메데스의 밀도 개념을 통해 크기 의존적 및 독립적인 요소에 대한 이해를 제공하며, 이를 문헌 측정에 적용하여 연구 성과를 평가하는 체계를 제안한다. 이는 과학 분야에서 연구 성과를 종합적으로 평가하기 위한 중요한 방법론적 접근이다.
논문은 아치메데스의 밀도 개념을 통해 크기 의존적 및 독립적인 요소에 대한 이해를 제공한다. 밀도 ρ는 부피 V와 무게 W 사이의 관계에서 크기 독립적인 항으로, 이를 통해 무게 W가 크기 의존적 및 독립적 요인을 모두 포함하는 2차 지표로 결합될 수 있음을 설명한다. 이 개념은 문헌 측정에 적용되어 출판물 수 P와 인용 횟수 C를 통해 연구 성과를 평가할 수 있는 체계를 제안한다.
출판물 수 P는 크기 의존적인 주요 지표로, 인용 횟수 C는 성과의 2차 및 복합 지표가 된다. 이들로부터 도출되는 영향 i(C/P)는 포트폴리오 품질을 나타내는 크기 독립적인 대리자 역할을 한다. 이러한 방법론은 연구 성과를 평가하는 데 있어 양적 측면과 질적 측면을 통합하여 종합적으로 이해하고 평가할 수 있게 한다.
논문에서는 또한 경제측정 체인의 관점에서 연구 효율성 또는 생산성을 계산하기 위한 방법론을 제안한다. 이를 위해 2014년 SIR(Scientific Indicators Report)이 도입한 과학적 인재 풀(STP, Scientific Talent Pool) 지표를 활용하여 입력부터 출력까지의 전체 평가 체계를 구축한다. STP는 특정 기간 동안 기관의 출판물 총출력에 참여한 해당 기관의 저자 수를 제공하며, 이를 통해 연구 활동의 시작 부분을 합리적으로 입력 대리로 사용할 수 있다.
논문은 다양한 문헌 측정 지표를 분류하고 군집화하여 주성분 분석(PCA)을 활용한 연구 단위 수준의 기관 성과 평가 방법론도 제시한다. 이는 크기 의존적인 입력 및 출력 항, 크기 독립적인 품질 및 생산성 지표로 명확하게 구분되며, 이를 통해 주요 데이터와 보조 데이터를 2차원 맵으로 표현하고 시각화할 수 있다.
논문은 이러한 개념들을 바탕으로 완전한 끝에서 끝까지의 체인에 필요한 지표들을 제시하며, 이를 활용하여 아브라모와 안젤로(2016)의 예를 재작업한다. 테이블 2는 동일한 규모와 자원을 가진 두 대학을 다루며, 단위 A와 B의 출판물 수와 인용 횟수를 비교하여 MNCS(Mean Normalized Citation Score) 접근법을 사용해 효율성 또는 효과성을 평가한다. 이는 성과가 다차원적인 구성임을 보여주며, 결과는 선택한 지표 순서에 따라 달라질 수 있음을 강조한다.
전체 연구 평가는 문헌 측정 부분과 경제측정 부분으로 분리되어야 하며, 규모에 의존하는 항목과 규모에 독립적인 항목은 양과 질을 의미 있게 결합하는 데 중요한 역할을 한다. 이는 출판물 수와 인용 횟수를 통해 연구 성과의 양적 측면과 질적 측면을 종합적으로 평가할 수 있는 체계를 제공한다.
본 논문은 과학 분야에서 연구 성과를 평가하는 데 있어 중요한 방법론적 접근을 제시하며, 이를 통해 양적 측면과 질적 측면을 통합하여 종합적으로 이해하고 평가할 수 있는 체계를 제공한다. 이러한 접근은 과학 연구의 성과를 정확하게 평가하고, 그 결과를 바탕으로 미래의 연구 방향성을 설정하는 데 있어 중요한 기여를 할 것으로 보인다.
이 논문의 제안된 방법론은 다양한 연구 분야에서 적용 가능하며, 특히 대규모 데이터셋을 다루는 경우에 더욱 효과적일 수 있다. 그러나 이 접근법 역시 한계가 있으며, 예를 들어 정규화 과정이나 입력 지표 선택 등에 대한 주관성이 있을 수 있다는 점을 고려해야 한다. 그럼에도 불구하고 본 논문은 연구 성과 평가의 체계적인 방법론 개발에 중요한 기여를 하며, 향후 연구에서 이러한 접근법이 더욱 발전하고 확장될 것으로 예상된다.
결론적으로, 본 논문은 과학 분야에서 연구 성과를 종합적으로 평가하기 위한 체계적인 방법론을 제시하며, 이를 통해 양적 측면과 질적 측면을 통합하여 연구 성과의 전체적인 이해와 평가를 가능하게 한다. 이러한 접근은 과학 연구의 발전에 중요한 기여를 하며, 향후 연구에서 더욱 확장되고 개선될 것으로 보인다.
📄 논문 본문 발췌 (Excerpt)
## 연구 성과 측정에서의 크기 의존적 및 독립적 요인: 전체 평가 체계의 구축
아치메데스의 밀도 개념 발견은 모든 측정에서 크기 의존적 요소와 크기 독립적 요인을 이해하기 위한 설득력 있는 은유를 제공한다. 밀도 ρ는 크기 독립적인 항으로, 부피 V(주된 크기 의존 항)로부터 무게 W를 계산할 수 있게 한다. 주목할 점은 W가 크기 의존적 및 독립적 항을 모두 포함하는 의미 있는 2차 지표로 결합한다는 것이다. 문헌 측정에서의 병리적 평행 사례는 출판물 수 P와 인용 횟수 C의 포트폴리오이다. P가 크기 의존적인 주요 문헌 지표로 간주될 때, C는 성과 2차 및 복합 지표가 된다. 영향 i(C/P)는 포트폴리오 품질의 자연스러운 대안으로 크기 독립적인 대리자로 작용할 수 있다.
물론 이 단계에서는 모든 출판물이 동일한 분야에서 동시대 창출되었으므로 정규화는 문제가 되지 않는다. 정규화는 단순히 추가적으로 고려할 수 있는 세부 사항일 뿐이며, 합리적으로 계산될 수 있다(Ruiz-Castillo & Waltman, 2015).
C를 성과 1차 지표로 간주할 경우, 영향 i와 출력 P를 가중하는 방식으로 각 출판물에 대한 인용 영향력을 고려한 더 높은 차원의 에너지 같은 항 X = iC = i²P를 도입할 수 있다. 따라서 C는 영향 i와 출력 P를 결합하여 각 출판물의 인용 영향에 따라 가중치를 부여한다. I3 지표(Leydesdorff & Bornmann, 2011)는 정규화된 영향과 출력을 결합하여 성과 1차 지표이다. Prathap의 엑시지 지표(2011)는 성과 2차 지표이다. P는 단독으로 성과 0차 지표가 된다. 따라서 P, C, X는 품질 대리자(이 경우 영향 i)에 따라 무게를 부여하는 정도에 따라 출력 또는 결과의 유효한 측정값이 될 수 있다.
이제 경제측정 체인의 측면에 대해 살펴보자. 연구 효율성 또는 생산성을 계산하기 위해서는 의미 있는 입력 조사가 필수적이다. 2014년 SIR은 입력부터 출력까지 전체 평가가 가능한 새로운 기능을 도입했다. 이것이 과학적 인재 풀(STP)로, 특정 기간 동안 기관의 출판물 총출력에 참여한 해당 기관의 저자 수를 제공한다. Savithri와 Prathap(2015)은 이 지표를 과학 연구 활동을 수행하는 체인의 시작 부분에 대한 합리적인 입력 대리로 사용하였다.
저자의 지식에 따르면, Hendrix(2008)는 다양한 문헌 측정 지표를 지능적으로 분류하고 군집화하여 주성분 분석(PCA)을 사용하여 연구 단위 수준의 기관 성과를 평가한 선구자 중 하나였다. 변수는 세 가지 뚜렷한 그룹으로 군집화되었다: 첫 번째 군집은 크기 의존적인 입력 및 출력 항, 즉 교수 총수(입력), 논문 총수(출력), 인용 횟수 총수(결과)를 포함한다. 두 번째 요소는 크기 독립적인 항으로 연구자의 영향력, 논문당 평균 인용 횟수 등을 반영하며, 품질 또는 우수성 차원으로 해석될 수 있다. 세 번째 그룹은 크기에 크게 영향을 받지 않는 개별 수준의 연구 생산성과 영향력을 설명하는데, 교수당 논문 수와 교수당 인용 횟수가 대표적이다. Savithri와 Prathap(2015)은 PCA 접근 방식을 사용하여 5개의 변수만으로도 대부분의 공분산을 설명할 수 있음을 보여주었다. 이는 크기 의존적인 양적 지표와 크기 독립적인 품질 및 생산성 지표로 명확하게 구분된다. 이는 주성과 보조 데이터를 2차원 맵으로 표현하고 시각화하는 것을 가능하게 한다. 따라서 전체 평가에 있어 크기 의존적 및 독립적인 지표는 매우 중요한 역할을 수행한다.
본 논문에서는 이러한 개념들을 바탕으로…
학술 평가의 전체 과정: 양과 질의 통합
우리는 테이블 1에 제시된 바와 같이 완전한 끝에서 끝까지의 체인에 필요한 지표들을 나타냅니다. 이를 활용하여 아브라모와 안젤로(2016)의 단순한 예를 재작업합니다. 테이블 2는 동일한 규모(예시: 100명의 전임 연구자 평등 연구자, FTER)와 자원, 연구 분야를 가진 두 대학을 다룹니다. 단위 A는 100개의 논문을 발표하여 1,000회의 인용을 얻었습니다 (즉, 논문당 평균 영향력 10회). 단위 B는 200개의 논문을 출판하고 총 1,500회의 인용을 수집했습니다 (논문당 평균 영향력 7.5회). 테이블 2의 마지막 열은 MNCS(평균 정규화 인용 점수) 접근법을 사용하여 B가 A보다 가지는 효율성 또는 효과성의 우위를 보여줍니다. 성과는 다차원적인 구성이기 때문에, 결과는 달라집니다 - 품질 측면에서만 A가 B보다 우수하지만, 출력 또는 결과 생산성에 있어서 우위는 선택한 지표 순서에 따라 바뀔 수 있습니다. 이 연습은 HCA(고정 인용 논문) 접근법을 사용하여 반복될 수 있습니다. 단위 A는 10개의 HCA를 가지고 있지만, 단위 B는 15개의 HCA를 가지고 있으며, 결과에는 변화가 없습니다.
전체 연구 평가는 문헌 측정 부분과 경제측정 부분을 분리해야 합니다. 규모에 의존하는 항목과 규모에 독립적인 항목은 양과 질을 의미 있게 결합하는 데 중요한 역할을 합니다. 문헌 수준의 출력 또는 결과는 제로, 1차 또는 2차 순서 복합 지표를 사용하여 측정될 수 있으며, 이에 따라 생산성 항목은 입력에서 출력 또는 결과 요인으로 따릅니다.
