Title: Efficiency of research performance and the glass researcher
ArXiv ID: 1605.09515
발행일: 2017-07-04
저자: Lutz Bornmann and Robin Haunschild
📝 초록 (Abstract)
:
아브라모와 다니엘레는 규모에 독립적인 인용 영향 지표가 연구 성과를 측정하는 데 유효한지에 대해 의문을 제기하며, 이탈리아 과학 시스템의 표준화된 데이터를 기반으로 한 몇 가지 예시를 제공합니다. 그들은 과학적 효율성 측정의 필요성을 주장하면서 Fractional Scientific Strength (FSS) 지표를 제안했습니다. FSS는 인용 영향을 고려한 연구 직원의 총 급여와 출판물 수의 가중 평균을 계산하는 복합 지표입니다. 그러나 이 논문은 경제적인 관점에서는 합리적으로 보일 수 있지만, 다른 측면에서는 의문이 제기됩니다.
💡 논문 핵심 해설 (Deep Analysis)
:
아브라모와 다니엘레의 논문은 과학 연구 성과 평가에 있어 복합 지표(FSS)를 사용하는 접근법을 주장하며, 기존의 규모에 독립적인 인용 영향 지표의 유효성에 대해 의문을 제기하고 있습니다. 이 논문은 여러 측면에서 심도 있는 분석이 필요합니다.
1. 복합 지표(FSS)와 인용 영향력 사이의 갈등
아브라모와 다니엘레는 FSS를 통해 연구 성과를 평가하려고 합니다. 이 지표는 연구자의 총 급여, 출판물 수, 그리고 각 출판물의 인용 횟수를 고려하여 가중 평균을 계산합니다. 그러나 이러한 접근법은 복합적인 성과를 단일 숫자로 표현하려는 시도로서, 과학 연구 성과가 다차원적이라는 점을 간과하고 있습니다.
예를 들어, SCImago 기관 순위는 연구 지표(출력과 과학적 인재 풀 등), 혁신 지표(기술적 영향), 웹 가시성 지표(웹사이트 크기 등) 등을 포함한 다양한 세트의 지표를 고려합니다. 이처럼, 성과 평가는 단순히 인용 횟수만을 기준으로 하는 것이 아니라, 연구자의 활동 범위와 그 결과물이 갖는 영향력을 종합적으로 평가해야 합니다.
2. 유효성 검증의 필요성
아브라모와 다니엘레는 FSS 지표를 통해 성과를 측정하려고 하지만, 이 지표의 유효성을 입증하는 데 필요한 근거를 제시하지 못하고 있습니다. 유효성을 검증하기 위해서는 예측 유효성 연구와 공현 유효성 연구가 필요합니다.
예측 유효성 연구는 특정 지표가 미래의 성과를 얼마나 잘 예측하는지 살펴보며, 공현 유효성 연구는 해당 지표가 다른 관련 지표들과 얼마나 상관관계가 있는지를 조사하여 같은 측정을 하는지 확인합니다. 이러한 검증 과정 없이 FSS 지표의 유효성을 주장하는 것은 타당하지 않습니다.
3. 복합 지표 사용 시의 문제점
복합 지표를 사용하면, 각 요소가 어떻게 가중치를 부여받는지에 대한 투명성이 떨어질 수 있습니다. 이는 ‘블랙박스’ 현상을 초래하며, 연구 성과 평가에서 중요한 변수들이 어떻게 고려되는지에 대한 이해도를 낮춥니다.
또한, 복합 지표는 다양한 요소를 단일 숫자로 표현하려고 하므로, 각 요소의 상대적 중요성이나 영향력이 축소될 수 있습니다. 이는 연구 성과 평가에서 중요한 측면들이 간과되는 결과를 초래할 수 있습니다.
4. 다차원적인 접근법의 필요성
과학 연구 성과는 단순히 인용 횟수나 출판물 수로만 평가될 수 없습니다. 다양한 요소, 즉 연구자의 활동 범위, 혁신적 아이디어의 생성, 그리고 그 결과물이 갖는 사회적 영향 등을 종합적으로 고려해야 합니다.
다차원적인 접근법은 각 성과 측면을 별도로 평가하고 이를 통합하는 방식으로 이루어집니다. 이는 연구 성과를 다각도에서 살펴볼 수 있는 방법이며, 단일 지표에 의존하는 것보다 더 정확한 평가를 가능하게 합니다.
5. 창의성과 비선형적 발전에 대한 경고
아브라모와 다니엘레는 효율성 지표 강요가 창의성과 비선형적 발전에 부정적인 영향을 미칠 수 있다고 경고합니다. Ziman(2000)은 ‘사후학문적’ 효율화 추구가 연구 과정의 창의성을 저해할 수 있으며, 정책적 편견이 ‘생각할 수 없는 것’을 생각하는 것을 방해한다고 지적했습니다.
이는 성과 평가 시 단순히 숫자로 표현되는 효율성에만 초점을 맞추는 것이 아니라, 연구자의 창의성과 비선형적인 발전 가능성도 고려해야 함을 의미합니다. 과학 연구는 종종 예상치 못한 방향으로 진행되며, 이러한 특성을 반영하는 평가 체계를 구축할 필요가 있습니다.
결론
아브라모와 다니엘레의 논문은 복합 지표(FSS)를 통해 과학 연구 성과를 평가하려는 시도를 제안하고 있지만, 이 접근법에는 여러 문제점이 존재합니다. 유효성 검증의 부족, 복합 지표 사용 시의 투명성 저하, 그리고 창의성과 비선형적 발전에 대한 고려가 부족한 점 등이 그 예입니다.
따라서 과학 연구 성과 평가는 다차원적인 접근법을 통해 이루어져야 하며, 각 요소를 별도로 평가하고 이를 종합적으로 고려하는 것이 필요합니다. 이러한 방식으로만 연구 성과의 본질적 가치와 창의성, 비선형적 발전 가능성 등을 정확하게 평가할 수 있습니다.
이 논문은 과학 연구 성과 평가에 있어 복잡한 문제를 제기하며, 이를 해결하기 위한 다양한 접근법을 탐색해야 함을 시사합니다. 향후 연구에서는 이러한 문제점들을 고려하여 보다 정확하고 공정한 평가 체계를 개발하는 것이 필요할 것입니다.
📄 논문 본문 발췌 (Excerpt)
## 학술적 텍스트의 전문적인 한국어 번역
아브라모와 다니엘레 (임프레스)는 기존에 확립된, 규모에 독립적인 인용 영향 지표의 유효성에 의문을 제기합니다. 그들의 논문에 제시된 몇 가지 예시는 국가 데이터베이스에서 얻은 데이터를 기반으로 합니다. 이 데이터베이스는 이탈리아 과학 시스템의 표준화된 데이터를 포함하고 있으며, 출력뿐만 아니라 입력 지표도 포함합니다. 아브라모와 다니엘레 (2014)는 과학적 효율성 측정의 필요성을 주장하며, Fractional Scientific Strength (FSS) 지표를 제안했습니다. 이는 인용 영향이 고려된 연구 직원의 총 급여와 출판물 수의 가중 평균을 계산하는 복합 지표입니다. 아브라모와 다니엘레 (임프레스)의 논증과 권고안은 경제적인 관점에서는 합리적으로 보일 수 있지만, 다른 측면에서는 의문이 제기됩니다. 다음에서는 두 가지 문제점과 흥미로운 두 가지 포인트를 다룰 것입니다.
(1) 아브라모와 다니엘레 (임프레스)는 논문의 시작 부분에서 규모에 독립적인 인용 영향 지표가 연구 성과를 측정하는 데 유효한지에 대해 의문을 제기합니다. 그들은 연구 성과는 입력 지표를 고려할 때만 유효하게 측정될 수 있다고 주장합니다. 이러한 접근에는 몇 가지 문제가 있습니다. (i) 과학측량학자들은 인용 영향을 연구 성과와 동일시하지 않습니다. 연구 성과의 측정은 단순히 영향에 국한되지 않고, 여러 다른 측면을 포함합니다. 예를 들어, SCImago 기관 순위(http://www.scimagoir.com/
)는 연구 지표(출력과 과학적 인재 풀 등), 혁신 지표(기술적 영향), 웹 가시성 지표(웹사이트 크기 등)를 포함한 다양한 세트의 지표를 고려합니다. (ii) 아브라모와 다니엘레 (임프레스)는 영향을 효율성과 성과를 생산성으로 혼동하며, 이를 통해 논리적으로 모순을 일으킵니다. 그들은 규모에 독립적인 지표가 생산 이론의 한 원리를 위반한다고 주장하지만, 이러한 지표는 원래 생산성이 아닌 영향력을 측정하기 위한 것이 아닙니다. (iii) 아브라모와 다니엘레 (임프레스)가 효율성 점수에 대한 선호와 인용 영향 지표에 대한 반대는 “기본적인 경제 논리"에 기반을 두고 있습니다. 저자들은 연구 성과를 유효하게 측정하는 하나의 지표와 다른 지표는 그렇지 않다는 주장을 뒷받침할 만한 근거를 제시하지 못했습니다. 심리학 문헌은 유효성을 조사하기 위한 여러 방법을 제공하며, 이는 이미 문헌측량학에서 적용되었습니다: 예측 유효성 연구는 특정 연구 성과 지표를 미래에 측정할 수 있는 정도를 살펴봅니다 (히르슈, 2007). 공현 유효성 연구는 특정 지표가 다른 지표와 상관관계가 있는지를 조사하여 같은 측정을 하는지 확인합니다 (보르만 등, 2008). 그러나 유효성을 조사하기 위해서는 동일한 구성 요소를 측정하는 다양한 지표를 비교해야 합니다.
인용 지표는 영향력만을 측정하고, 복합 지표(FSS)는 연구 성과의 여러 측면을 고려하므로, 같은 구성 요소를 측정하지 않으며 공정한 비교가 불가능합니다. FSS의 예측 또는 공현 유효성을 테스트하기 위해 아브라모와 다니엘레 (임프레스)는 연구 성과를 유효하게 측정하는 다른 지표를 적어도 하나 이상 필요로 합니다. 그런 다음에야 그들은 FSS의 유효성을 진정으로 판단할 수 있습니다.
(2) 아브라모와 다니엘레 (임프레스)는 연구 성과를 측정하기 위해 복합 지표를 사용해야 한다고 주장합니다. 이 지표는 입력과 출력 변수를 결합하여 단일 숫자로 표현됩니다. 그러나 우리는 연구 성과는 복합 지표가 아닌, 다양한 측정의 결과를 별도로 보고하는 방식으로 측정되어야 한다고 주장합니다. 연구 성과는 다차원적인 현상이며, 각 차원은 평가 시 별도로 보고되어야 합니다.
연구 성과 평가에 대한 고찰: 복합적 접근의 필요성
Bornmann과 Marx(2014)는 단일 연구자의 생산성과 인용 영향력을 측정하기 위해 16개의 지표를 제안했습니다. 이 지표들은 급여, 외부 기금 수주, 박사 및 포스트닥터 연구원 수 등 다양한 요소를 포함할 수 있습니다. Moed와 Halevi(2015)는 다차원 연구 평가 매트릭스를 도입하여 특정 평가 맥락에 적합한 지표를 선택하는 데 도움을 줍니다. 저자들은 연구 성과 평가를 위한 유효성을 보장하기 위해 고정된 공식보다는 상황에 맞게 조정 가능한 틀을 권장합니다. 이는 복합 지표 사용 시 포함된 변수들이 ‘블랙박스’로 남는 문제와 결합됩니다.
Abramo와 D’Angelo(임프레스)의 연구는 FSS와 MNCS 지표를 통해 출판물 수에 따른 연구자 성과의 차이를 보여줍니다. 이는 크기에 독립적인 지표가 필요함을 강조하지만, 동시에 크기에 의존적인 관점도 보완해야 함을 의미합니다. Bornmann과 Haunschild(임프레스), Haunschild와 Bornmann(2015)은 포괄적인 연구 평가를 위해서는 두 관점이 모두 필요하다고 주장합니다.
저자들은 복잡한 데이터베이스 구축의 필요성을 강조하며, 이탈리아 데이터베이스를 예시로 들며 다양한 입력 및 출력 지표를 단일 연구자 수준에서 포함해야 한다고 제안합니다. 저자들은 투명성이 높은 이러한 시스템이 정책 결정권자들이 효율성 지표를 조합하여 사용하도록 유도할 수 있으며, 연구 평가 과정에 효율성 지표 강요가 창의성과 비선형적 발전에 부정적인 영향을 미칠 수 있다고 경고합니다. Ziman(2000)은 연구 과정의 창의성을 저해할 수 있는 ‘사후학문적’ 효율화 추구를 비판하며, 정책적 편견이 ‘생각할 수 없는 것’을 생각하는 것을 방해한다고 지적합니다.
Abramo와 D’Angelo(임프레스)의 논문에 대한 비판적 시각에도 불구하고, 저자들은 두 가지 흥미로운 점을 언급합니다. 첫째, FSS 공식은 NC를 합산하여 평균을 내는 대신 가중치를 부여합니다. 이는 각 출판물의 인용 영향력을 고려하여 영향력과 출력을 결합하는 접근법입니다. 이 방법은 I3 지표(Leydesdorff & Bornmann, 2011)와 유사한 방식으로 정상화된 영향력과 출력을 결합하고, 인용 측면에서는 각 인용에 해당 분야의 인용 밀도를 가중치로 적용한 Zitt와 Small(2008)의 방법과 유사합니다. 이러한 가중치 인용을 합산하여 연구 단위의 정규화 점수를 계산합니다. 이 부분의 유효성을 검증하는 추가 연구가 필요합니다.
NCs를 다른 문헌측정 접근법과 비교하기 위해, 예를 들어 동료 평가 논문 평가와 상관시켜(Bornmann & Marx, 2015) 이를 수행할 수 있습니다. (ii) 문헌측정에서 인용 횟수 정규화는 표준적인 절차입니다. Abramo와 D’Angelo(게재 중)는 인용 영향력뿐만 아니라 출력도 정규화해야 한다고 주장합니다. 많은 연구가 다양한 학문 분야 간 출판 강도의 차이를 보여주었습니다(예: Marx & Bornmann, 2015). 과학측정학자들은 출력 점수를 정규화할 수 있는 방법을 개발할 수 있습니다. 문헌측정에서의 영향 정규화에 따라, 이러한 방법은 단일 논문 수준의 점수(예를 들어, 각 출판물을 해당 분야의 출판 밀도에 의해 나누어 계산)를 결과로 도출해야 합니다.
