도메인 분류 체계를 활용한 연구 영향 정성 평가

본 논문은 연구 영향 평가에서 계량적 지표에 대한 과도한 의존을 비판하고, 정성적 판단을 체계화하기 위한 도구로서 도메인 분류 체계(taxonomy)를 활용하는 방법을 제안한다. 서론에서는 Leiden Manifesto, DORA, Metrics Tide 등 최근 과학정책 선언문이 강조하는 ‘정성 중심’ 원칙을 소개하고, 기존의 피어 리뷰 기반 평가가 폐쇄적·편향적일 위험성을 지적한다. 이어서 연구자는 taxonomy를 이용해 연구 주제와 프로젝트를 구조화하고, 이를 통해 연구의 범위와 깊이를 시각화·분석하는 방법을 제시한다. 2장에서는 기존 연구 영향 측정 방법(인용수, h‑index, 중앙성 지표 등)과 그 한계에 대해 비판적으로 고찰한다. 특히, 인용 기반 평가는 분야별 인용 문화 차이와 장기적 영향 반영의 어려움, 그리고 ‘주류’ 연구만을 강조하는 경향을 가지고 있음을 지적한다. 이러한 문제점을 보완하기 위해 정성적 판단을 보조 도구로 활용하되, 구체적인 실행 방안이 부재하다는 점을 강조한다. 3장에서는 taxonomy 기반의 정성적 매핑 방법을 상세히 설명한다. 연구자는 ACM Computing Classification System(ACM CCS)을 부분적으로 차용해 ‘시스템‑물리’, ‘데이터‑정보’, ‘시스템‑논리’라는 3대 상위 카테고리와 그 하위 30여 개 세부 노드를 구축한다. 논문 집합(2000‑2007년 The Computer Journal에 게재된 377편)을 대상으로 키워드 추출·군집화를 통해 자동으로 개념 계층을 ‘부트스트랩’하고, Correspondence Analysis를 이용해 2차원 평면에 시각화한다. 이 과정에서 각 논문이 평균 2개의 taxonomy 용어에 매핑되며, 상위 노드와 하위 노드 간의 관계가 초거리(ultrametric) 형태로 표현된다. 시각화 결과는 ‘정보‑데이터’가 다른 두 물리·논리 카테고리와 구별되는 삼각형 패턴을 보여, 분야 내 주제 이동과 시간 흐름을 직관적으로 파악할 수 있게 한다. 4장에서는 이러한 정성적 매핑을 실제 연구 평가에 적용하는 방법을 제시한다. 연구자는 ‘연구자 순위’를 정의하기 위해, 연구자가 새롭게 만든 노드 혹은 기존 노드를 실질적으로 변형·확장한 횟수를 카운트하고, 그 노드의 계층적 위치와 후속 연구에서의 활용 빈도를 가중치로 적용한다. 즉, 높은 수준(루트에 가까운) 노드를 창출하거나 다수의 후속 연구가 해당 노드를 인용·활용하면 높은 점수를 부여한다. 이를 통해 전통적인 인용 기반 순위와는 다른, 학문 구조 자체에 기여한 정도를 반영하는 새로운 순위 체계를 만든다. 실험에서는 데이터 분석 분야의 선도 과학자 30명을 대상으로, 각 연구자의 논문을 위에서 구축한 taxonomy에 매핑하고, 새 노드 생성·변형 횟수를 집계하였다. 결과는 전통적인 인용 순위와는 차이가 뚜렷했으며, 특히 새로운 방법론을 제시하거나 다학제적 연구를 수행한 과학자들이 높은 순위를 차지했다. 이는 taxonomy 기반 평가지표가 기존 지표가 놓치기 쉬운 ‘구조적 혁신’과 ‘학문적 경계 확장’을 포착한다는 점을 시사한다. 5장에서는 taxonomy 기반 순위와 기존 인용·성과 기반 순위를 비교 분석한다. 두 순위 사이의 상관관계는 낮으며, 특히 인용이 적지만 새로운 개념을 도입한 연구자들이 taxonomy 순위에서 크게 상승한다는 점이 강조된다. 이는 정책 입안자와 연구기관이 단순히 인용 수에 의존하지 않고, 학문 구조에 대한 기여도를 평가할 필요성을 뒷받침한다. 6장에서는 연구 결과의 한계와 향후 과제를 논의한다. taxonomy 구축에 필요한 전문가 인력과 지속적인 업데이트 비용, 노드 정의의 주관성 문제, 그리고 새로운 노드의 ‘중요성’ 판단을 위한 외부 검증 메커니즘 부재 등이 주요 과제로 제시된다. 또한, 다학제 연구가 늘어나는 현시점에서 기존의 단일 도메인 taxonomy가 충분히 포괄적이지 않을 수 있음을 인정한다. 향후 연구에서는 자동화된 온톨로지 학습, 크로스‑도메인 매핑, 그리고 정량적 지표와의 통합 모델을 개발하는 방향을 제시한다. 결론적으로, 본 논문은 연구 영향 평가에 있어 정량적·정성적 접근을 통합하는 새로운 프레임워크를 제시한다. taxonomy를 기반으로 한 정성적 매핑과 노드 기반 순위 산정은 투명하고 공개적인 평가 과정을 가능하게 하며, 학문 구조 자체에 대한 기여를 정량화한다. 이는 기존의 인용 중심 평가 체계에 대한 보완책으로서, 정책 입안자·연구기관·학술 커뮤니티가 보다 균형 잡힌 연구 평가를 구현하는 데 실질적인 도구가 될 수 있다.