21세기 e‑Science를 위한 과학 워크플로우: 새로운 병인가, 새로운 와인인가

논문은 과학 워크플로우 시스템(SWFS)이 21세기 e‑Science의 핵심 인프라로 자리 잡고 있지만, 기존 기술이 급변하는 컴퓨팅 환경과 데이터 규모에 충분히 대응하지 못하고 있음을 지적한다. 서론에서는 워크플로우가 “복잡한 과학 절차 기술”, “자동 데이터 파생”, “고성능 컴퓨팅 활용”, “프로벤런스 관리” 네 가지 역할을 수행한다는 점을 정의하고, 1980·1990년대의 전통적 코디네이션 언어와 비즈니스 프로세스 관리 시스템(BPEL 등)과의 연관성을 설명한다. 2절에서는 멀티코어 아키텍처의 등장과 그에 따른 소프트웨어 설계 패러다임 변화를 논한다. 코어 수가 128, 1024 수준까지 확대될 전망이며, 이는 병렬 프로그래밍을 필수로 만든다. 기존 순차적 워크플로우 엔진은 코어 활용 효율이 낮아 새로운 동시성 모델이 필요하다. 3절은 과학 데이터 폭증을 ‘데이터 델루지’ 문제로 제시한다. 천문학의 SDSS, 입자 물리학의 CMS, 생물학의 GenBank 등은 테라바이트·페타바이트 규모의 데이터를 생성한다. 데이터 이동 비용이 연산 비용을 초과하는 상황에서, 워크플로우 시스템은 데이터 로컬리티를 고려한 스케줄링, 자동 캐시·복제, 그리고 데이터‑aware 자원 할당 전략을 구현해야 한다. 4절에서는 슈퍼컴퓨터와 그리드 컴퓨팅의 역할 변화를 살펴본다. 전통적인 슈퍼컴퓨터는 전용 MPI 기반의 tightly‑coupled 작업에 최적화돼 있었지만, 다코어·다노드 설계와 비용 절감 추세로 인해 이제는 loosely‑coupled 워크플로우도 실행 가능해졌다. 그리드 환경은 이기종 자원과 가상 조직을 연결해 데이터‑intensive와 compute‑intensive 작업을 모두 지원한다. 따라서 현대 SWFS는 두 인프라를 투명하게 연계하는 하이브리드 스케줄러가 필요하다. 5절에서는 기존·신흥 워크플로우 기술을 정리한다. DAGMan·Pegasus는 DAG 기반의 작업 흐름을 관리하고, Taverna는 바이오인포매틱스 서비스 지향 모델을 제공한다. Kepler와 Triana는 시각적 워크벤치를 갖추었으며, VisTrails는 워크플로우 진화와 버전 관리를 지원한다. MapReduce는 대규모 데이터 처리에 특화된 단순 프로그래밍 모델을 제공하고, Fortress는 HPC를 위한 고수준 수학 언어를 제시한다. Microsoft WWF는 애플리케이션 내부 워크플로우 프레임워크이지만 관리·모니터링 기능이 부족하다. Star‑P는 MATLAB·Python·R 등 친숙한 환경에서 병렬 지시자를 통해 작업을 스케줄링한다. Swift는 SwiftScript라는 스크립트 언어와 CoG Karajan 엔진, Falkon 경량 실행 서비스를 결합해 데이터‑aware 스케줄링과 동적 자원 프로비저닝을 구현한다. 6절에서는 차세대 과학 워크플로우 시스템에 대한 요구를 제시한다. 멀티코어와 분산 컴퓨팅, 급증하는 데이터 규모를 고려할 때, 워크플로우 언어는 암시적 병렬성을 지원하고, 컴파일러가 데이터 의존성을 자동 분석해 작업을 병렬화해야 한다. 또한, 데이터‑aware 스케줄러와 동적 자원 할당, 프로벤런스와 재현성을 동시에 보장하는 메커니즘이 필수적이다. 기존 시스템은 각각 장점을 가지고 있으나, 모든 요구를 충족시키지는 못한다. 따라서 새로운 플랫폼은 기존 엔진을 모듈식으로 결합하고, 고성능 컴퓨팅(HPC)과 클라우드·그리드 자원을 투명하게 활용할 수 있는 추상화 계층을 제공해야 한다. 논문은 이러한 방향성을 제시하며, 과학 워크플로우가 단순 작업 흐름을 넘어 대규모 데이터·연산·프로벤런스를 통합 관리하는 고성능 분산 어플리케이션으로 진화해야 함을 강조한다.