하둡 맵리듀스 성능 모델링과 최적 설정 가이드

본 기술 보고서는 하둡 맵리듀스 작업의 실행 과정을 **세밀한 단계별 모델링**을 통해 정량화한다. 먼저 1장에서는 모델에 필요한 파라미터를 세 종류로 구분한다. 1) **Hadoop Parameters** – 클러스터와 잡 설정(pNumNodes, pTaskMem, pSortMB 등) 2) **Profile Statistics** – 입력 데이터와 사용자 함수의 특성(sInputPairWidth, sMapSizeSel, sCombineSizeSel 등) 3) **Profile Cost Factors** – I/O, CPU, 네트워크 비용을 바이트·레코드당 시간으로 정의(cHdfsReadCost, cMapCPUCost 등) 각 파라미터는 표 1‑3에 정리되어 있으며, 조건부 초기화 규칙을 통해 combine 미사용·압축 비활성화 시 비용을 0으로 설정한다. **2장**에서는 맵 태스크의 다섯 단계 모델을 제시한다. - **Read & Map** 단계에서는 입력 스플릿을 읽고 압축 해제 후, `inputMapPairs × cMapCPUCost` 로 CPU 비용을 계산한다. - **Collect & Spill** 단계에서는 메모리 버퍼의 직렬화와 메타데이터 파트 용량을 각각 `maxSerPairs`, `maxAccPairs` 로 정의하고, 실제 Spill 발생 시점은 두 값과 전체 출력 레코드 수 중 최소값으로 결정한다. Spill 파일 수는 `ceil(outMapPairs / spillBufferPairs)` 로 산출하고, I/O 비용은 `numSpills × spillFileSize × cLocalIOCost`, CPU 비용은 파티셔닝·직렬화·정렬·Combine·압축 비용을 모두 합산한다. - **Merge** 단계는 Hadoop의 `pSortFactor` 파라미터에 따라 다중 라운드로 진행된다. 라운드별 읽기·쓰기·압축·CPU 비용을 상세히 모델링하고, 최종 Merge에서 Combine 사용 여부를 `useCombInMerge` 로 판단한다. 최종 중간 데이터 크기와 레코드 수는 식 (29)·(30) 으로 계산된다. 맵 전체 비용은 `IOCost Map = Read + (MapWrite if reducers=0 else Read+Spill+Merge)` 와 동일한 형태의 CPU 비용 식으로 합산한다. **3장**에서는 리듀스 태스크를 네 단계로 나눈다. - **Shuffle** 단계에서는 각 맵 파티션을 가져와 압축 해제하고, 메모리 버퍼(`shuffleBufferSize = pShuffleInBufPerc × pTaskMem`) 가 초과되면 디스크에 Spill‑Merge한다. 여기서는 세그먼트 크기와 압축 비율을 고려해 `segmentComprSize`, `segmentUncSize` 등을 계산한다. - **Merge** 단계는 Shuffle 단계에서 생성된 파일들을 다시 병합한다. 파일 수가 `2×pSortFactor‑1` 이상이면 병합 스레드가 활성화되고, 병합 파일 수와 크기를 `numShuffleMerges`, `mergeShufFileSize` 로 정의한다. 비용은 디스크 I/O와 CPU(압축·병합·Combine) 비용을 포함한다. - **Reduce** 단계는 사용자 정의 reduce 함수 실행 비용 `cReduceCPUCost` 로 모델링한다. - **Write** 단계는 최종 결과를 HDFS에 기록하며, 압축 여부에 따라 `cOutComprCPUCost` 와 `cHdfsWriteCost` 를 적용한다. 리듀스 전체 비용은 Shuffle, Merge, Reduce, Write 단계의 I/O·CPU 비용을 합산한다. **4장**에서는 전체 작업 비용을 맵과 리듀스 비용의 합으로 표현하고, 파라미터 변화에 따른 비용 민감도 분석 방법을 제시한다. 예를 들어 `pNumMappers` 를 늘리면 Spill 횟수가 감소하지만 네트워크 Shuffle 비용이 증가하고, `pSortMB` 를 크게 잡으면 메모리 사용량이 늘어나지만 디스크 I/O가 감소한다는 트레이드오프를 정량화한다. 마지막으로 논문은 **모델 활용 시나리오**를 제시한다. (1) **예측** – 주어진 입력 통계와 클러스터 설정으로 작업 실행 시간을 사전 추정한다. (2) **튜닝** – 비용 함수를 최소화하도록 `pNumReducers`, `pSortFactor`, `pSpillPerc` 등을 자동 탐색한다. (3) **시뮬레이션** – 새로운 하드웨어(SSD, 고속 네트워크) 도입 시 비용 변화를 시뮬레이션한다. 이와 같이 논문은 하둡 맵리듀스의 복잡한 내부 동작을 수학적으로 정형화함으로써, 실무 엔지니어가 **데이터 규모·클러스터 사양·작업 특성**을 종합적으로 고려해 최적의 설정을 선택하도록 돕는 실용적인 도구를 제공한다. 다만 모델은 평균적인 데이터 특성과 선형 비용 가정을 기반으로 하므로, 데이터 스키마가 크게 변하거나 비균형 파티셔닝이 심한 경우 추가 보정이 필요할 수 있다.