AI 스케일링 법칙이 재정의하는 현대 Amdahl 법칙과 하드웨어 특화 전략

이 논문은 현대 컴퓨팅 시스템이 직면한 “이기종·제한된 자원” 상황을 정량적으로 분석하기 위해 고전적인 Amdahl 법칙을 재구성한다. 전통적인 Amdahl 식 Speedup = 1/(1‑P + P/N) 은 동일한 코어를 복제하고, 작업을 고정된 직렬‑병렬 비율 P 로 나누는 가정을 전제로 한다. 그러나 오늘날의 GPU, TPU, 전용 텐서 엔진, 스파스 연산 유닛 등 다양한 하드웨어가 하나의 칩에 공존하고, 작업 자체도 규모가 커짐에 따라 추가 연산이 실제 성능·품질을 향상시키는 “가치‑스케일링” 특성을 보인다. 이를 반영하기 위해 저자는 세 변수 x, R, S 를 도입한다. x 는 전체 제한된 하드웨어 예산 중 특화 로직에 할당되는 비율이며, R 은 특화 로직이 프로그램 가능한 일반 연산 대비 제공하는 상대 효율성(예: 전용 매트릭스 곱셈 유닛이 일반 SIMD보다 10배 빠름)이다. S 는 “가치‑스케일링” 비율로, 추가 연산이 실제 작업 가치(정확도, 해상도, 강건성 등)를 증가시키는 부분을 의미한다. S 가 0이면 모든 연산이 가치‑한계에 도달해 더 이상 의미 있는 개선을 만들지 못하고, S 가 1이면 모든 연산이 계속 가치에 기여한다는 극단적 상황이다. 정규화된 실행 시간 모델은  T(x) = (1‑S)·