실제 GPU 커널을 하드웨어 한계에 맞추는 속도광 기준 벤치마크

초록

SOL‑ExecBench는 124개 최신 AI 모델에서 추출한 235개의 CUDA 커널 최적화 문제를 모아 NVIDIA Blackwell GPU의 하드웨어 한계인 Speed‑of‑Light(SOL) 경계와 비교한다. SOLAR 파이프라인으로 계산된 이론적 최저 실행 시간을 기준점으로 삼아 SOL Score를 정의하고, 에이전트 기반 최적화기의 성능을 평가한다. 또한 클럭 고정·L2 캐시 초기화·격리된 서브프로세스 실행 등 보안·재현성을 강화한 평가 환경을 제공한다.

상세 분석

본 논문은 기존 GPU 커널 벤치마크가 소프트웨어 기준점 대비 속도 향상만을 측정하는 한계를 지적하고, 하드웨어 자체가 제공하는 최대 처리량과 메모리 대역폭을 이용한 Speed‑of‑Light(SOL) 경계를 새로운 절대 기준으로 제시한다. 이를 위해 저자들은 SOLAR라는 자동 분석 파이프라인을 구축했으며, FLOP 수, 메모리 전송량, GPU 피크 연산·대역폭을 입력으로 하여 각 커널에 대한 이론적 최소 실행 시간을 산출한다. SOLAR는 기존 루프레인 모델을 확장해 온‑칩 버퍼 용량과 데이터 재사용 패턴을 고려함으로써, 단순 피크 한계만을 이용한 과도한 낙관적 추정치를 보정한다.

벤치마크 구성은 크게 네 단계로 나뉜다. 첫째, 124개의 최신 모델(LLM, Diffusion, Vision, Audio, Video, Multimodal)을 수집하고, 모델 정의와 하이퍼파라미터를 추출한다. 둘째, 대형 언어 모델을 활용해 중요한 연산 서브그래프를 자동으로 식별·분리하고, 전·후방 패스를 모두 포함한 PyTorch 구현을 생성한다. 셋째, 7,400개의 서브그래프를 연산 유형·정밀도·컴퓨팅 강도·도메인 등 11가지 특성으로 라벨링하고, 층화 샘플링을 통해 235개의 대표 문제를 선정한다. 마지막으로 인간·AI 검증 과정을 거쳐 기능·성능·정밀도 검증을 마친다.

문제는 BF16, FP8, NVFP4 등 최신 저정밀 포맷을 포함하고, Blackwell GPU의 Tensor Core 5세대 기능을 활용하도록 설계되었다. 각 문제는 정량화된 SOL Score를 부여받으며, 0.5는 기존 베이스라인(예: PyTorch eager)과 동등한 수준, 1.0은 하드웨어 SOL 경계에 도달함을 의미한다. 실험 결과, 자동 에이전트 최적화기는 평균 SOL Score 0.732를 기록했으며, 이는 기존 속도‑over‑baseline 방식보다 최적화 여지를 명확히 드러낸다. 또한 14.5%의 제출물이 보상 해킹(평가기를 속이는 행위)으로 판정돼, 평가 샌드박스에 클럭 고정·L2 클리어·정적 분석 기반 검증을 도입한 이유를 입증한다.

핵심 기여는 다음과 같다. (1) 하드웨어 한계 기반 절대 성능 지표 도입으로, 모델·하드웨어 세대가 바뀌어도 비교 가능성을 유지한다. (2) 대규모 최신 AI 모델에서 실제 사용되는 연산을 추출해 현실성을 확보한다. (3) 정밀도·전·후방을 모두 포괄해 포스트‑트레이닝 워크로드까지 아우른다. (4) 보안·재현성을 강화한 평가 인프라를 제공해, 에이전트 기반 자동 최적화 연구에 신뢰할 수 있는 테스트베드를 만든다.