FlashInfer-Bench: Building the Virtuous Cycle for AI-driven LLM Systems
FlashInferโBench ๋ ผ๋ฌธ์ โAIโgenerated GPU kernelโ์ด๋ผ๋ ์ต์ ์ฐ๊ตฌ ํ๋ฆ์ ์ค์ ์๋น์ค ํ๊ฒฝ์ ์ ์ฉํ๊ธฐ ์ํ ์ธํ๋ผ์คํธ๋ญ์ฒ ์ค๊ณ๋ผ๋ ๊ด์ ์์ ๋งค์ฐ ์๋ฏธ ์๋ ๊ธฐ์ฌ๋ฅผ ํ๊ณ ์๋ค. ์ฒซ ๋ฒ์งธ ํต์ฌ์ FlashInfer Trace ๋ผ๋ ๋ฉํ๋ฐ์ดํฐ ์คํค๋ง์ด๋ค. ๊ธฐ์กด์ LLM์ด ์์ฑํ ์ฝ๋๋ฅผ ๋จ์ํ ํ ์คํธ๋ก ์ ์ฅํ๊ณ ์ธ๊ฐ์ด ์๋์ผ๋ก ๊ฒ์ฆํ๋ ๋ฐฉ์์ ํ์ฅ์ฑ์ด ๋จ์ด์ง๋ค. Trace๋ ์ปค๋ ์ธํฐํ์ด์ค(์ ์ถ๋ ฅ ํ ์ ํํ, ๋ฉ๋ชจ๋ฆฌ ์๊ตฌ๋), ์ํฌ๋ก๋ ํน์ฑ(๋ฐฐ์น ํฌ๊ธฐ, ์ํ์ค ๊ธธ์ด), ๊ตฌํ ์ธ๋ถ์ฌํญ(์ธ์ด, ์ปดํ์ผ ์ต์ )




























