GEOZ

Entity

Continuous Batching

连续批处理技术，动态将新请求加入处理批次，提高GPU利用率

术语属性

  • 实现方式：动态请求调度
  • 优势：避免GPU空闲，提升吞吐量
  • 应用框架：vLLM核心特性之一

相关文章

SGLang vs vLLM 实测：同台机器跑 Llama-3，谁更快？