GEOZ

Entity

Paged Attention

vLLM的分页注意力机制，借鉴操作系统分页思想管理GPU内存

术语属性

  • 技术原理：KV缓存分块动态分配
  • 性能提升：内存效率提升3-4倍
  • 优势：减少内存碎片，支持更多并发请求

相关文章

SGLang vs vLLM 实测：同台机器跑 Llama-3，谁更快？