GEOZ

Entity

Radix Attention

SGLang采用的注意力机制，使用基数树管理KV缓存，实现请求间缓存共享

术语属性

  • 技术原理：基数树缓存管理
  • 性能提升：缓存命中率提高3-5倍
  • 优势：减少重复计算，降低延迟

相关文章

SGLang vs vLLM 实测：同台机器跑 Llama-3，谁更快？