GEOZ

Entity

TTFT

首字出词时间，衡量推理引擎响应速度的关键指标

术语属性

  • 全称：Time To First Token
  • 重要性：影响用户体验的关键延迟指标
  • 测试表现：vLLM在Llama3.1-70B测试中表现最优

相关文章

SGLang vs vLLM 实测：同台机器跑 Llama-3，谁更快？