GEOZ

Entity

SGLang

A framework or library that supports native FP8 inference for models like DeepSeek-V3.

相关文章

SGLang vs vLLM 实测：同台机器跑 Llama-3，谁更快？DeepSeek-V3震撼发布：性能比肩GPT-4o，生成速度提升3倍！