Entity

模型推理服务

用于高效部署和管理大模型推理，支持并发控制和分布式推理，常用框架有vLLM、TGI、Triton等。