Entity

BMInf

大模型推理套件。一个实现大模型低成本、高效推理计算的工具。其突出特点是支持在消费级硬件（如单块GTX 1060显卡）上运行百亿参数级别的大模型进行推理。