Entity

ExLlamaV2

一种量化推理框架，可将大参数模型压缩到消费级GPU显存中运行，支持高效的无训练模型实验。