Entity

llama-cpp-python

一个Python绑定库，用于在Xinference中支持GGUF和GGML格式的模型推理，可通过硬件特定标志（如CUDA、Metal）进行加速。