Entity

optillm

一个推理优化代理项目，SPL作为其开源插件实现，提供多种推理优化技术，可与各种OpenAI兼容的API配合使用。