Entity

分层卸载

一种内存优化技术,将大模型拆分为多个层,仅将当前推理所需的层加载到GPU内存,其他层存储在CPU和RAM中,按需交换。

相关文章