跳到正文
GEOZ
让优质内容被 AI 引用
首页
GEO 分析工具
GEO知识库与问答
AI大模型
llms.txt
schema
RSS
菜单
Entity
分层卸载
一种内存优化技术,将大模型拆分为多个层,仅将当前推理所需的层加载到GPU内存,其他层存储在CPU和RAM中,按需交换。
相关文章
AirLLM:4GB GPU上运行700亿参数大模型的开源框架