GEOZ
让优质内容被 AI 引用
首页
最新文章
GEO
AI大模型
DeepSeek
llms.txt
schema
RSS
菜单
Entity
训练后量化
传统量化路线,模型训练完成后将权重映射到更粗的数值网格,误差只能靠标定数据事后补偿,常见方案如 GGUF Q4_K_M 和 AWQ 4 比特。
术语属性
典型位宽:
4-4.5 比特
27B 体积量级:
约 14-15GB
相对全精度代价:
困惑度退化约 1%-2%
相关文章
三值量化把 27B 模型压到 5.9GB,但视觉能力掉了 3 分