GEOZ

Entity

训练后量化

传统量化路线,模型训练完成后将权重映射到更粗的数值网格,误差只能靠标定数据事后补偿,常见方案如 GGUF Q4_K_M 和 AWQ 4 比特。

术语属性

  • 典型位宽4-4.5 比特
  • 27B 体积量级约 14-15GB
  • 相对全精度代价困惑度退化约 1%-2%

相关文章