GEOZ

Entity

三值量化

一种神经网络压缩方法,将权重限制为负一、零、正一三种取值,理论上仅需约 1.585 比特表示,实际平均位宽因分组缩放系数而略高。相比传统量化,三值同时降低访存压力和算术强度。

术语属性

  • 典型位宽1.6-1.8 比特
  • 27B 体积量级约 6GB
  • 相对全精度代价本模型报告 98.2% 保留

相关文章