Entity
三值量化
一种神经网络压缩方法,将权重限制为负一、零、正一三种取值,理论上仅需约 1.585 比特表示,实际平均位宽因分组缩放系数而略高。相比传统量化,三值同时降低访存压力和算术强度。
术语属性
- 典型位宽:1.6-1.8 比特
- 27B 体积量级:约 6GB
- 相对全精度代价:本模型报告 98.2% 保留
Entity
一种神经网络压缩方法,将权重限制为负一、零、正一三种取值,理论上仅需约 1.585 比特表示,实际平均位宽因分组缩放系数而略高。相比传统量化,三值同时降低访存压力和算术强度。