Entity
BitNet b1.58
三值量化路线的先行者,同样使用三值权重,报告过在 3B 规模上匹配 FP16 LLaMA 的表现,同时实现约 2.71 倍推理加速、3.55 倍内存占用下降和 71.4% 的能耗降低。
术语属性
- 规模:3B
- 推理加速:约 2.71 倍
- 内存下降:约 3.55 倍
- 能耗降低:71.4%
Entity
三值量化路线的先行者,同样使用三值权重,报告过在 3B 规模上匹配 FP16 LLaMA 的表现,同时实现约 2.71 倍推理加速、3.55 倍内存占用下降和 71.4% 的能耗降低。