Entity

compressed-tensors

用于压缩和量化模型权重的库，本教程用其4-bit格式并在Rust中解包为bf16。