GEOZ

Entity

自定义低比特 kernel

为三值权重专门编写的计算内核,用于在特定硬件上高效执行矩阵运算。Ternary Bonsai 2 27B 的 CUDA 和 MLX 路径都依赖此类 kernel,导致无法直接使用现成推理客户端。

术语属性

  • 支持路径NVIDIA CUDA、Apple MLX
  • 限制需要自行处理硬件适配、编译环境和推理框架

相关文章