GEOZ

Entity

Gated DeltaNet

一种线性注意力机制,用于低成本长上下文处理,与 Gated Attention 层混合构成 Qwen3.8-27B 的混合架构。

术语属性

  • 类型线性注意力
  • 头数48 V / 16 QK
  • 维度128

相关文章