Entity

ring cache

环形KV缓存机制,35层中15层拥有键值、20层复用,通过注意力掩码屏蔽空槽或窗口外位置,使每一步都是相同程序。

术语属性

  • totalLayers:35
  • kvLayers:15
  • reuseLayers:20

相关文章