GEOZ

Entity

CSA (Compressed Sparse Attention)

压缩稀疏注意力,将每m个token的KV压缩为1个条目,通过稀疏选择降低长上下文计算量。

相关文章