GEOZ

Entity

HCA (Heavy Compression Attention)

重度压缩注意力,以更大压缩比将KV条目合并为单个条目,保持密集注意力进一步降低计算量。

相关文章