GEOZ

Entity

多头潜在注意力 (Multi-head Latent Attention, MLA)

DeepSeek提出的注意力机制优化,通过低秩压缩减少KV缓存占用,提升推理效率。

相关文章