GEO
DeepSeek

DeepSeek开源FlashMLA：面向Hopper GPU的终极解码加速内核，大幅提升大模型推理效率

2026/1/23
DeepSeek开源FlashMLA：面向Hopper GPU的终极解码加速内核，大幅提升大模型推理效率
AI Summary (BLUF)

FlashMLA is an efficient MLA decoding kernel optimized for Hopper GPUs (specifically H800) and variable-length sequences, significantly accelerating inference for large language models. (FlashMLA是一款针对Hopper GPU（特别是H800）和可变长度序列优化的高效MLA解码内核，能大幅加速大语言模型的推理过程。)

引言

刚刚，备受瞩目的 DeepSeek 团队开源了他们“开源周”第一天的重磅项目。这个名为 FlashMLA 的开源项目在 GitHub 上发布不到半小时，便迅速获得了超过 300 颗星，引发了 AI 社区的高度关注。本文旨在深入解析这一技术发布的核心内容、技术原理及其对行业生态的潜在影响。

就在刚刚，备受瞩目的 DeepSeek 团队开源了他们“开源周”首日的重磅项目。这个名为 FlashMLA 的项目在 GitHub 上发布不到半小时，便迅速斩获超过 300 颗星，引发了 AI 社区的高度关注。本文旨在深入解析此次发布的核心内容、技术原理及其对行业生态的潜在影响。

核心概念解析：什么是 FlashMLA？

根据其 GitHub 仓库的描述，FlashMLA 的核心定位可以概括为一句话：

“FlashMLA is an efficient MLA decoding kernel for Hopper GPUs, optimized for variable-length sequences serving.”

根据其 GitHub 仓库的描述，FlashMLA 的核心定位可以概括为一句话：“FlashMLA 是一款面向 Hopper GPU 的高效 MLA 解码内核，并针对可变长度序列的服务场景进行了优化。”

这句话虽然简短，但信息密度极高。下面，我们将对其中的关键术语进行逐一拆解，以理解其技术内涵。

1. MLA 解码内核

这里的 “MLA” 指的是 Multi-head Latent Attention（多头潜在注意力）。这是 DeepSeek 此前在降低大模型推理成本方面的关键技术之一。本质上，FlashMLA 是一个专门为大模型解码阶段设计的注意力计算加速器。

这里的 “MLA” 指的是 Multi-head Latent Attention（多头潜在注意力）。这是 DeepSeek 此前在降低大模型推理成本方面的关键技术之一。本质上，FlashMLA 是一个专门为大模型解码阶段设计的注意力计算加速器。

大模型推理主要包含两个阶段：

  • 训练/预填充阶段：处理整个输入提示（prompt），生成初始的键值（KV）缓存。
  • 推理解码阶段：基于已有的 KV 缓存，以自回归的方式逐个生成后续的令牌（token）。

在解码阶段，模型需要反复从 KV 缓存中读取数据并进行注意力计算。随着生成序列长度的增加，这部分的内存访问和计算开销会呈爆炸式增长。因此，一个专门为解码阶段优化的高性能计算内核，能显著提升大模型的推理速度，这对于需要长上下文对话或处理长文档的应用场景至关重要。

大模型推理主要包含两个阶段：

  • 训练/预填充阶段：处理整个输入提示，生成初始的键值缓存。
  • 推理解码阶段：基于已有的 KV 缓存，以自回归的方式逐个生成后续的令牌。

在解码阶段，模型需要反复从 KV 缓存中读取数据并进行注意力计算。随着生成序列长度的增加，这部分的内存访问和计算开销会呈爆炸式增长。因此，一个专门为解码阶段优化的高性能计算内核，能显著提升大模型的推理速度，这对于需要长上下文对话或处理长文档的应用场景至关重要。

2. 面向 Hopper GPU

“for Hopper GPUs” 指明了该内核的目标硬件平台。NVIDIA GPU 架构主要经历了以下几个重要世代：

  • Ampere 架构：2020年发布，NVIDIA 第七代 GPU 架构，主打通用计算和高性能 AI 训练/推理，代表型号为 A100。
  • Hopper 架构：2022年发布，NVIDIA 第九代 GPU 架构（跳过了第八代），是目前最新的架构，专为超大规模 AI 和超算设计，对 Transformer 类模型性能进行了显著优化，代表型号为 H100。

“面向 Hopper GPU” 指明了该内核的目标硬件平台。NVIDIA GPU 架构主要经历了以下几个重要世代：

  • Ampere 架构：2020年发布，NVIDIA 第七代 GPU 架构，主打通用计算和高性能 AI 训练/推理，代表型号为 A100。
  • Hopper 架构：2022年发布，NVIDIA 第九代 GPU 架构，是目前最新的架构，专为超大规模 AI 和超算设计，对 Transformer 类模型性能进行了显著优化，代表型号为 H100。

由于出口管制，国内能够广泛使用的是基于 Hopper 架构的H800 加速卡。因此，FlashMLA 可以理解为 DeepSeek 专门针对 NVIDIA H800 这一高端加速卡进行的深度硬件优化。根据其发布说明，在 H800 上，FlashMLA 能够实现 “3000 GB/s 的内存带宽利用率和 580 TFLOPS 的计算性能”，这意味着它在内存带宽和浮点算力两方面都逼近了硬件的理论极限，性能表现极为出色。

由于出口管制，国内能够广泛使用的是基于 Hopper 架构的H800 加速卡。因此，FlashMLA 可以理解为 DeepSeek 专门针对 NVIDIA H800 这一高端加速卡进行的深度硬件优化。根据其发布说明，在 H800 上，FlashMLA 能够实现 “3000 GB/s 的内存带宽利用率和 580 TFLOPS 的计算性能”，这意味着它在内存带宽和浮点算力两方面都逼近了硬件的理论极限，性能表现极为出色。

3. 针对可变长度序列优化

“optimized for variable-length sequences” 是 FlashMLA 的另一大亮点。在实际的服务场景中，用户的输入长度千差万别，且可能随时变化（例如，从简短问答切换到长文档分析）。传统的批处理（batch）优化往往针对固定长度的序列，在处理这种动态、不规则长度的输入时效率会下降。

“针对可变长度序列优化” 是 FlashMLA 的另一大亮点。在实际的服务场景中，用户的输入长度千差万别，且可能随时变化。传统的批处理优化往往针对固定长度的序列，在处理这种动态、不规则长度的输入时效率会下降。

FlashMLA 专门为此类 “动态序列” 场景进行了优化，确保即使在批次内各序列长度不一致的情况下，也能保持极高的计算效率。这使得它非常适合实际的生产部署环境，能够“开箱即用”地应对复杂的推理请求。

FlashMLA 专门为此类 “动态序列” 场景进行了优化，确保即使在批次内各序列长度不一致的情况下，也能保持极高的计算效率。这使得它非常适合实际的生产部署环境，能够“开箱即用”地应对复杂的推理请求。

技术背景与性能对比

DeepSeek 在致谢中提到，FlashMLA 的灵感来源于著名的 FlashAttention 系列工作。FlashAttention 通过优化 GPU 内存层次结构（SRAM、HBM）之间的数据移动，极大提升了注意力机制的计算效率。

DeepSeek 在致谢中提到，FlashMLA 的灵感来源于著名的 FlashAttention 系列工作。FlashAttention 通过优化 GPU 内存层次结构之间的数据移动，极大提升了注意力机制的计算效率。

根据社区初步的对比分析，FlashMLA 的性能相比 FlashAttention-2 有接近 2 倍的提升。更值得注意的是，其性能甚至能逼近专为 H100 优化的 FlashAttention-3，而 FlashMLA 是针对性能稍弱的 H800 进行优化的。这充分体现了 DeepSeek 团队在底层内核优化方面深厚的技术功底，能够将特定硬件的潜能“榨干”。

根据社区初步的对比分析，FlashMLA 的性能相比 FlashAttention-2 有接近 2 倍的提升。更值得注意的是，其性能甚至能逼近专为 H100 优化的 FlashAttention-3，而 FlashMLA 是针对性能稍弱的 H800 进行优化的。这充分体现了 DeepSeek 团队在底层内核优化方面深厚的技术功底，能够将特定硬件的潜能“榨干”。

战略意义与生态影响

FlashMLA 的开源并非孤立事件。它与此前 DeepSeek 发布的论文 《Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention》 在目标上可谓异曲同工。

FlashMLA 的开源并非孤立事件。它与此前 DeepSeek 发布的论文 《Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention》 在目标上可谓异曲同工。

  • FlashMLA：聚焦于推理解码阶段，通过极致的内核优化实现“终极性能爆破”。
  • Native Sparse Attention：旨在对训练和推理进行更全面的“稀疏化改革”，从根本上降低计算复杂度。
  • FlashMLA：聚焦于推理解码阶段，通过极致的内核优化实现“终极性能爆破”。
  • Native Sparse Attention：旨在对训练和推理进行更全面的“稀疏化改革”，从根本上降低计算复杂度。

两者结合，清晰地传达了 DeepSeek 的技术战略：“无论训练还是推理，都要将硬件性能推向极限，打造最强大的 AI 基础设施。”

两者结合，清晰地传达了 DeepSeek 的技术战略：“无论训练还是推理，都要将硬件性能推向极限，打造最强大的 AI 基础设施。”

这对于整个 AI 生态，尤其是国内生态，是一件意义重大的好事：

  1. 降低技术门槛：顶尖的优化技术不再被闭源大厂垄断，广大研究者和企业可以基于此进行二次开发和创新。
  2. 释放硬件红利：通过软件优化充分挖掘现有硬件（如 H800）的潜力，相当于为行业带来了“免费的”性能提升。
  3. 推动技术进步：在高效注意力、长上下文处理、稀疏推理等关键方向上，开源项目将加速整个领域的技术突破。

这对于整个 AI 生态，尤其是国内生态，是一件意义重大的好事：

  1. 降低技术门槛：顶尖的优化技术不再被闭源大厂垄断，广大研究者和企业可以基于此进行二次开发和创新。
  2. 释放硬件红利：通过软件优化充分挖掘现有硬件（如 H800）的潜力，相当于为行业带来了“免费的”性能提升。
  3. 推动技术进步：在高效注意力、长上下文处理、稀疏推理等关键方向上，开源项目将加速整个领域的技术突破。

一个通俗的类比是：这好比苹果为 iPhone 的 GPU 进行了深度调教，让游戏运行更流畅。而 DeepSeek 所做的，是为 AI 大模型对 H800 GPU 进行深度调教，榨取出其极限性能，以换取更快的推理和训练速度。

一个通俗的类比是：这好比苹果为 iPhone 的 GPU 进行了深度调教，让游戏运行更流畅。而 DeepSeek 所做的，是为 AI 大模型对 H800 GPU 进行深度调教，榨取出其极限性能，以换取更快的推理和训练速度。

结语

DeepSeek 此次开源 FlashMLA，展现了其深耕底层技术、积极回馈社区的决心与实力。敢于触碰硬件极限，并将核心成果以论文和代码的形式高频次公开，这种行为值得敬佩。

DeepSeek 此次开源 FlashMLA，展现了其深耕底层技术、积极回馈社区的决心与实力。敢于触碰硬件极限，并将核心成果以论文和代码的形式高频次公开，这种行为值得敬佩。

这仅仅是其“开源周”的第一天。可以预见，后续几天可能会有更多令人惊叹的技术成果发布。对于广大开发者和研究者而言，这是一个积极参与、学习和共建的绝佳机会。在缺乏最顶级硬件资源的客观条件下，通过极致的软件和算法优化，“打下那一片天”正是中国 AI 社区展现出的强大韧性。

这仅仅是其“开源周”的第一天。可以预见，后续几天可能会有更多令人惊叹的技术成果发布。对于广大开发者和研究者而言，这是一个积极参与、学习和共建的绝佳机会。在缺乏最顶级硬件资源的客观条件下，通过极致的软件和算法优化，“打下那一片天”正是中国 AI 社区展现出的强大韧性。

感谢 DeepSeek 的贡献，它用实际行动诠释了何为真正的“开源精神”。

感谢 DeepSeek 的贡献，它用实际行动诠释了何为真正的“开源精神”。

本文基于 DeepSeek 开源项目 FlashMLA 的公开信息进行解读。
项目地址：https://github.com/deepseek-ai/FlashMLA

本文基于 DeepSeek 开源项目 FlashMLA 的公开信息进行解读。
项目地址：https://github.com/deepseek-ai/FlashMLA

标签
生成式AI大语言模型DeepSeekAI推理AI大模型
← 返回文章列表
分享到：微博
下一篇
FlashMLA：DeepSeek高性能注意力内核库，驱动V3模型实现660 TFLOPS

版权与免责声明：本文仅用于信息分享与交流，不构成任何形式的法律、投资、医疗或其他专业建议，也不构成对任何结果的承诺或保证。

文中提及的商标、品牌、Logo、产品名称及相关图片/素材，其权利归各自合法权利人所有。本站内容可能基于公开资料整理，亦可能使用 AI 辅助生成或润色；我们尽力确保准确与合规，但不保证完整性、时效性与适用性，请读者自行甄别并以官方信息为准。

若本文内容或素材涉嫌侵权、隐私不当或存在错误，请相关权利人/当事人联系本站，我们将及时核实并采取删除、修正或下架等处理措施。 也请勿在评论或联系信息中提交身份证号、手机号、住址等个人敏感信息。