GEO
DeepSeek

DeepSeek FlashMLA代码分析：揭秘未公开的MODEL1高效推理架构

2026/1/23
DeepSeek FlashMLA代码分析：揭秘未公开的MODEL1高效推理架构
AI Summary (BLUF)

DeepSeek's FlashMLA repository reveals two distinct model architectures: V3.2 optimized for maximum performance and precision, and MODEL1 designed for efficiency and deployability with lower memory footprint and specialized long-sequence handling. (DeepSeek的FlashMLA代码库揭示了两种不同的模型架构：V3.2针对最大性能和精度优化，而MODEL1则针对效率和可部署性设计，具有更低的内存占用和专门的长序列处理能力。)

引言

近日，DeepSeek 官方 GitHub 仓库的更新引发了技术社区的广泛关注。通过对 deepseek-ai/FlashMLA 仓库中 114 个代码文件的深入分析，一个此前未公开的模型架构标识——“MODEL1”——浮出水面。该标识在代码中被提及 31 次，揭示了 DeepSeek 在下一代模型研发上的重要布局。本分析旨在基于现有代码，客观解析 MODEL1 的技术特征、设计目标及其与已知的 DeepSeek-V3.2 架构的关键差异。

近日，DeepSeek 官方 GitHub 仓库的更新引发了技术社区的广泛关注。通过对 deepseek-ai/FlashMLA 仓库中 114 个代码文件的深入分析，一个此前未公开的模型架构标识——“MODEL1”——浮出水面。该标识在代码中被提及 31 次，揭示了 DeepSeek 在下一代模型研发上的重要布局。本分析旨在基于现有代码，客观解析 MODEL1 的技术特征、设计目标及其与已知的 DeepSeek-V3.2 架构的关键差异。

核心发现概览

分析表明，MODEL1 是 DeepSeek FlashMLA 框架中支持的两个主要模型架构之一，另一个是已公开的 DeepSeek-V3.2。与追求极致性能与精度的 V3.2 不同，MODEL1 的设计哲学明显偏向于高效推理与广泛部署。其技术实现涉及 KV 缓存布局、量化策略和硬件优化等多个核心方向的差异化设计。

分析表明，MODEL1 是 DeepSeek FlashMLA 框架中支持的两个主要模型架构之一，另一个是已公开的 DeepSeek-V3.2。与追求极致性能与精度的 V3.2 不同，MODEL1 的设计哲学明显偏向于高效推理与广泛部署。其技术实现涉及 KV 缓存布局、量化策略和硬件优化等多个核心方向的差异化设计。

MODEL1 与 V3.2 的关键差异

1. 架构定位与设计目标

从代码结构和配置来看，MODEL1 并非 V3.2 的简单缩小版或轻量版，而是一个具有不同架构选择的分支。

  • V3.2: 定位为旗舰性能模型，追求在预训练和推理阶段的最高 TFlops 表现和精度。
  • MODEL1: 定位为高效推理模型，核心目标是降低内存占用、提升效率，并增强在边缘设备或成本敏感场景下的可部署性。同时，其配置也暗示它可能是一个针对长序列（16K+ tokens）优化的专家模型，适用于文档理解、代码分析等长上下文任务。

从代码结构和配置来看，MODEL1 并非 V3.2 的简单缩小版或轻量版，而是一个具有不同架构选择的分支。

  • V3.2: 定位为旗舰性能模型，追求在预训练和推理阶段的最高 TFlops 表现和精度。
  • MODEL1: 定位为高效推理模型，核心目标是降低内存占用、提升效率，并增强在边缘设备或成本敏感场景下的可部署性。同时，其配置也暗示它可能是一个针对长序列（16K+ tokens）优化的专家模型，适用于文档理解、代码分析等长上下文任务。

2. 核心参数与量化策略

在 csrc/api/sparse_decode.h 中，代码通过 Query-Key 维度 (d_qk) 自动识别模型类型，这直接反映了两者的根本差异：

参数项 DeepSeek-V3.2 MODEL1 差异分析
Query-Key 维度 (d_qk) 576 512 MODEL1 设计更紧凑，计算和存储开销更低。
NoPE 维度 512 448 进一步降低了模型复杂度。
量化粒度 128 字节 64 字节 MODEL1 使用更细粒度的量化。
量化瓦片数量 4 7 量化策略不同，可能影响精度与速度的权衡。
量化尺度存储格式 未明确（推测为 fp16/bf16） fp8_e8m0fnu 关键差异。MODEL1 使用 FP8 格式存储量化尺度，相比传统 FP32/FP16，节省了约 75% 的存储空间，对内存带宽敏感的应用至关重要。

在 csrc/api/sparse_decode.h 中，代码通过 Query-Key 维度 (d_qk) 自动识别模型类型，这直接反映了两者的根本差异：

参数项 DeepSeek-V3.2 MODEL1 差异分析
Query-Key 维度 (d_qk) 576 512 MODEL1 设计更紧凑，计算和存储开销更低。
NoPE 维度 512 448 进一步降低了模型复杂度。
量化粒度 128 字节 64 字节 MODEL1 使用更细粒度的量化。
量化瓦片数量 4 7 量化策略不同，可能影响精度与速度的权衡。
量化尺度存储格式 未明确（推测为 fp16/bf16） fp8_e8m0fnu 关键差异。MODEL1 使用 FP8 格式存储量化尺度，相比传统 FP32/FP16，节省了约 75% 的存储空间，对内存带宽敏感的应用至关重要。

3. KV 缓存 (KVCache) 优化

根据 tests/quant.py 中的配置，两者的 KVCache 布局也不同：

  • V3.2: 每个 token 的 KVCache 大小为 592 字节。
  • MODEL1: 每个 token 的 KVCache 大小为 584 字节。

分析：MODEL1 为每个 token 节省了 8 字节的 KV 缓存。虽然单看微不足道，但在处理 32K 长度的长序列时，可累计节省约 256KB 的显存。这对于显存受限的边缘设备部署或大规模并发服务场景具有实际意义，能直接降低硬件成本和提升系统容量。

根据 tests/quant.py 中的配置，两者的 KVCache 布局也不同：

  • V3.2: 每个 token 的 KVCache 大小为 592 字节。
  • MODEL1: 每个 token 的 KVCache 大小为 584 字节。

分析：MODEL1 为每个 token 节省了 8 字节的 KV 缓存。虽然单看微不足道，但在处理 32K 长度的长序列时，可累计节省约 256KB 的显存。这对于显存受限的边缘设备部署或大规模并发服务场景具有实际意义，能直接降低硬件成本和提升系统容量。

硬件支持与优化倾向

代码库显示了对多代 NVIDIA GPU 架构的完整支持，其中 MODEL1 的优化路径尤为值得关注：

  1. SM90 架构 (H100/H200):

    • 提供了两个高度优化的内核实现：model1_persistent_h64.cu (64头) 和 model1_persistent_h128.cu (128头)。这表明 MODEL1 在该架构上已有成熟的性能配置。

  2. SM100 架构 (B200):

    • 有针对 Head64 的专门内核实现。
    • 关键发现：代码中 SM100 的 Head128 实现仅支持 MODEL1，而不支持 V3.2。这是一个强烈的信号，表明 DeepSeek 正在为新一代 GPU 硬件（如 B200）专门且优先地优化 MODEL1 架构。这或许意味着 MODEL1 的某些设计特性（如更紧凑的维度、FP8量化）与 B200 的硬件特性（如更高的 FP8 算力、内存子系统）更为契合。

代码库显示了对多代 NVIDIA GPU 架构的完整支持，其中 MODEL1 的优化路径尤为值得关注：

  1. SM90 架构 (H100/H200):

    • 提供了两个高度优化的内核实现：model1_persistent_h64.cu (64头) 和 model1_persistent_h128.cu (128头)。这表明 MODEL1 在该架构上已有成熟的性能配置。

  2. SM100 架构 (B200):

    • 有针对 Head64 的专门内核实现。
    • 关键发现：代码中 SM100 的 Head128 实现仅支持 MODEL1，而不支持 V3.2。这是一个强烈的信号，表明 DeepSeek 正在为新一代 GPU 硬件（如 B200）专门且优先地优化 MODEL1 架构。这或许意味着 MODEL1 的某些设计特性（如更紧凑的维度、FP8量化）与 B200 的硬件特性（如更高的 FP8 算力、内存子系统）更为契合。

测试配置揭示的应用场景

测试文件进一步明确了 MODEL1 的目标应用场景：

  • 稀疏解码测试：MODEL1 拥有 4 个测试配置，覆盖 64 头和 128 头设置，序列长度固定为 16384 (16K tokens)，并支持两层稀疏注意力机制。这验证了其面向长序列、高效解码的设计初衷。

  • 预填充测试：MODEL1 有 2 个配置，输入序列长度范围从 8K 到 131K tokens，同样支持 64 和 128 头，动态 topk 值从 512 到 1024。这强烈表明 MODEL1 被设计用于处理超长文本的预填充阶段，特别适合需要高效处理长文档、代码库或进行复杂推理的任务。

测试文件进一步明确了 MODEL1 的目标应用场景：

  • 稀疏解码测试：MODEL1 拥有 4 个测试配置，覆盖 64 头和 128 头设置，序列长度固定为 16384 (16K tokens)，并支持两层稀疏注意力机制。这验证了其面向长序列、高效解码的设计初衷。

  • 预填充测试：MODEL1 有 2 个配置，输入序列长度范围从 8K 到 131K tokens，同样支持 64 和 128 头，动态 topk 值从 512 到 1024。这强烈表明 MODEL1 被设计用于处理超长文本的预填充阶段，特别适合需要高效处理长文档、代码库或进行复杂推理的任务。

结论与展望

本次代码分析表明，DeepSeek 通过 FlashMLA 项目，已经为其产品线规划了清晰的技术双路径：V3.2 代表性能巅峰，而 MODEL1 代表效率与可部署性的前沿。MODEL1 在架构参数、量化策略、内存布局和硬件优化上的针对性设计，都指向一个为实际生产环境、特别是边缘计算和长上下文处理场景深度优化的模型。

代码库中完整的测试套件、多架构支持以及高度的代码完整性，强烈暗示 MODEL1 已处于产品化推进的高级阶段。结合此前 DeepSeek 计划在 2 月中旬发布下一代旗舰模型的消息，我们有理由推测，MODEL1 很可能作为其新一代模型家族中的重要成员（可能是高效版或长上下文专用版）即将面世。它的出现，不仅丰富了 DeepSeek 的模型矩阵，也反映了行业向更高效、更专精、更易部署的大模型发展趋势。

本次代码分析表明，DeepSeek 通过 FlashMLA 项目，已经为其产品线规划了清晰的技术双路径：V3.2 代表性能巅峰，而 MODEL1 代表效率与可部署性的前沿。MODEL1 在架构参数、量化策略、内存布局和硬件优化上的针对性设计，都指向一个为实际生产环境、特别是边缘计算和长上下文处理场景深度优化的模型。

代码库中完整的测试套件、多架构支持以及高度的代码完整性，强烈暗示 MODEL1 已处于产品化推进的高级阶段。结合此前 DeepSeek 计划在 2 月中旬发布下一代旗舰模型的消息，我们有理由推测，MODEL1 很可能作为其新一代模型家族中的重要成员（可能是高效版或长上下文专用版）即将面世。它的出现，不仅丰富了 DeepSeek 的模型矩阵，也反映了行业向更高效、更专精、更易部署的大模型发展趋势。

注：本分析基于对 DeepSeek FlashMLA 开源代码的客观解读，所有结论均为技术推论，非官方发布信息。

标签
AI应用开发生成式AI大语言模型DeepSeekAI大模型
← 返回文章列表
分享到：微博
下一篇
FlashMLA：DeepSeek开源的高效MLA解码内核，专为NVIDIA Hopper GPU优化

版权与免责声明：本文仅用于信息分享与交流，不构成任何形式的法律、投资、医疗或其他专业建议，也不构成对任何结果的承诺或保证。

文中提及的商标、品牌、Logo、产品名称及相关图片/素材，其权利归各自合法权利人所有。本站内容可能基于公开资料整理，亦可能使用 AI 辅助生成或润色；我们尽力确保准确与合规，但不保证完整性、时效性与适用性，请读者自行甄别并以官方信息为准。

若本文内容或素材涉嫌侵权、隐私不当或存在错误，请相关权利人/当事人联系本站，我们将及时核实并采取删除、修正或下架等处理措施。 也请勿在评论或联系信息中提交身份证号、手机号、住址等个人敏感信息。