DeepSeek V4前瞻：代码提交揭示下一代AI模型的架构革新与编程能力飞跃

近期，深度求索（DeepSeek）在 GitHub 代码库的更新以及新研究论文的发布，引发了关于其下一代旗舰 AI 模型 DeepSeek V4DeepSeek正在开发的新一代旗舰AI模型，预计具备更强的编程能力，计划于2025年2月发布。 即将问世的热议。据报道，该模型可能于 2 月中旬农历新年期间发布，并着重增强代码能力。1 月 20 日正值 DeepSeek-R1 发布一周年，开发者们在其 FlashMLA 代码库中发现了一次重要更新。在更新的 114 个文件中，有 28 处提及了一个未知的大模型标识符“MODEL1DeepSeek FlashMLA中支持的高效推理模型架构，针对可部署性和内存效率优化”。该标识符与已知的现有模型“V32”（即 DeepSeek-V3.2）被并列或区别提及。对代码上下文的分析表明，“MODEL1”很可能代表着一个与现有架构不同的新模型。

代码中的线索：剖析“MODEL1”的技术差异

开发者对代码提交的分析表明，“MODEL1”与“V32”在几个关键技术领域存在差异。这些区别主要体现在键值（KV）缓存大型语言模型中用于存储注意力机制中键（Key）和值（Value）向量的缓存机制，影响模型推理时的内存使用和计算效率。的布局、稀疏性处理方式以及对 FP8 数据格式的解码支持等方面。这些差异表明，新架构可能针对内存使用和计算效率进行了专门的优化设计。

关键技术差异点分析

代码中发现的具体技术差异为 DeepSeek V4 的潜在进展提供了切实的线索：

1. KV 缓存布局优化：模型管理 KV 缓存（用于存储文本生成过程中的中间状态）方式的改变，可能对长上下文任务的内存占用和推理速度产生重大影响。
2. 先进的稀疏性处理：稀疏性技术的修改表明可能存在更高效的激活模式，有望在不牺牲模型性能的前提下减少计算负载。
3. 原生 FP8 解码支持：在解码阶段明确支持 8 位浮点数（FP8）格式，表明其致力于实现更低精度、更高速度的推理，这对于降低部署成本和延迟至关重要。

研究论文的铺垫：新训练方法与记忆模块

除了代码提交，深度求索的研究团队还发布了两篇可能预示即将发布模型创新的技术论文。这些论文介绍了可能被整合进 DeepSeek V4 设计的新概念。

优化残差连接 (Modified Residual Connections, mHC)

第一篇论文介绍了一种名为“优化混合连接”（mHC）的新训练方法。该方法优化了 Transformer 模块内的标准残差连接，可能为超深模型带来更稳定的训练、更快的收敛速度以及更好的梯度流。

AI 记忆模块 (Engram)

第二篇论文详细介绍了一个受生物学启发的“AI 记忆模块”，名为 Engram。该模块旨在为模型提供一种更持久、结构化的记忆形式，超越标准 Transformer 的固定上下文窗口。它可能使模型能够在更长的交互或文档中维持和回忆信息，这是迈向更类人推理和知识保留的重要一步。

综合展望：DeepSeek V4 的潜在形态

种种证据的汇聚——神秘的“MODEL1”标识符及其注重效率的架构调整，以及关于 mHC 和 Engram 的突破性研究——勾勒出了 DeepSeek V4 令人期待的图景。我们有理由推测，新模型将不仅仅是其前代的规模扩大，而是一次战略性的重新设计。其目标似乎是打造一个不仅能力更强（尤其在代码领域）、而且在训练和部署上效率显著更高的模型。集成 Engram 记忆模块可能改变游戏规则，在长上下文理解和复杂多步骤任务性能上提供竞争优势。

AI 社区将密切关注农历新年期间的官方公告。如果这些技术迹象成为现实，DeepSeek V4 可能代表着在创建更强大、高效和持久的大语言模型方面的一次重大飞跃。

相关阅读：

• 《微软研报称 DeepSeek 在中国 AI 市场份额达 89%，在白俄罗斯达 56%》
• 《DeepSeek 开源大模型记忆模块：梁文锋署名新论文，下一代稀疏模型提前剧透》
• 《DeepSeek V4 大模型被曝春节前后发布：AI 编程能力超越 OpenAI GPT 及 Anthropic Claude》