DeepSeek 把 AI 推理成本打下来了：大模型八年进化实录：原理解析、实操步骤、常见问题与优化建议

核心洞察

这篇文章最有意思的点是，它把大模型过去八年的演进串成了一条完整的线——从TransformerA deep learning neural network architecture using self-attention mechanisms for sequence processing.到DeepSeek-R1An open-source reasoning large language model developed by DeepSeek that performs comparably to OpenAI o1 on mathematical, coding, and natural language reasoning tasks.，每个阶段的关键技术突破和背后的逻辑都说清楚了。DeepSeek把AI推理的成本拉下来这件事，确实值得关注，但开源模型的生态能不能真正追上闭源，还得再看看。

核心结论

DeepSeek-V3的训练成本仅为约560万美元，每百万输出token价格为2.19美元，约为OpenAI类似模型成本的1/30，其发布曾引发全球科技股市值蒸发约1万亿美元。
OpenAI-o1在数学推理上的表现远超GPTGenerative Pre-trained Transformer, a type of large language model developed by OpenAI for natural language processing tasks.-4o：在美国邀请数学考试中，o1-preview解决了83%的问题，而GPT-4o仅解决了13%。
DeepSeek-R1的使用成本比OpenAI的o1模型降低20到50倍，同时其在数学、编码和知识等基准测试中均表现出色，并且提供了1.5B至70B参数的精简版本。
LLaMA 3.1-405B模型首次缩小了开源/开放权重模型与闭源产品之间的性能差距，标志着开源生态在2023-2024年间的显著进步。

引言

2025年初，中国开源的高性价比大模型DeepSeek-R1一发布，整个AI圈子都炸了。这篇文章从头梳理了LLM的发展脉络，从2017年那个革命性的Transformer架构说起——它用自注意力机制Transformer架构的核心组件。它允许模型在处理序列数据时，为序列中每个位置分配不同的注意力权重，从而能够同时关注并捕捉序列中所有位置之间的依赖关系，无论距离远近。重新定义了自然语言处理。接着我们看到了BERTBidirectional Encoder Representations from Transformers, a pre-trained natural language processing model for deep bidirectional language understanding.和GPT这类模型的崛起，它们把上下文理解和文本生成能力推到了新高度，最后到了1750亿参数的GPT-3。文章还讲到怎么解决大模型“一本正经胡说八道”的问题，也就是幻觉——方法是监督微调（SFT）和基于人类反馈的强化学习（RLHFReinforcement Learning from Human Feedback, a training technique used to align AI models with human preferences.）。到了2023年，GPT-4这类多模态模型开始整合文本、图像和音频。而OpenAI-o1和DeepSeek-R1这样的推理模型，则在复杂问题求解上又往前推了一步。

1. 什么是语言模型？

语言模型就是能处理、理解和生成人类语言的AI系统。它们从大数据里学语言的模式和结构，然后能写出连贯且上下文相关的文本。翻译、摘要、聊天机器人、内容生成，都靠它们。

1.1 自回归语言模型

大多数大模型都是自回归的。什么意思呢？就是根据前面已经生成的词序列，去预测下一个词的概率分布。这种自回归特性让模型能抓住复杂的语言模式和依赖关系。数学上可以写成：

P(w₁ | w₁, w₂, ..., wₜ₋₁)

生成文本的时候，模型通过解码算法来决定下一个输出词。可以用贪心搜索，挑概率最高的那个词。也可以从预测的概率分布里随机采样——后一种方法会让每次生成的文本都不一样，这点跟人类语言的多样性和随机性很像。

1.2 生成能力

大模型的自回归特性让它们能一个词一个词地按顺序生成文本。从初始的提示词开始，模型一步步地预测下一个词，直到拼出完整序列或达到预设的停止条件。

要生成一个提示的完整回答，就得把前面选中的词不断加到输入里，反复去问模型。

这种生成能力支撑了很多应用，比如创意写作、对话式AI、还有自动化客服。

2. Transformer革命（2017）

2017年，Vaswani他们用一篇《Attention is All You Need》论文搞出了Transformer架构。这对NLP来说是标志性的事件。它解决了早期模型的核心短板——比如循环神经网络（RNN）和长短期记忆网络（LSTM）的长期依赖问题和顺序处理瓶颈。用RNN或LSTM做语言模型效率低，还容易出现梯度消失。Transformers直接干掉了这些障碍，给后来的大模型铺平了路。

2.1 Transformer架构的关键创新

自注意力机制：RNN得一个词一个词地顺序处理，跟长期依赖死磕。Transformers用自注意力来算每个词跟其他词之间的权重，这样模型就能动态关注输入里相关的部分。数学上：

Attention(Q,K,V) = softmax(QK^T / √d_k) V

这里Q、K、V分别是查询、键和值矩阵，d_k是键的维度。自注意力支持并行计算，既加快了训练速度，又提升了全局上下文的理解能力。
多头注意力：多个注意力头并行工作，每个头关注输入的不同方面。它们的输出再拼接和变换，这样就有了更丰富的上下文表示。
前馈网络和层归一化：每个Transformer层里，每个词都要经过前馈网络，还要做层归一化和残差连接。这些操作能稳定训练，支持更深的网络。
位置编码：Transformer本身不懂词的顺序，所以得给它加位置编码——用正弦和余弦函数来表示词的位置。这样既能保留序列信息，又不牺牲并行能力。

2.2 对语言建模的影响

可扩展性：Transformer支持完全并行计算，在大型数据集上训练大规模模型成了现实。
上下文理解：自注意力能捕捉局部和全局的依赖关系，文本的连贯性和上下文意识明显提升了。

Transformer架构的出现，给构建大规模、高效率的语言模型打下了基础。

3. 预训练Transformer模型的时代（2018-2020）

2017年Transformer架构的出现，给NLP带来了新纪元。这段时期的特点是预训练模型开始崛起，大家对“规模”这件事的关注达到了前所未有的高度。两个最有影响力的模型家族——BERT和GPT，就是在这时候出现的。

3.1 BERT：双向上下文理解（2018）

2018年，谷歌推出了BERT（来自Transformers的双向编码器表示）。它用Transformer的编码器在各种NLP任务上达到了当时的最好水平。以前的模型只能从左到右或从右到左单向看文本。BERT不一样，它采用双向训练，能同时从两个方向抓上下文。通过生成深度、上下文丰富的文本表示，BERT在文本分类、命名实体识别、情感分析这些任务上表现非常出色。

BERT的核心创新有两点：

掩码语言模型（MLM）：BERT不是去预测序列里的下一个词，而是被训练去预测句子中随机被遮盖的词。这逼得模型在做预测时必须综合考虑整个句子的上下文——前后文都得看。比如，在“The cat sat on the [MASK] mat”这个句子里，BERT就得根据周边语境去猜那个被遮住的词是“soft”。
下一句预测（NSP）：除了MLM，BERT还练了一个辅助任务——判断两个句子在文档里是不是连续的。这帮助BERT在回答问题、自然语言推理这类需要理解句子关系的任务上表现得很好。

BERT的影响：它的双向训练让它在GLUE和SQuAD这些基准测试上取得了突破。它的成功证明了上下文嵌入的重要性——就是词的表示会随着周边语境动态变化。这为新一代预训练模型开了路。

3.2 GPT：生成式预训练和自回归文本生成（2018-2020）

BERT优先考虑双向上下文理解，而OpenAI的GPT系列走了一条完全不同的路：通过自回归预训练专注在生成能力上。GPT模型用Transformer的解码器，把自己打造成自回归语言模型，专门干文本生成。

GPT-1（2018）

GPT的第一个版本发布在2018年。它是一个大规模Transformer模型，被训练去预测序列里的下一个词——跟传统语言模型一样。

单向自回归训练：GPT用因果语言建模目标来训练，只基于前面的词预测下一个词。这让它特别适合文本补全、摘要、对话生成这类生成任务。
下游任务的微调：GPT的一个关键贡献是，它可以针对特定下游任务做微调，不需要为每个任务改架构。只要加个分类头或者改改输入格式，GPT就能适应情感分析、机器翻译、问答这些任务。

GPT-2（2019）

在GPT的基础上，OpenAI又发布了GPT-2，参数规模扩大到15亿。GPT-2展现了让人印象深刻的零样本能力——也就是说，不需要针对特定任务做微调，它就能干那些活。比如，它可以写连贯的文章、回答问题、甚至翻译语言。

GPT-3（2020）

GPT-3的发布是个转折点。它有惊人的1750亿个参数，把大规模预训练的极限又推了一把。它的少样本和零样本学习能力很显眼——推理的时候给极少甚至不给例子，它就能干活。GPT-3的生成能力覆盖了创意写作、代码编写、复杂推理，展现了大模型的潜力。

3.3 GPT的影响和缩放的作用

GPT系列，尤其是GPT-3，标志着AI进入变革时代。它展示了自回归架构和生成能力的威力。这些模型为内容创作、对话代理、自动推理这些应用打开了新可能。GPT-3的1750亿参数证明了规模的深刻影响——在广泛数据集上训练的更大模型，确实能在很多任务上达到新的水准。

2018到2020年间，这个领域被“对规模的不懈追求”驱动着。研究人员发现，模型规模从几百万参数涨到几十亿参数的时候，它们更能抓住复杂模式，也能更好地泛化到新任务上。这种规模效应靠三个因素支撑：

数据集大小：大模型需要大数据来预训练。GPT-3就是在大量互联网文本上练出来的，学到了各种各样的语言模式和知识领域。
算力资源：GPU和TPU这类强大硬件，加上分布式训练技术，让有效训练几十亿参数的模型成了可能。
高效的架构：混合精度训练、梯度检查点这些创新降低了计算成本。

这个扩大规模的时代不光提升了语言模型的性能，还给AI的未来突破打下了基础。

4. 训练后的一致性：缩短人工智能与人类价值观之间的差距（2021-2022）

GPT-3这个1750亿参数的模型能生成跟人写的东西几乎没分别的文本。这引发了大家对AI生成内容真实性和可信度的担忧。虽然这是AI发展的重要里程碑，但也暴露了一个关键挑战：怎么确保这些模型符合人类价值观、偏好和期望。一个大问题是“幻觉”——模型生成的事实错误、荒谬或者跟输入提示矛盾的内容，给人感觉就是“一本正经胡说八道”。为了应对这些，研究人员在2021和2022年把精力放在了提高模型与人类意图的一致性和减少幻觉上，由此开发出了SFT和RLHF。

4.1 监督微调（SFT）

增强GPT-3对齐能力的第一步是监督微调（SFT），这也是RLHF框架里的基础组件。SFT有点像指令调优，就是在高质量的输入输出对或演示数据上训练模型，教它怎么遵循指令、生成想要的输出。

这些演示数据是精心挑选的，反映预期的行为和结果。模型学了这些，就能产生更准确、更贴合上下文的回答。

但SFT本身也有局限：

可扩展性：收集人工演示很费时间，特别是复杂或小众的任务。
性能：简单模仿人类行为，不保证模型能超过人类表现，或者能很好地泛化到没见过的任务。

为了克服这些，就需要更可扩展、更高效的方法。这就引出了下一步：RLHF。

4.2 基于人类反馈的强化学习（RLHF）

RLHF是OpenAI在2022年推出的。它解决了SFT在可扩展性和性能上的问题。SFT需要人类写完整的输出，RLHF只需要让人类对多个模型生成的输出按质量排序。这大大提高了数据收集和标注的效率，可扩展性强多了。

RLHF分两个关键阶段：

训练奖励模型：人类标注者对模型生成的多个输出排序，形成偏好数据集。这些数据用来训练一个奖励模型，让它学会根据人类反馈来评估输出质量。
用强化学习微调LLM：奖励模型用近端策略优化（PPO）这个强化学习算法来指导LLM微调。通过反复更新，模型学会生成跟人类偏好更一致的输出。

这个两阶段过程——结合SFT和RLHF——让模型不仅能准确遵循指令，还能适应新任务、不断改进。把人类反馈集成到训练循环里，大大增强了模型产出可靠、合乎人类期望的输出能力。

4.3 ChatGPT：推进对话式AI（2022）

2022年3月，OpenAI推出了GPT-3.5——这是GPT-3的升级版，架构一样，但训练和微调做了改进。关键改进包括通过更精细的数据来更好地预防幻觉，以及用更新、更多样的数据集来让模型响应更相关、更有上下文感知。

ChatGPT

基于GPT-3.5，OpenAI在2022年11月推出了ChatGPT。这是一个突破性的对话AI模型，专门针对自然的多轮对话做了微调。ChatGPT的主要改进包括：

对话焦点微调：在大量对话数据上训练过的ChatGPT，擅长保持对话的上下文和连贯性，交互起来更自然、更像真人。
RLHF：通过集成RLHF，ChatGPT学会了生成有用、诚实且无害的回答。人类训练师根据质量对回答排序，模型就能不断迭代提高。

ChatGPT的发布是AI的一个关键时刻，常被称为“ChatGPT时刻”。它展示了对话式AI改变人机交互的潜力。

5. 多模态模型：连接文本、图像及其他（2023-2024）

2023到2024年间，GPT-4V和GPT-4o这类多模态大模型把文本、图像、音频和视频集成到一个统一系统里，重新定义了AI。它们扩展了传统语言模型的能力，实现了更丰富的交互和更复杂的问题解决。

5.1 GPT-4V：视觉满足语言

2023年，OpenAI推出了GPT-4V，把GPT-4的语言能力和先进的计算机视觉结合起来了。它能解释图像、生成标题、回答视觉问题、推断视觉内容里的上下文关系。它的跨模态注意力机制让文本和图像数据无缝集成，在医疗（比如分析医学图像）和教育（比如互动学习工具）领域很有价值。

5.2 GPT-4o：全模态前沿

到2024年初，GPT-4o进一步整合了音频和视频输入。它在统一的表示空间里工作，可以转录语音、描述视频或用文本合成音频。实时交互和更强的创造力让它成为娱乐、设计这些行业的通用工具。

现实世界的影响

多模态大模型彻底改变了医疗（诊断）、教育（互动学习）和创意产业。它们处理不同模态的能力为创新打开了新的可能。

6. 开源和开放权重模型（2023-2024）

2023到2024年间，开源和开放权重的AI模型发展势头很猛，让先进AI技术的使用更民主化。

开放权重LLMs：公开提供模型权重，限制很小。可以微调和适配，但架构和训练数据不公开。适合快速部署。例子：Meta AI的LLaMA系列和Mistral AI的模型。
开源LLMs：底层代码和结构完全公开。可以充分理解、修改、定制，促进创新和适应性。例子：OPT和BERT。
社区驱动的创新：Hugging Face这类平台促进了协作。LoRA和PEFT这些工具实现了高效微调。社区为医疗、法律、创意领域开发了专门模型，同时关注伦理AI实践。

开源社区现在很活跃，因为出现了很多前沿的对齐技术。越来越多的优秀开放权重模型被发布。闭源模型和开放权重模型之间的差距在稳步缩小。LLaMA 3.1-405B模型第一次缩小了跟闭源产品的差距。

7. 推理模型：从系统1到系统2思维的转变（2024）

2024年，AI的发展开始强调增强推理能力——从简单的模式识别转向更具逻辑性和结构化的思维过程。这种转变受认知心理学双过程理论影响，把思维分成系统1（快速、直觉）和系统2（缓慢、分析）。以前的模型像GPT-3和GPT-4，擅长系统1的任务比如文本生成，但在更深层的推理和解决问题上还有差距。

7.1 OpenAI-o1：推理能力的飞跃

OpenAI的o1模型在2024年12月发布，目标就是改善AI推理，尤其是在代码生成和调试这类复杂任务上。o1的关键特征是通过思维链（CoT）过程来增强推理——它能把复杂问题分解成更小、更易处理的步骤。

推理时间计算和功能

CoT：o1模型在给出答案前会花额外时间“思考”，产生一系列思维步骤。这增强了复杂推理能力，尤其是在科学和数学方面。模型的准确度和它回答前花在思考上的计算量呈对数关系。
变体：o1模型家族包括o1、o1-mini和o1 pro。o1-mini比o1-preview更快、更具成本效益，适合编程和STEM相关任务，只是世界知识没o1-preview那么广。
性能：o1-preview在物理、化学、生物学的基准测试上达到了博士水平。在美国邀请数学考试里，它解决了83%的问题——GPT-4o只解决了13%。在Codeforces编码竞赛里它排到第89百分位。

OpenAI-o1的发布是AI发展的又一个关键时刻。它展示了把生成和推理能力结合起来的可能性，让模型能更像人类一样思考和行动。

8. 经济高效的推理模型：DeepSeek-R1（2025）

大模型通常需要极其庞大的计算资源来训练和推理。GPT-4o和OpenAI-o1这类最先进的模型又是闭源的，限制了尖端AI的民主化访问。

8.1 DeepSeek-V3

2024年12月下旬，DeepSeek-V3作为一款成本效益高的开放权重LLM出现了。它可以跟OpenAI的ChatGPT这类顶级方案媲美，但开发成本低得多——大约560万美元，只是西方公司投入的一小部分。这个模型有6710亿个总参数，其中370亿个是活跃参数。它用了混合专家架构，把模型划分为数学、编码等任务的专门组件，减轻了训练负担。DeepSeek-V3结合了工程效率，比如改进了键值缓存管理，并进一步推动了混合专家方法。它引入了三个关键架构创新：

多头潜在注意力（MLA）：通过压缩注意力键和值来减少内存使用，同时用旋转位置嵌入增强位置信息。
DeepSeek混合专家（DeepSeekMoE）：在前馈网络里混合使用共享和路由专家，提高效率，平衡专家利用率。
多token预测：增强模型生成连贯和上下文相关输出的能力，特别是复杂序列生成任务。

DeepSeek-V3一发布，全球科技股直接跳水，市值可能蒸发了一万亿美元。英伟达股票在盘前跌了13%。DeepSeek-V3的价格是每百万输出token2.19美元，大约是OpenAI类似模型成本的1/30。

8.2 DeepSeek-R1-Zero和DeepSeek-R1

仅仅一个月后，也就是2025年1月下旬，DeepSeek又发布了DeepSeek-R1-Zero和DeepSeek-R1。它们在极低的训练成本下展现了出色的推理能力。用先进的强化学习技术，这些模型证明高性能推理不一定需要那种高得离谱的计算费用。这个突破巩固了DeepSeek作为高效可扩展AI创新领导者的位置。

DeepSeek-R1-Zero：基于DeepSeek-V3构建，通过强化学习增强推理能力。它完全跳过了监督微调阶段，直接从一个叫DeepSeek-V3-Base的预训练模型开始。它用了一种基于规则的强化学习方法——组相对策略优化（GRPO），根据预定义的规则计算奖励，让训练过程更简单、更具可扩展性。
DeepSeek-R1：为了解决DeepSeek-R1-Zero的问题（比如可读性差、语言混杂），R1引入了一组有限的冷启动数据和额外的RL训练。它经历了多个阶段的微调和强化学习，包括拒绝采样和又一轮RL训练，来提高通用能力和与人类偏好的一致性。
DeepSeek模型：DeepSeek还开发了更小的DeepSeek-R1精简版本，参数从1.5B到70B不等，给算力没那么强的硬件带来了先进的推理能力。这些模型是用原始DeepSeek-R1生成的合成数据来微调的，保证了推理任务的强劲性能，同时保持轻量，适合本地部署。

DeepSeek-R1在数学、编码、一般知识和写作等各种基准测试上都表现出色。根据使用模式不同，跟OpenAI的o1模型比，使用成本可以降低20到50倍。

8.3 对AI产业的影响

DeepSeek-R1挑战了AI领域的既定规范。它让高级LLM的访问民主化，培养了一个更有竞争力的生态。它的可负担性和可访问性预计会推动各行各业的采用和创新。现在，AWS、微软、谷歌云这些领先的云服务提供商已经把DeepSeek-R1放到自己平台上了。小一点的云提供商和DeepSeek母公司更是以有竞争力的价格提供它。

结论

从2017年Transformer架构的引入，到2025年DeepSeek-R1的开发，大模型的演变是AI领域的一个革命性篇章。大模型的崛起伴随着四项里程碑式的成就：

Transformers（2017）：给构建大规模、高效的模型打下了基础，这些模型能以前所未有的精度和灵活性处理复杂任务。
GPT-3（2020）：展示了AI规模的变革力量，证明在广泛数据上训练的大模型能在各种应用里达到接近人类的性能。
ChatGPT（2022）：把对话式AI带到了主流，让高级AI对日常用户更易用、更具互动性。也引发了关于AI广泛采用的伦理和社会影响的讨论。
DeepSeek-R1（2025）：代表了成本效率的飞跃。它用了混合专家架构和优化算法，运营成本比很多美国公司基于的模型低了50倍。它的开源性质让人人能接触到尖端AI，为各行各业的创新者赋能。

这个进展说明了基础创新和规模、可用性、可负担性上的进步结合起来，正在推动AI走向更具包容性和影响力的未来。

常见问题（FAQ）

DeepSeek-R1与OpenAI-o1相比有什么优势？

DeepSeek-R1是2025年初发布的中国开源大模型，以高性价比著称，大幅降低了AI推理成本，对AI产业形成冲击。

Transformer架构的关键创新是什么？

Transformer架构的核心创新包括自注意力机制（支持并行计算和全局上下文理解）、多头注意力、前馈网络和位置编码，解决了RNN的长期依赖和顺序处理瓶颈。

大模型的“幻觉”问题是如何解决的？

通过监督微调（SFT）和基于人类反馈的强化学习（RLHF）来提升模型与人类意图的一致性，减少事实错误和矛盾内容。

AIAI Summary (BLUF)