Happy-LLM是Datawhale推出的系统性大语言模型
AIAI Summary (BLUF)
Happy-LLM是Datawhale推出的系统性大语言模型学习教程，从NLP基础出发，深入讲解Transformer架构、预训练语言模型、大语言模型原理，并手把手教你用PyTorch实现和训练LLaMA2等模型。教程覆盖预训练、微调、RAG、Agent等前沿技术，并提供配套模型、PDF和PPT资源，适合有一定Python和深度学习基础的开发者深度学习。
核心洞察
先说结论：这是一份能把大模型从原理到实战完整串起来的开源教程。Datawhale 之前靠 self-llmLarge Language Model, the underlying technology for generative AI. 让不少人入了门，这次更进一步，把 TransformerA deep learning neural network architecture using self-attention mechanisms for sequence processing. 原理、预训练、微调、RAGRetrieval-Augmented Generation - an AI framework that combines information retrieval with language generation to produce more accurate and contextually relevant responses. 一直到 Agentic RL 串成了一条完整的学习路径，还真的训练出两个 215M 的小模型放出来给大家折腾。最打动我的是项目方的细致，连 PDF 加水印防转卖这种小事都提前想到了，开源做到这份上，真不多见。
核心结论
Happy-LLM 是 Datawhale 开源的系统性 LLM 教程，GitHub 地址为 github.com/datawhalechina/happy-llm，内容覆盖 Transformer 原理、预训练、微调、RAG 到 Agentic RL 的完整学习路径。
项目已实际训练并开源两个 215M 参数的小模型：Happy-LLM-Chapter5-Base-215M（预训练基座版）和 Happy-LLM-Chapter5-SFT-215M（指令微调版），均托管在 ModelScope 上。
教程正文共 8 章，目前基本全部完成；其中第六章覆盖预训练、有监督微调和 LoRA低秩适应技术，VoxCPM 1.5新增的微调方法之一，可以大大降低定制化语音合成的门槛，使个人用户或小型团队也能制作符合自身需求的专用语音模型。/QLoRA 高效微调，第八章覆盖 GRPO、OPD、Search-R1 和 ReTool 等 Agentic RL 实践。
项目提供的 PDF 教程免费开源，但预置了 Datawhale 标志水印以防止营销号加水印转卖；整体采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议。
学习该教程需要具备一定 Python 编程经验；项目方建议按章节拆分依赖，并使用独立 Python 环境运行代码，以避免版本冲突。
项目介绍
很多人看完 Datawhale 的 self-llm 项目后，学会了跑模型、调 API，但心里总有个疙瘩：模型内部到底是怎么工作的？训练过程又是什么样的？Happy-LLM 就是来解决这些问题的。项目托管在 GitHub 上，地址是 github.com/datawhalechina/happy-llm，完全开源免费。
这个项目是一套系统性的 LLM 学习教程，从 NLP 的基本研究方法出发，按照 LLM 的思路和原理逐层深入，把架构基础和训练过程拆开揉碎了讲。同时结合目前最主流的代码框架，带着你亲手搭建、训练一个 LLM。用项目方的话说，授人以鱼，更授人以渔。
你能得到什么？
整个项目开源免费，学完之后你能得到：
- 深入理解 Transformer 架构和注意力机制
- 掌握预训练语言模型通过大规模无监督或自监督方式预训练的语言模型，可进一步微调以适应下游任务。的基本原理
- 了解现有大模型的基本结构
- 动手实现一个完整的 LLaMA2 模型
- 掌握从预训练到微调的全流程
- 上手 RAG、AgentIn AI, a system that perceives its environment and takes actions to achieve specific goals, often used in conversational contexts. 等前沿技术
内容导航
项目提供了在线阅读地址，不想克隆仓库的话可以直接在浏览器里看。章节已经基本全部完成，目前是这样安排的：
| 章节 | 关键内容 | 状态 |
|---|---|---|
| 学习与环境准备 | 分章依赖、硬件建议与实践入口 | 已完成 |
| 前言 | 项目的缘起、背景及读者建议 | 已完成 |
| 第一章 NLP 基础概念 | 什么是 NLP、发展历程、任务分类、文本表示演进 | 已完成 |
| 第二章 Transformer 架构 | 注意力机制、Encoder-Decoder、手把手搭建 Transformer | 已完成 |
| 第三章 预训练语言模型 | Encoder-Only、Encoder-Decoder、Decoder-Only 模型对比 | 已完成 |
| 第四章 大语言模型 | LLM 定义、训练策略、涌现能力分析 | 已完成 |
| 第五章 动手搭建大模型 | 实现 LLaMA2、训练 Tokenizer、预训练小型 LLM | 已完成 |
| 第六章 大模型训练实践 | 预训练、有监督微调、LoRA/QLoRA 高效微调 | 已完成 |
| 第七章 大模型应用 | 模型评测、RAG 检索增强、Agent 智能体 | 已完成 |
| 第八章 Agentic-RL | GRPO、OPD、Search-R1、ReTool（Coding Agent-RL） | 已完成 |
| 附加章节 LLM 博客精选 | 优秀的大模型学习笔记和博客，欢迎大家提交 PR | 建设中 |
有两个地方需要单独说明。第六章的正文覆盖了预训练、SFT 和 PEFT 这些核心训练流程，建议配合第六章实践说明和《学习与环境准备》一起阅读。第八章聚焦 GRPO、OPD、Search-R1 和 ReTool，作者还在另一个仓库 agentic-rl-lab 里持续更新更多 Agentic RL 算法和实验代码，那边的更新频率更高。
附加章节：LLM 博客精选
除了正文，项目还收集了一些优秀的学习笔记和博客，目前有：
- 《大模型都这么厉害了，微调 0.6B 的小模型有什么意义？》 不要葱姜蒜，2025-07-11
- 《Transformer 整体模块设计解读》 ditingdapeng，2025-07-14
- 《文本数据处理详解》 蔡鋆捷，2025-07-14
- 《Qwen3-"VL"：超小中文多模态模型的"拼接微调"之路》 ShaohonChen，2025-07-30
- 《S1：用 vLLM 控制思考预算》 不要葱姜蒜，2025-08-03
- 《CDDRS：用细粒度语义信息指导增强的 RAG 检索方法》 Hongru0306，2025-08-21
- 《大模型生成 Token 的方式有哪些？》 不要葱姜蒜，2025-10-17
如果你在学习过程中有独到的见解或实践心得，也欢迎往这个目录提交 PR。项目方会根据内容的质量和价值决定是否合并进正文。
模型下载
第五章里训练的小模型已经开源了，两个都是 215M 参数：
- Happy-LLM-Chapter5-Base-215M，预训练基座版本
- Happy-LLM-Chapter5-SFT-215M，指令微调版本
两个模型都挂在 ModelScope 上，项目还提供了一个创空间地址，可以在线体验。
PDF 版本下载
PDF 教程同样是开源免费的。为了防止营销号加水印转卖，项目方在 PDF 里预置了 Datawhale 的标志水印，不影响正常阅读。
PPT 资源下载
配套的教学讲义 PPT 也已开源，可以从单独的 PPT 仓库或项目的 Releases 页面获取。
如何学习
这个项目面向大学生、研究人员和 LLM 爱好者。学习前提是有一点编程经验，特别是熟悉 Python。如果还了解一些深度学习和 NLP 的常用概念，上手会更顺。
想复现代码的话，强烈建议先读《学习与环境准备》。仓库按章节拆分依赖，不同章节最好用独立的 Python 环境，避免版本冲突。
全书分两部分。第 1 章到第 4 章是基础知识。第 1 章介绍 NLP 的基本任务和发展脉络，给非 NLP 背景的读者补个底。第 2 章是全书最重要的基础，讲 Transformer 架构，包含原理剖析和代码实现。第 3 章对比 Encoder-Only、Encoder-Decoder 和 Decoder-Only 三种预训练模型架构，顺带介绍主流大模型的设计思想。第 4 章正式进入 LLM，讲特点、能力和整体训练过程。
第 5 章到第 8 章是实战。第 5 章基于 PyTorch 亲手搭建一个 LLM，跑通预训练和有监督微调的全流程。第 6 章引入业界主流的 Transformers 框架，实现快速高效的训练。第 7 章介绍模型评测、RAG 和 Agent。第 8 章覆盖 GRPO、OPD，以及 Search-R1 和 ReTool 两类 Agentic RL 实践。你可以按兴趣选择性阅读。
阅读过程中建议把理论和实践结合起来。LLM 领域变化很快，光看不动手，很快会忘。把书里的代码多复现几遍，有条件的话参与一些相关的项目和比赛。遇到问题，随时可以在项目的 issue 区提问。
项目方在最后写了句话：星火点点，汇聚成海。他们希望读者学完之后也能加入到 LLM 开发者的行列，一起把这个开源生态做得更丰富。
另外，中国计算机学会联合 Datawhale 和 GitLink 推出过 AI 普惠课程，报名可以拿免费算力，入口在项目主页里。
如何贡献
项目欢迎任何形式的贡献。发现 bug 可以提交 issue，有功能建议可以直接说，想完善内容或者优化代码，欢迎提交 Pull Request。
致谢
核心贡献者
宋志学（项目负责人，Datawhale 成员）、邹雨衡（项目负责人，Datawhale 成员，对外经济贸易大学）、朱信忠（指导专家，Datawhale 首席科学家，浙江师范大学杭州人工智能研究院教授）。
附加内容贡献者
ditingdapeng（云原生基础架构工程师）、蔡鋆捷（福州大学）、ShaohonChen（西安电子科技大学在读硕士）、肖鸿儒和庄健琨（同济大学）。
特别感谢
感谢 Sm1les 对项目的帮助与支持，也感谢所有参与贡献的开发者。
Star 增长
项目在 GitHub 上的关注度增长很快，主页有一张完整的 Star 历史曲线。如果你觉得这个项目对你有帮助，可以给个 Star。
关于 Datawhale
Datawhale 是国内很活跃的 AI 开源社区，公众号二维码在项目主页，扫码可以关注他们的后续开源内容。
开源协议
本项目采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。
常见问题（FAQ）
Happy-LLM教程适合什么人学习？
适合有Python编程经验、了解深度学习和NLP基础概念的大学生、研究人员和LLM爱好者。教程从NLP基础讲起，手把手实现LLaMA2，零基础也能逐步上手。
Happy-LLM教程包含哪些核心内容？
涵盖Transformer架构、预训练语言模型、大语言模型原理，并实操LLaMA2实现与训练。还包括预训练、微调、RAG、Agent、Agentic-RL等前沿技术，附模型下载和PDF资源。
Happy-LLM教程真的能训练自己的大模型吗？
可以。第五章用PyTorch实现LLaMA2并训练两个215M小模型，开源在ModelScope。第六章介绍Transformers框架高效训练，掌握全流程后能独立训练小规模LLM。
版权与免责声明：本文仅用于信息分享与交流，不构成任何形式的法律、投资、医疗或其他专业建议，也不构成对任何结果的承诺或保证。
文中提及的商标、品牌、Logo、产品名称及相关图片/素材，其权利归各自合法权利人所有。本站内容可能基于公开资料整理，亦可能使用 AI 辅助生成或润色；我们尽力确保准确与合规，但不保证完整性、时效性与适用性，请读者自行甄别并以官方信息为准。
若本文内容或素材涉嫌侵权、隐私不当或存在错误，请相关权利人/当事人联系本站，我们将及时核实并采取删除、修正或下架等处理措施。也请勿在评论或联系信息中提交身份证号、手机号、住址等个人敏感信息。
