32 章大模型知识地图：从梯度下降到 GRPO 的实战路线

核心洞察

这份目录最有意思的地方是它把“懂”和“能做”拆成了两条线，然后用四个 Capstone 项目把两条线拧在一起。32 章从梯度下降一路铺到 GRPO一种强化学习算法，用于训练语言模型，从SFT到GRPO的实战训练。 和 vLLM一个高性能的LLM推理和服务库，为DeepSeek-OCR提供优化的推理能力，支持流式输出和批量处理。，跨度很大，但真正让它区别于普通教程合集的是最后那几个带测试的实战项目——从 41 个分步测试到 79 个，逼着你把代码跑绿才算过关。我唯一存疑的是“Job-Ready”这个说法，学完这些离拿 offer 还有多远，恐怕得看个人造化了。

核心结论

1. 该目录共包含 32 章，覆盖从深度学习基础（梯度下降、反向传播）到 GRPO、LoRA低秩适应技术，VoxCPM 1.5新增的微调方法之一，可以大大降低定制化语音合成的门槛，使个人用户或小型团队也能制作符合自身需求的专用语音模型。、vLLM 等现代 LLM 技术的完整知识体系，分为 Knowledge Track（懂）和 Job-Ready Track（能做）两条主线。

2. 四个 Capstone 项目以带测试的实战方式收尾：Capstone 1 含 79 个分步测试，Python Engineering 项目含 41 个分步测试，HuggingFace Workflow 含 38 个分步测试，均要求代码全部跑绿才算过关。

3. 第 26–28 章的 Guided Build 项目从 starter 代码出发，通过 10–15 个 Step 逐步完成真实项目，最终产出可纳入 AI 实习作品集的内容（projects/ 目录）。

4. 目录覆盖三条岗位路线（应用/算法/Infra），其中 Capstone 4 为 AI Infra Track 的 GPU/Inference Profiling Lab，包含 naive vs SDPA 实测与 vLLM runbook（标注 NOT EXECUTED ON CUDA）。

5. 作者对“Job-Ready”标签持保留态度，明确指出学完这些内容离拿到 offer 还有多远“恐怕得看个人造化了”，未对就业结果做保证。

大模型知识体系 · 静态目录

Knowledge Track（懂）加 Job-Ready Track（能做）：从深度学习基础走到 GRPO / LoRA / 混合精度，再用真实项目完成第一段 AI 实习的作品集（projects/ 目录）。一共 32 章。下面这些链接是静态阅读版，不需要 JavaScript；想要完整的交互体验，直接浏览本页就行。

章节目录

1. 知识地图与学习主线 — 六段式学习路线（理解 → 构建 → 扩展 → 服务 → 对齐 → 评估）、CS336 前置分层与全站导航。

2. 深度学习基础：回归、Loss、梯度与 Softmax — 线性模型、MSE、梯度下降、反向传播、Softmax、交叉熵、MLP、激活函数，全套地基。

3. 优化器：SGD → Momentum → Adam — SGD、Momentum、Adam 完整推导与算例，AdamW 解耦正则，优化器竞赛演示。

4. 模型评估与泛化：指标、过拟合与正则化 — 混淆矩阵计算器、四大指标、不平衡数据陷阱、L2、Dropout（经典 ML 评估，LLM 评测见第 23 章）。

5. 数值稳定：梯度爆炸/消失、初始化、BN 与残差 — 连乘的威力、Sigmoid 饱和、Kaiming 初始化、BatchNorm 算例、ResNet 残差。

6. 循环神经网络：RNN → LSTM → GRU — 参数共享、BPTT 长程依赖、LSTM 三门一状态、GRU、Deep RNN（历史演化，保持冻结）。

7. NLP 基础：Tokenizer、BPE 与 Embedding — BPE 真实训练器、训练与编码的区别、BBPE、Tokenizer 评估、Embedding 查表。

8. Transformer：Attention 是全部的核心 — Q/K/V、缩放原理、Multi-Head、LayerNorm、Causal Mask，25 小节加 15 个交互演示加 39 题面试库。

9. BERT：Encoder-only 与双向理解 — 三种 Embedding、[CLS]/[SEP]、Attention Mask、MLM、80/10/10、NSP。

10. GPT：Decoder-only 与文本生成 — Next Token Prediction、训练并行、推理循环、Temperature、Top-K/Top-P。

11. 现代 LLM 架构：技术演化视角 — LayerNorm→RMSNorm、绝对位置→RoPE、ReLU→SwiGLU、MHA→GQA、KV Cache，按技术演化组织。

12. PyTorch for LLM：动手之前的必备工具箱 — shape 操作、广播、matmul/einsum、nn.Module、autograd、DataLoader、训练循环、checkpoint。

13. Build Your Own Small LLM（上）：组件篇 — Lab 1-7：BPE Tokenizer → RMSNorm → RoPE → Attention → SwiGLU → TransformerA deep learning neural network architecture using self-attention mechanisms for sequence processing. Block → Decoder-only LM。

14. Build Your Own Small LLM（下）：训练篇 — Lab 8-14：数据准备 → 预训练 → 评估 → 生成推理 → KV Cache → SFT → DPO/GRPO 小实验。

15. Scaling Laws 与算力：为什么这样配置训练 — 参数量数法、6ND 估算、Kaplan/Chinchilla、isoFLOP 曲线、GPU hours 与 MFU。

16. GPU Fundamentals：从 SM 到 Roofline — SM/Tensor Core/warp、存储层次、算术强度、Roofline、GEMM 与 kernel fusion、Profiling 入门。

17. Distributed Training：从 DDP 到 3D 并行 — AllReduce/Ring、ZeRO 三阶段、FSDP、张量并行、流水线并行、通信计算重叠与选型指南。

18. 训练显存、混合精度与 LoRA — 显存构成、FP32/FP16/BF16、混合精度与 loss scaling、梯度累积、激活检查点、LoRA。

19. Pretraining Data Engineering：从网页到 Training Batch — HTML 抽取、规范化、语言识别、质量过滤、精确/近似去重、去污染、配比、打包、分片、流式读取，完整数据管线加可运行 Lab。

20. FlashAttention 与 Triton：为什么 Attention 还能更快 — HBM vs SRAM、Tiling、Online Softmax、IO-aware 优化、FA1/FA2 演进、Triton 入门与 fused softmax。

21. LLM Inference Systems：从 Prefill 到 vLLM / SGLang — Prefill/Decode、TTFT/ITL、Continuous Batching、PagedAttention、Prefix Cache、投机解码、Serving 指标模拟器。

22. 训练生命周期：Pretrain 与 SFT — 数据清洗、MinHash、配比、warmup/decay、PPL、Chat Template、Loss Mask。

23. 强化学习与偏好优化：PPO 与 GRPO — 为什么 SFT 后还要 RL、PPO/GRPO 结构、Group Relative Advantage、Policy Ratio、Clip、KL 散度。

24. LLM Evaluation：模型到底有没有变好 — PPL、Exact Match、pass@k、MMLU/C-Eval/GSM8K、LLM-as-a-Judge、置信区间、Contamination、失败案例分析加评测 Lab。

25. Job-Ready Track：从「会解释」到「能做出来」 — 三条岗位路线（应用/算法/Infra）、岗位能力矩阵、第一次找实习的学习顺序、Checkpoint 验收与四级学习标准。

26. Python Engineering for AI：从 0 亲手构建第一个真实项目 — Guided Build：starter 加 10 个 Step（41 个分步测试从红变绿，含你自己写的 3 个边界测试）；配套 Learn 参考手册（项目结构、argparse/dataclass、typing、pathlib/JSONL、logging、异常、asyncio、pytest）与完整参考实现。

27. HuggingFace for LLM Engineering：从 0 跑通一个真正的 LLM Workflow — Guided Build：starter 加 13 个 Step（38 个分步测试从红变绿），Tokenizer、Chat Template、logits、generate、left padding、response-only mask、PEFT/LoRA、save/load，最终用 Qwen2.5 跑出你自己的实验报告；含模型缓存/HF_HOME 与执行位置说明。

28. Capstone 1 · Build Your Own Mini LLM Evaluation Harness — Guided Capstone：starter 加 15 个 Step（79 个分步测试从红变绿），Adapter × Task × Runner × Reports、并发加重试加 SQLite 缓存、bad case 分类、自动报告与真实 C3/XCOPA 评测记录，Checkpoint C。

29. Retrieval & RAG Engineering：让模型用上外部知识 — Chunking 三策略、BGE 向量、FAISS、BM25 从零实现、RRF 融合、cross-encoder 精排、Recall@k/MRR/nDCG、失败分类，22 条标注查询真实评测。

30. Capstone 2 · Search + Rerank + RAG Service — 完整 RAGRetrieval-Augmented Generation - an AI framework that combines information retrieval with language generation to produce more accurate and contextually relevant responses. 服务：FastAPI（/chat、/chat/stream SSE、超时 504、线程池）加检索与生成分开评测加 Dockerfile，Checkpoint D。

31. Capstone 3 · Real SFT / LoRA Experiment — 真实实验闭环：48+12 指令数据 → response-only loss → LoRA → best/final checkpoint 对比 → 同套 harness 评测 → bad case → experiment.md 自动报告。

32. Capstone 4 · GPU / Inference Profiling Lab（AI Infra Track） — profiler 算子表、CUDA Event 计时、naive vs SDPA 实测、torch.compile 反例、serving TTFT/TPOT 压测客户端加 vLLM runbook（NOT EXECUTED ON CUDA）。

正在加载交互版…

常见问题（FAQ）

这份大模型知识体系目录一共多少章，都覆盖哪些内容？

共32章，从深度学习基础、Transformer、PyTorch，一路覆盖到GRPO、LoRA、混合精度、vLLM等进阶主题，并配有多个实战项目，适合系统学习LLM技术栈。

Knowledge Track和Job-Ready Track有什么区别？

Knowledge Track侧重“懂”，讲原理与知识；Job-Ready Track侧重“能做”，用真实项目完成作品集。两条线由四个Capstone项目串联，强调动手落地。

学完这32章真的能达到Job-Ready吗？

目录用41到79个分步测试逼你把代码跑绿，实战性较强。但作者也存疑：学完离拿offer还有多远要看个人造化，不能仅凭目录保证就业。