从PPO到Agentic RL：大厂基模组面试的算法全景与实战坑点

核心洞察

这篇手册野心不小，从MDP一路铺到2026年的Agentic RL将整条 agent loop 当作强化学习环境来直接优化策略，此时 harness 就是 rollout 环境。前沿，覆盖面在大厂面试准备材料里算很全的。我觉得最值得留意的是它对RLVRReinforcement Learning with Verifiable Rewards，使用可验证奖励（如答案对错）进行强化学习训练。 Ceiling那篇论文的引用——纯推理RL打不过base model的pass@k，这个结论直接解释了为什么2025年之后整个方向往Agentic转。不过要提醒一句，文中涉及的算法变体很多还停留在论文阶段，实际训练中的坑远比公式看起来复杂。

从经典策略梯度到2025-2026最前沿的Agentic后训练，面向大厂基模组面试的系统性学习手册。

涵盖50+核心算法、12大开源报告、DeepSeek V4 / GLM-5.2 Async RL / GUI Agent RL、ICLR / ICML 2026前沿。

核心结论

1. LLM后训练范式在2024至2026年间经历了三次跃迁：RLHF（人类反馈）→ RLVR（可验证奖励）→ Agentic RL（智能体交互奖励），DeepSeek-R1、Kimi k1.5、Qwen3等开源报告均验证了RL后训练的潜力。

2. RLVR Ceiling研究（arXiv:2504.13837）指出，纯推理RL的性能上限不超过base model的pass@k——模型仅在静态文本上做推理时，RL无法超越暴力采样，这直接推动了2025年后整个方向向Agentic RL转型。

3. 2026年的范式共识是“Agent = Model + Harness”：RL不再只优化“生成什么”，而是优化“如何与环境交互”，包括何时调用工具、如何规划多步行动、怎样从失败中恢复。

4. 当前LLM RL训练算法可分为三大家族：PPOProximal Policy Optimization，经典 on-policy 强化学习算法，通过 clip 机制限制更新幅度，需要 Critic 网络估计价值函数。（Critic-based，需额外Critic网络，约2倍显存开销）、DPODirect Preference Optimization，直接偏好优化，无需奖励模型，直接用偏好对更新策略，比RLHF更简单高效。（Preference-based，无需reward model但受限于离线数据分布）、GRPO一种强化学习算法，用于训练语言模型，从SFT到GRPO的实战训练。（Group-based/Critic-Free，通过组内相对排名估计优势，去掉Critic网络）。

5. GRPO家族已衍生出多个针对性变体：DAPODecoupled Alignment Policy Optimization，将 clip 操作解耦，对正负优势使用不同阈值，缓解 entropy collapse。通过解耦正负优势的clip阈值解决策略多样性提前塌缩问题；Dr.GRPO修复原始GRPO对负样本梯度的系统性低估，数学推理任务上比GRPO高1到3个百分点；StarPO专为多轮 Agent 交互设计的 GRPO 变体，在 turn 边界计算相对优势，解决多轮场景下的优势稀释问题。专为多轮Agent交互设计，在turn边界计算相对优势以解决多轮场景下advantage被稀释的问题。

目录

1. 数学基础 — MDP、策略梯度、IS、KL、GAEGeneralized Advantage Estimation，广义优势估计，通过 λ 参数在偏差与方差之间折中估计优势函数。
2. 经典算法族谱 — PPO / DPO / GRPO三大家族
3. Agentic RL核心问题 — RLVR Ceiling / 信用分配 / 多轮 / 工具调用 / Off-Policy
4. 前沿算法创新 — GSPO / StepPO / ARPO / GiGPO / 2026新算法
5. OPDOn-Policy Distillation，在策略蒸馏，用当前策略自采样数据进行蒸馏，与 KL-RL 存在数学等价关系。在策略蒸馏 — 数学原理 / KL-RL等价 / Sparse-to-Dense Pipeline / Agentic OPD
6. 开源大模型RL实践 — DeepSeek-R1 / Kimi / Qwen3 / GLM
7. Agentic系统与基础设施 — Coding Agent RL / 开源训练框架 / GUI Agent RL / 基础设施
8. 面试高频QA — 13道精选问答

引言：为什么Agentic RL成为最热的方向

2024到2026年，LLM后训练范式经历了三次跃迁：RLHF（人类反馈）→ RLVR（可验证奖励）→ Agentic RL（智能体交互奖励）。DeepSeek-R1用GRPO让模型涌现出推理能力，Kimi k1.5把长链思维和RL对齐，Qwen3实现了混合推理模式的RL训练。这些开源报告都证明了RL后训练的潜力。

但2025年中的RLVR Ceiling研究（arXiv:2504.13837）泼了一盆冷水：纯推理RL的性能上限不超过base model的pass@k。模型只能在静态文本上做推理的话，RL没法超越暴力采样。Agentic RL——让模型在交互环境中通过工具调用、多轮对话、代码执行来解决问题——成了突破这天花板的关键路径。

2026年的范式共识是：Agent = Model + Harness。RL不再只优化“生成什么”，而是优化“如何与环境交互”，包括何时调用工具、如何规划多步行动、怎样从失败中恢复。这也是为什么Agentic RL成了大厂基模组面试的核心考察方向。

I 数学基础

本节覆盖理解所有RL后训练算法所需的数学基础。每个公式都会逐项解释，配合直觉类比。

1.1 马尔可夫决策过程（MDP）

MDP五元组：$\mathcal{M} = (\mathcal{S}, \mathcal{A}, P, R, \gamma)$

$$\mathcal{S}: \text{状态空间（如：当前 prompt + 已生成的 token 序列）}$$
$$\mathcal{A}: \text{动作空间（如：vocabulary 中所有 token）}$$
$$P(s'|s,a): \text{转移概率（生成 token } a \text{ 后的新状态）}$$
$$R(s,a): \text{奖励函数（如：答案正确=1，错误=0）}$$
$$\gamma \in [0,1]: \text{折扣因子（未来奖励的衰减系数）}$$

把MDP想象成一场考试：状态$s$是你当前读到的题目加上已写的半截答案，动作$a$是你接下来写的一个字，奖励$R$是最终得分。$\gamma$就像“你有多在乎后面的分数”——$\gamma=0$表示你只看眼前这一步，$\gamma \to 1$表示你完美规划全局。

策略$\pi_\theta(a|s)$：参数化模型，给定状态输出动作的概率分布。对LLM来说，就是给定上下文后每个token的生成概率。

目标函数：最大化期望累积回报

$$J(\theta) = \mathbb{E}{\tau \sim \pi\theta}\left[\sum_{t=0}^{T} \gamma^t R(s_t, a_t)\right]$$

其中$\tau = (s_0, a_0, s_1, a_1, \ldots, s_T)$是一条完整轨迹。

1.2 策略梯度定理

$$\nabla_\theta J(\theta) = \mathbb{E}{\tau \sim \pi\theta}\left[\sum_{t=0}^{T} \nabla_\theta \log \pi_\theta(a_t|s_t) \cdot A^{\pi_\theta}(s_t, a_t)\right]$$

逐项解释：

• $\nabla_\theta \log \pi_\theta(a_t|s_t)$：score function，模型对动作$a_t$的对数概率关于参数的梯度。直觉是，这个方向能让模型“更想生成$a_t$”。
• $A^{\pi_\theta}(s_t, a_t)$：优势函数，衡量动作$a_t$比“平均水平”好多少。$A > 0$表示这个动作比平均好，加大其概率；$A < 0$表示比平均差，减小其概率。

想象考试后复盘：对每道写对且超出预期的题（$A > 0$），记住解题思路（$\nabla \log \pi$），下次遇到类似题更可能做对；对做错的题（$A < 0$），弱化这种思路。

价值函数与优势函数

状态价值（从状态$s$出发的期望回报）：

$$V^\pi(s) = \mathbb{E}{\tau \sim \pi}\left[\sum{t=0}^{\infty} \gamma^t R(s_t, a_t) ;\middle|; s_0 = s\right]$$

动作价值（在状态$s$执行动作$a$后的期望回报）：

$$Q^\pi(s, a) = R(s,a) + \gamma \cdot \mathbb{E}_{s' \sim P}[V^\pi(s')]$$

优势函数（动作比平均好多少）：

$$A^\pi(s,a) = Q^\pi(s,a) - V^\pi(s)$$

1.3 重要性采样Importance Sampling，用旧策略采样的数据估计新策略梯度的方法，通过比率 r_t 修正分布差异。（Importance Sampling）

策略梯度需要在当前策略$\pi_\theta$下采样轨迹来计算梯度，但实际训练中我们常常需要用旧策略$\pi_{\theta_{\text{old}}}$采集的数据来更新新策略$\pi_\theta$。

重要性采样比率：

$$r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{\text{old}}}(a_t|s_t)}$$

当$r_t = 1$时，新旧策略在这一步完全一致；$r_t > 1$表示新策略更倾向于生成这个动作。

如果$r_t$过大或过小，更新步长会不稳定，这正是PPO需要clip的原因。在Agentic RL的多轮场景下，IS比率会随turn数累积，导致严重的分布偏移（off-policy drift），这是大规模异步训练系统需要解决的核心问题。

1.4 KL散度与信任域

$$D_{\text{KL}}(\pi_\theta | \pi_{\text{ref}}) = \mathbb{E}{a \sim \pi\theta}\left[\log \frac{\pi_\theta(a|s)}{\pi_{\text{ref}}(a|s)}\right]$$

在LLM的RL训练中，KL项有两个核心作用：

• 防止reward hacking：限制策略不要偏离SFT/reference模型太远，避免模型找到“捷径”获得高reward但生成质量崩溃。
• 稳定训练：类比PPO的clip，KL约束是另一种“信任域”，确保每步更新不会太激进。

PPO的目标函数通常写作：

$$\mathcal{L}^{\text{PPO}}(\theta) = \mathbb{E}t\left[\min\left(r_t(\theta) \hat{A}t,; \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \hat{A}t\right)\right] - \beta \cdot D{\text{KL}}(\pi\theta | \pi{\text{ref}})$$

$\epsilon$通常取0.1到0.2，控制单步更新幅度。$\beta$是KL惩罚系数。

1.5 广义优势估计（GAE）

$$\hat{A}t^{\text{GAE}(\lambda)} = \sum{l=0}^{T-t} (\gamma\lambda)^l \delta_{t+l}$$

其中$\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)$是TD残差（Temporal Difference residual）。

• $\lambda = 0$：$\hat{A}t = \delta_t = r_t + \gamma V(s{t+1}) - V(s_t)$，只依赖一步TD，低方差高偏差。
• $\lambda = 1$：$\hat{A}t = \sum{l=0}^{T-t} \gamma^l r_{t+l} - V(s_t)$，蒙特卡洛回报减基线，高方差低偏差。
• 通常$\lambda \in [0.9, 0.95]$，在偏差和方差之间取折中。

GAE是PPO能稳定训练的关键组件之一。但GRPO等Critic-Free方法绕过了GAE，用组内相对奖励来计算优势，这正是下一节的核心话题。

II 经典算法族谱

当前LLM RL训练算法可分为三大家族：PPO（Critic-based）、DPO（Preference-based）、GRPO（Group-based / Critic-Free）。每个家族都有多个变体，针对不同的训练挑战做了针对性改进。

2.1 PPO家族（Critic-based）

PPO — Proximal Policy Optimization（2017 · Schulman et al.）

PPO是最经典的on-policy RL算法，通过clip机制限制每步更新幅度，并需要一个Critic网络（Value Network）来估计$V(s)$以计算GAE。

优势：训练稳定、理论基础扎实、适合大规模并行。
劣势：需要额外训练Critic网络（约2倍显存开销）；Critic估计不准时会导致梯度偏差。

VAPO（2024）

PPO的方差控制变体。引入variance-aware优势估计，对Critic估计不确定性高的状态给予更保守的更新步长。减少了因Critic误差导致的训练震荡。

VinePPO（2024）

使用vine rollout（从中间状态分支采样）来获得无偏的Q值估计，消除了GAE的bootstrap偏差。代价是需要额外的rollout计算。

LitePPO（2025）

简化PPO实现：去掉KL penalty，只保留clip约束；使用token-level优势而非sequence-level。更适合LLM的大规模训练场景。

PSGPO（2025）

Process Supervision版PPO：引入过程奖励模型（PRM），为推理链的每一步提供中间奖励信号，解决outcome reward的稀疏性问题。与Step-GRPO思路类似，但基于Critic框架。

2.2 DPO家族（Preference-based / Offline）

DPO — Direct Preference Optimization（2023 · Rafailov et al.）

DPO的核心洞见：在KL约束下，最优策略可以用reference model和reward的闭式解表示，因此可以绕过reward model，直接从偏好对（preferred, rejected）学习。

$$\mathcal{L}{\text{DPO}}(\theta) = -\mathbb{E}{(x,y_w,y_l)}\left[\log \sigma\left(\beta \log\frac{\pi_\theta(y_w|x)}{\pi_{\text{ref}}(y_w|x)} - \beta \log\frac{\pi_\theta(y_l|x)}{\pi_{\text{ref}}(y_l|x)}\right)\right]$$

$y_w$ = 优选回复，$y_l$ = 劣选回复。直觉：增大$y_w$相对于reference的log-ratio，减小$y_l$的log-ratio。

优势：无需reward model和RL训练循环，训练简单稳定。
劣势：离线方法，受限于训练数据分布；对偏好数据质量极度敏感。

SimPO（2024）

Reference-Free偏好优化：用sequence平均log-prob代替reference model的log-ratio，省去reference model的推理开销。对资源有限的团队非常友好。

KTO — Kahneman-Tversky Optimization（2024）

借鉴行为经济学的前景理论：人类对损失更敏感。KTO对“rejected”样本给予更大权重，并且不需要配对数据，只需要知道每个样本是good还是bad。

IPO — Identity Preference Optimization（2024）

用identity mapping替代DPO中的Bradley-Terry模型假设，避免DPO在确定性偏好（$y_w \gg y_l$）时梯度消失的问题。

Step-DPO（2025）

将DPO扩展到step-level：对推理链的每一步构建偏好对，而非仅对最终输出。配合过程奖励模型（PRM），在数学推理任务上显著提升。

ORPO — Online Preference Optimization（2025）

DPO的online版本：在训练过程中用当前模型生成negative样本（而非固定数据集），减少离线偏差。可视为DPO与RLHF的折中。

2.3 GRPO家族（Group-based / Critic-Free）

GRPO — Group Relative Policy Optimization（2024 · DeepSeek）

GRPO是DeepSeek在R1训练中使用的核心算法，最大的创新是去掉了Critic网络。优势函数通过在同一prompt下采样一组（G个）回复，计算组内相对排名来估计：

$$\hat{A}_i = \frac{r_i - \text{mean}({r_1, \ldots, r_G})}{\text{std}({r_1, \ldots, r_G}) + \epsilon}$$

$r_i$是第$i$个回复的奖励分数。直觉：不需要绝对评价（Critic），只需要“这组里谁更好”的相对排名。

$$\mathcal{L}^{\text{GRPO}}(\theta) = \mathbb{E}\left[\frac{1}{G}\sum_{i=1}^{G} \frac{1}{|o_i|}\sum_{t=1}^{|o_i|}\left{\min\left[r_{i,t}(\theta)\hat{A}i,; \text{clip}(r{i,t}(\theta), 1-\epsilon, 1+\epsilon)\hat{A}i\right] - \beta \cdot D{\text{KL}}\right}\right]$$

注意token级别的clip和sequence级别的advantage的结合。

DAPO 把 PPO/GRPO 里的 clip 操作拆开了。正优势和负优势各用一套阈值，一个下界一个上界。GRPO 跑久了策略多样性会提前塌掉，DAPO 这个改动就是冲着这个问题去的。开源实现在 verl 框架里，可以直接跑。

Dr.GRPO 做的是诊断加修复。原始 GRPO 的 clip 加上非对称优势分布，会系统性地低估负样本的梯度。Dr.GRPO 换了一套无偏的优势估计，数学推理任务上比 GRPO 高 1 到 3 个百分点。

StarPO 专门给多轮 Agent 交互设计。整条多轮轨迹算一个 rollout，在 turn 的边界上算相对优势。多轮场景下 GRPO 的 advantage 会被稀释，StarPO 就是来解决这个的。

Step-GRPO 在 GRPO 框架上加了 step-level reward。推理链每一步给中间奖励，公式对了给 0.1，最终答案对了给 1.0。步级奖励用 rule-based 规则提供，不依赖 PRM，更皮实。发在 AAAI。

2.4 族谱总图

<rect x="340" y="10" width="220" height="40" rx="8" fill="url(#gPPO)" opacity="0.9"></rect>
<text x="450" y="35" text-anchor="middle" fill="white" font-family="Sora,sans-serif" font-size="13" font-weight="700">策略梯度 REINFORCE</text>

<line x1="450" y1="50" x2="150" y2="90" stroke="#0d9488" stroke-width="2"></line>
<line x1="450" y1="50" x2="450" y2="90" stroke="#d97706" stroke-width="2"></line>
<line x1="450" y1="50" x2="750" y2="90" stroke="#059669" stroke-width="2"></line>

<rect x="60" y="90" width="180" height="36" rx="8" fill="url(#gPPO)"></rect>
<text x="150" y="113" text-anchor="middle" fill="white" font-family="Sora,sans-serif" font-size="12" font-weight="700">PPO (Critic-based)</text>

<rect x="360" y="90" width="180" height="36" rx="8" fill="url(#gDPO)"></rect>
<text x="450" y="113" text-anchor="middle" fill="white" font-family="Sora,sans-serif" font-size="12" font-weight="700">DPO (Preference)</text>

<rect x="660" y="90" width="180" height="36" rx="8" fill="url(#gGRPO)"></rect>
<text x="750" y="113" text-anchor="middle" fill="white" font-family="Sora,sans-serif" font-size="12" font-weight="700">GRPO (Critic-Free)</text>

<line x1="150" y1="126" x2="70" y2="165" stroke="#0d9488" stroke-width="1.5" stroke-dasharray="4,3"></line>
<line x1="150" y1="126" x2="150" y2="165" stroke="#0d9488" stroke-width="1.5" stroke-dasharray="4,3"></line>
<line x1="150" y1="126" x2="230" y2="165" stroke="#0d9488" stroke-width="1.5" stroke-dasharray="4,3"></line>

<rect x="20" y="165" width="100" height="28" rx="6" fill="#ccfbf1" stroke="#0d9488" stroke-width="1"></rect>
<text x="70" y="183" text-anchor="middle" fill="#0f766e" font-family="Sora,sans-serif" font-size="10" font-weight="600">VAPO</text>

<rect x="100" y="165" width="100" height="28" rx="6" fill="#ccfbf1" stroke="#0d9488" stroke-width="1"></rect>
<text x="150" y="183" text-anchor="middle" fill="#0f766e" font-family="Sora,sans-serif" font-size="10" font-weight="600">VinePPO</text>

<rect x="180" y="165" width="100" height="28" rx="6" fill="#ccfbf1" stroke="#0d9488" stroke-width="1"></rect>
<text x="230" y="183" text-anchor="middle" fill="#0f766e" font-family="Sora,sans-serif" font-size="10" font-weight="600">LitePPO</text>

<rect x="90" y="205" width="120" height="28" rx="6" fill="#f0fdfa" stroke="#0d9488" stroke-width="1"></rect>
<text x="150" y="223" text-anchor="middle" fill="#0f766e" font-family="Sora,sans-serif" font-size="10" font-weight="600">PSGPO (Process)</text>

<line x1="450" y1="126" x2="360" y2="165" stroke="#d97706" stroke-width="1.5" stroke-dasharray="4,3"></line>
<line x1="450" y1="126" x2="450" y2="165" stroke="#d97706" stroke-width="1.5" stroke-dasharray="4,3"></line>
<line x1="450" y1="126" x2="540" y2="165" stroke="#d97706" stroke-width="1.5" stroke-dasharray="4,3"></line>

<rect x="310" y="165" width="100" height="28" rx="6" fill="#fef3c7" stroke="#d97706" stroke-width="1"></rect>
<text x="360" y="183" text-anchor="middle" fill="#92400e" font-family="Sora,sans-serif" font-size="10" font-weight="600">SimPO</text>

<rect x="400" y="165" width="100" height="28" rx="6" fill="#fef3c7" stroke="#d97706" stroke-width="1"></rect>
<text x="450" y="183" text-anchor="middle" fill="#92400e" font-family="Sora,sans-serif" font-size="10" font-weight="600">KTO</text>

<rect x="490" y="165" width="100" height="28" rx="6" fill="#fef3c7" stroke="#d97706" stroke-width="1"></rect>
<text x="540" y="183" text-anchor="middle" fill="#92400e" font-family="Sora,sans-serif" font-size="10" font-weight="600">IPO</text>

<rect x="350" y="205" width="100" height="28" rx="6" fill="#fef3c7" stroke="#d97706" stroke-width="1"></rect>
<text x="400" y="223" text-anchor="middle" fill="#92400e" font-family="Sora,sans-serif" font-size="10" font-weight="600">Step-DPO</text>

<rect x="460" y="205" width="100" height="28" rx="6" fill="#fef3c7" stroke="#d97706" stroke-width="1"></rect>
<text x="510" y="223" text-anchor="middle" fill="#92400e" font-family="Sora,sans-serif" font-size="10" font-weight="600">ORPO</text>

<line x1="750" y1="126" x2="660" y2="165" stroke="#059669" stroke-width="1.5" stroke-dasharray="4,3"></line>
<line x1="750" y1="126" x2="750" y2="165" stroke="#059669" stroke-width="1.5" stroke-dasharray="4,3"></line>
<line x1="750" y1="126" x2="840" y2="165" stroke="#059669" stroke-width="1.5" stroke-dasharray="4,3"></line>

<rect x="610" y="165" width="100" height="28" rx="6" fill="#d1fae5" stroke="#059669" stroke-width="1"></rect>
<text x="660" y="183" text-anchor="middle" fill="#065f46" font-family="Sora,sans-serif" font-size="10" font-weight="600">DAPO</text>

<rect x="700" y="165" width="100" height="28" rx="6" fill="#d1fae5" stroke="#059669" stroke-width="1"></rect>
<text x="750" y="183" text-anchor="middle" fill="#065f46" font-family="Sora,sans-serif" font-size="10" font-weight="600">Dr.GRPO</text>

<rect x="790" y="165" width="100" height="28" rx="6" fill="#d1fae5" stroke="#059669" stroke-width="1"></rect>
<text x="840" y="183" text-anchor="middle" fill="#065f46" font-family="Sora,sans-serif" font-size="10" font-weight="600">StarPO</text>

<rect x="680" y="205" width="140" height="28" rx="6" fill="#d1fae5" stroke="#059669" stroke-width="1"></rect>
<text x="750" y="223" text-anchor="middle" fill="#065f46" font-family="Sora,sans-serif" font-size="10" font-weight="600">Step-GRPO</text>

<text x="450" y="275" text-anchor="middle" fill="#0f766e" font-family="Sora,sans-serif" font-size="12" font-weight="700">↓ Agentic RL 扩展 ↓</text>

<rect x="60" y="295" width="140" height="36" rx="8" fill="#f0fdfa" stroke="#0f766e" stroke-width="1.5"></rect>
<text x="130" y="310" text-anchor="middle" fill="#0f766e" font-family="Sora,sans-serif" font-size="10" font-weight="600">GiGPO</text>
<text x="130" y="323" text-anchor="middle" fill="#57534e" font-family="Literata,serif" font-size="8.5">Group-in-Group · 多轮</text>

<rect x="230" y="295" width="140" height="36" rx="8" fill="#f0fdfa" stroke="#0f766e" stroke-width="1.5"></rect>
<text x="300" y="310" text-anchor="middle" fill="#0f766e" font-family="Sora,sans-serif" font-size="10" font-weight="600">GSPO</text>
<text x="300" y="323" text-anchor="middle" fill="#57534e" font-family="Literata,serif" font-size="8.5">Sequence-level · Qwen</text>

<rect x="400" y="295" width="140" height="36" rx="8" fill="#f0fdfa" stroke="#0f766e" stroke-width="1.5"></rect>
<text x="470" y="310" text-anchor="middle" fill="#0f766e" font-family="Sora,sans-serif" font-size="10" font-weight="600">StepPO</text>
<text x="470" y="323" text-anchor="middle" fill="#57534e" font-family="Literata,serif" font-size="8.5">Step-level GAE</text>

<rect x="570" y="295" width="140" height="36" rx="8" fill="#f0fdfa" stroke="#0f766e" stroke-width="1.5"></rect>
<text x="640" y="310" text-anchor="middle" fill="#0f766e" font-family="Sora,sans-serif" font-size="10" font-weight="600">ARPO</text>
<text x="640" y="323" text-anchor="middle" fill="#57534e" font-family="Literata,serif" font-size="8.5">Entropy-adaptive Rollout</text>

<rect x="330" y="355" width="240" height="36" rx="8" fill="#0f766e"></rect>
<text x="450" y="378" text-anchor="middle" fill="white" font-family="Sora,sans-serif" font-size="11" font-weight="700">正交叠加：ARPO + GiGPO + GSPO + DAPO</text>

<rect x="280" y="398" width="340" height="20" rx="4" fill="none"></rect>
<text x="450" y="413" text-anchor="middle" fill="#78716c" font-family="Literata,serif" font-size="9">2025-2026 前沿：多维度正交改进可自由组合</text>

2.5 三大家族核心对比

III Agentic RL 核心问题

3.1 RLVR Ceiling：纯推理 RL 的天花板

清华 LeapLab 那篇论文的结论值得单独拎出来说。纯推理 RL，也就是 RLVR，它的性能上限超不过 base model 的 best-of-N 采样，pass@k 那条线就是天花板。模型只在静态文本上练推理，数学题也好代码题也好，RL 训练不会比暴力采样取最好更强。这话听着刺耳，但仔细想想有道理：如果目标只是提升推理质量，RL 干的事可能就是用更少的计算达到 best-of-N 的水平，并没有真正超越。

Agentic RL 为什么不吃这个限制？因为模型跟环境交互了。调工具、执行代码、多轮对话，这些动作会改变环境状态，产生新信息，比如代码跑出来的结果、API 返回的值。这些信息 base model 在纯文本采样里根本拿不到。RL 在这里优化的不只是生成什么，还有怎么去获取信息。

3.2 信用分配问题

Agentic RL 的核心难题之一，是长链交互里的信用分配。一个 20 轮的 Agent 交互，最后任务成功或失败的 reward，该归到哪些具体步骤头上？

Token-level 是经典做法，在每个 token 位置算 advantage，PPO 加 GAE 那一套。粒度最细，但对 Agent 来说 token 级信号太吵，一个工具调用由几十个 token 组成，它们应该共享同一份 credit。

Turn-level 以 Agent 的一轮交互为单位算 advantage，action 加 observation 算一轮。Turn-level AE 把每轮当成一个 macro action，用 GAE 在 turn 级别传播 credit。

Step-level 更细一点。StepPO 把 step 定义成 step-native MDP 里的原子操作，用 step-level GAE 配合长度归一化的重要性采样。比 turn-level 精细，比 token-level 稳定。

Group-in-Group 是 GiGPO 提出的双层分组。内层 group 在同一 prompt 下采样多条 trajectory，外层 group 跨 prompt 做 advantage normalization。多轮 Agent 的优势估计问题，它专门冲着这个去的。

3.3 多轮 RL

单轮 RL 是一个 prompt 对一个 response 对一个 reward。多轮 RL 多了三个麻烦。

环境状态会演化。每轮交互后状态变了，文件系统改了，对话上下文长了，策略得适应动态状态。长期信用分配也难，前几轮的决策可能影响很久之后的结果，选错一个 API，后面所有步骤全废。还有 IS 比率累积，多轮的 IS ratio 会连乘，训练极不稳定。

多轮 IS 问题具体长什么样？假设每轮 IS ratio 是 1.1，只偏离 10%，跑 10 轮累积下来就是 1.1 的 10 次方，约等于 2.59，远超 PPO 的 clip 范围 0.8 到 1.2。多轮场景下 clip 几乎总被触发，梯度信号被截断。

主流解法有这么几个。StarPO 在 turn 边界重新算 GRPO advantage，避免 ratio 跨 turn 累积。StepPO 用 step-level GAE 加长度归一化 IS，从 MDP 层面解决多步 ratio 问题。异步 IS Correction 在 rollout 和 training 之间引入双层 correction，token 级加 trajectory 级，容忍更大的 off-policy 程度。Ratchet 机制则是周期性把策略同步到 rollout worker，防止 off-policy drift。

3.4 工具调用 RL

让 LLM 学会什么时候调工具、怎么解读工具返回的结果，这是 Agentic RL 的核心能力之一。

reward 设计上分几档。Outcome Reward 只在最终任务完成时给正负一，简单但极度稀疏。Tool-use Reward 对正确的工具调用格式给中间奖励，问题是可能养出格式对、逻辑错的调用。Execution Reward 在工具执行成功时给奖励，代码编译通过、API 返回 200 都算，更鲁棒，但需要可执行环境。Process Reward 用 PRM 评估每步推理加工具调用的质量，最精细，可 PRM 本身还得训练。

VTool-R1 是多模态工具调用 RL 的代表。它让 VLM 学会在视觉推理任务里调计算工具，算面积、查坐标这类，用 GRPO 加 execution reward 训练，在 MathVista 等 benchmark 上提升明显。

3.5 Off-Policy 优化

大规模 RL 训练里，rollout 和 training 往往异步跑。rollout 用的策略和当前训练策略之间有 gap，这就是 off-policy 问题。

TOPR 的做法直接：off-policy 程度超过阈值的样本扔掉，只留足够 on-policy 的数据来更新。简单有效，但浪费数据。

CISPO 对 IS ratio 做 bias correction，减少 off-policy 数据引入的偏差，数据利用率保住了，训练稳定性也控制得住。

OPD 和 TrOPD 走蒸馏路线。用 off-policy trajectory 构造 teacher signal，再用 KL 蒸馏训练当前策略。TrOPD 加了信任域约束和 FKL outlier 过滤，比标准 OPD 提升 3 到 6 个百分点。

Agent Lightning 是微软的活儿，drop-in RL training，现有 Agent 框架不用重写代码就能加 RL 训练。核心思路是把 Agent 的 rollout 和 RL 训练解耦，支持异步执行，跟 veRL、TRL 这些框架都能集成。

IV 前沿算法创新

2025 到 2026 年冒出来一大堆对 GRPO 和 PPO 的改进。这些改进大多正交，各自从不同维度解决不同问题，可以自由组合。

4.1 GSPO

GSPO 是 Qwen 团队的工作。它盯上的问题是：GRPO 在 sequence 级别用同一个 advantage 加权整个 sequence 的所有 token，结果 sequence 内部好 token 和坏 token 拿到相同的梯度方向。

方案是在 sequence 级别做 GRPO，组内相对排名，但把 advantage 在 sequence 内部按 token-level log-prob 差异做二次分配。说白了就是 sequence 间 GRPO 加 sequence 内 token-level credit。Qwen 系列 RL 训练里它已经取代了原始 GRPO，长 sequence 的训练效率有提升。

4.2 StepPO

StepPO 的核心创新是把 Agent 的多轮交互建模成 step-native MDP。每个 step，也就是一组 action 加 observation，是一个 MDP 原子操作，不再把整条 trajectory 当成一个 episode。

技术上三件事。Step-level GAE 在 step 边界算 TD 残差和优势，不在 token 边界。长度归一化 IS 对 IS ratio 按 step 长度归一化，防止多步 ratio 累积爆炸。Step-aligned clip 的 clip 范围根据 step 在 trajectory 中的位置动态调整。

这是目前最系统的多轮 Agent RL 解决方案，信用分配和 IS 稳定性两个问题一起解决了。

4.3 ARPO

固定长度 rollout 效率低。简单问题不需要长 rollout，复杂问题需要更多探索，一刀切不合理。

ARPO 用熵自适应 rollout。监控策略熵，熵低于阈值就提前终止 rollout，策略已经确定了，没必要再采样，计算资源集中到高熵、不确定的样本上。训练效果保住了，rollout 计算量减少 20% 到 30%。

4.4 GiGPO

标准 GRPO 在同一 prompt 下采样 G 条独立回复做优势估计。Agentic 场景不一样，一个 prompt 对应多条交互式 trajectory，每条包含多轮 action-observation，标准 GRPO 分不清 trajectory 间差异和 trajectory 内部差异。

GiGPO 做双层分组。外层跨不同 prompt 做 advantage normalization，解决 prompt 难度差异。内层在同一 prompt 下的多条 trajectory 做 GRPO advantage，解决 trajectory 质量差异。多轮 Agent 任务上，SWE-bench 这类，比标准 GRPO 提升 3 到 5 个百分点。

4.5 正交叠加

2025 到 2026 年的一个重要共识：RL 算法的各个改进维度是正交的，可以自由组合。

Ratio 和 Clip 这一维解决 IS ratio 不稳定，代表是 DAPO 的解耦 clip 和 GSPO 的 sequence-level，能跟任何 advantage 方法组合。Advantage 这一维解决信用分配粒度，GiGPO 双层、Step-GRPO 的 step-level、StepPO 的 step GAE，能跟任何 clip 方法组合。Rollout 这一维解决采样效率，ARPO 的熵自适应，独立于优化算法。Gradient 这一维解决梯度估计质量，DAPO 的去偏梯度、StarPO 的稳定梯度，跟 advantage 正交。Stability 这一维解决训练稳定性，StarPO 的多轮稳定、ARPO 的熵正则化，属于通用稳定化技术。

推荐组合长这样：ARPO 自适应 rollout 加 GiGPO 双层 advantage 加 GSPO 的 seq-level ratio 加 DAPO 解耦 clip 加 StarPO 稳定化。五个改进作用于不同维度，理论上可以完全叠加。实际训练得根据任务复杂度调各组件的超参数。

4.6 2026 前沿新算法

Tree-GRPO 把 GRPO 的 chain-based rollout 换成 tree-search rollout。每个交互步骤作为树节点，共享前缀高效采样，树内优化等价于 step-level DPO。

T²PO 是不确定性引导探索。token-level 不确定性监控加重采样无效 turn，双层优化防止多轮 RL 训练崩溃。

EAPO 做熵感知信用分配。它证明了 token 能携带的 credit 上界由熵决定，四象限分解加动态调整学习信号，放大不确定 token 的 advantage，压缩确定性 token。

ResT 盯的是工具调用 token 重加权。它发现结构化低熵 token 是工具调用 reward 的主要决定因素，熵感知重加权从结构正确逐步转移到语义推理。4B 模型超了 GPT-4o 4.11%。

RAGEN-2 发现了一个叫 Template Collapse 的失败模式，agent 输出看着多样，实际不依赖输入。它的 SNR-Aware Filtering 在训练时优先选信息量大的 prompt，成功率持续提升。

Forge 加 CISPO 是 MiniMax 的，首个生产级 Agent RL 框架。三层中间件架构，agent、抽象、计算，Windowed-FIFO 调度，共享历史树合并，训练加速 40 倍。CISPO 多域并发 RL 防止灾难性遗忘。

2026 年其他值得关注的算法论文

先把散落在各个会议上的工作列一下。

ICLR / ICML 2026 顶会重要论文

---

V. OPD — On-Policy Distillation（在策略蒸馏）

5.1 OPD 原理：在策略蒸馏的数学本质

OPD 是 2026 年最活跃的算法族之一，位置在知识蒸馏和 RL 的交叉点上。它既是一种高效的模型压缩方法，也可以严格等价地写成带 dense token reward 的 KL 约束 RL。

标准蒸馏是 off-policy 的：学生模型学习教师模型在教师自己生成的数据上的分布。问题在于，教师分布和学生分布差得远的时候，学生被迫在自己从没见过的 token 上模仿教师，噪声就进来了。

OPD 换了个思路。学生模型自己生成 rollout，教师模型在学生生成的 token 上提供监督信号。学生只在自己能力范围内的轨迹上向教师学习。

目标函数长这样：

$$\mathcal{L}^{\text{OPD}}(\theta) = -\mathbb{E}{x \sim \mathcal{D},; y \sim \pi\theta(\cdot|x)}\left[\sum_{t=1}^{|y|} \log \pi_T(y_t \mid x, y_{<t})\right]$$

学生 $\pi_\theta$ 做 on-policy 生成序列 $y$，教师 $\pi_T$ 在每个 token 位置给出交叉熵损失。注意期望是对学生分布采样，不是教师分布。

这里有个核心洞见，OPD 和 KL-RL 是等价的：

$$\underbrace{-\mathbb{E}{y \sim \pi\theta}\left[\sum_t \log \pi_T(y_t|\cdot)\right]}{\text{OPD 交叉熵}} = \underbrace{\mathbb{E}{y \sim \pi_\theta}\left[\sum_t r_t^{\text{teacher}}\right]}{\text{Dense token reward}} + \underbrace{D{\text{KL}}(\pi_\theta | \pi_{\text{ref}})}_{\text{KL 正则}}$$

其中 teacher reward 定义为 $r_t^{\text{teacher}} = \log \pi_T(y_t|x,y_{<t}) - \log \pi_\theta(y_t|x,y_{<t})$，也就是教师和学生的 log-ratio。这意味着 OPD 等价于：拿教师-学生 log-ratio 当 dense token reward 做 RL，同时加 KL 正则防止学生偏离 reference model。

跟 GRPO 对比一下就很清楚。GRPO 是 sparse outcome reward，只有序列末尾有正确或错误的信号。OPD 是 dense token reward，每个 token 都有教师信号。两者互补：GRPO 适合教师发现，靠 sparse verifier；OPD 适合知识压缩，靠 dense teacher。

打个比方。GRPO 像考试只看最终答案对不对，OPD 像老师坐在旁边看你写每一步，随时纠正。前者鼓励探索，后者高效传递知识。

5.2 OPD 与其他算法族的对比

5.3 Sparse-to-Dense 完整 Pipeline

2026 年的共识是 GRPO 和 OPD 不是竞争关系，而是互补的两个阶段。完整的 post-training pipeline 分三步。

Stage 1 · GRPO（教师发现）：Base Model 加 sparse verifier reward，训练出强大的教师模型 $\pi_T$。这个阶段 reward 稀疏，只有 outcome，目标是策略探索和能力发现。

$$\pi_{\text{base}} \xrightarrow{\text{GRPO + sparse reward}} \pi_T \text{（教师）}$$

Stage 2 · OPD（学生压缩）：$\pi_T$ 作为 live teacher，小模型 $\pi_\theta$ 作为 student，用 dense token-level 蒸馏高效传递知识。信号密集，压缩效率远高于 sparse RL。

$$\pi_T \xrightarrow{\text{OPD (dense)}} \pi_\theta \text{（学生）}$$

Stage 3 · Sparse RL（学生精炼）：学生模型用 GRPO 加 sparse reward 做最终精炼，突破教师天花板。学生已经继承了教师能力，sparse RL 可以在此基础上继续探索。

$$\pi_\theta \xrightarrow{\text{GRPO + sparse reward}} \pi_\theta^* \text{（超越教师）}$$

效果方面，7B 学生通过这个 pipeline 在 MATH 上达到 79.3%，AIME 达到 25.2%（arXiv:2605.12483）。ExOPD 的 reward scaling 进一步让学生直接超越教师：$\mathcal{L}^{\text{ExOPD}} = -\alpha \cdot \mathbb{E}[\sum_t \log \pi_T(\cdot)]$，当 $\alpha > 1$ 时学生可以超出教师分布。

5.4 OPD 前沿变体

TrOPD（arXiv:2606.01249，2026.05）

Trust-Region On-Policy Distillation。它识别出标准 OPD 的一个关键失败模式：师生分布差异大的时候，teacher 梯度不可靠。三重机制应对：信任域约束，只用可靠的 teacher token；分布外区域用 forward-KL 近似；off-policy prefix 引导探索。比 OPD、EOPD、REOPOLD 高 3 到 6 个百分点。

ExOPD（arXiv:2602.12125，2026.02）

证明标准 OPD 是 dense KL-RL 的特例，reward 和正则权重都是 1。引入 reward scaling 大于 1，让学生超越教师。多专家合并时，学生能超越所有单一教师。

REOPOLD（arXiv:2603.11137，2026.03）

把 OPD 重构为 policy optimization，teacher-student log-ratio 作为 dense token reward。三重稳定化：reward clipping、基于熵的动态 token 采样、explore-to-refine 训练策略。sample efficiency 高 6.7 到 12 倍。7B 学生匹配 32B 教师。

Beyond GRPO & OPD（arXiv:2605.12483，2026.05）

提出 Sparse-to-Dense 原则：GRPO 和 OPD 是互补阶段而非竞争。GRPO 用 sparse reward 做教师发现，OPD 用 dense 监督做学生压缩。完整 pipeline 是教师 GRPO、学生 OPD、学生 sparse reward，最终 79.3% MATH、25.2% AIME。

5.5 Agentic OPD 变体（多轮 Agent 蒸馏）

OPD 属于 Agentic RL 吗？标准 OPD 本身是通用 post-training 技术，蒸馏和 RL 的交叉，不是 Agentic RL。但 2026 年已经涌现出多个 agentic 变体，SOD、TurnOPD、ATOD、OPAD，专门解决多轮 agent 蒸馏问题。OPD 与 GRPO 是互补关系：GRPO 做教师发现，OPD 做学生压缩。面试时得能清楚区分 OPD 作为蒸馏范式与 GRPO 作为 RL 范式的定位差异。

重要负面结果：Privileged Self-Distillation 伤害 Thinking Models（Princeton · 2026.07 · arXiv:2607.05184）

Kaur 等人发现，让 thinking model 做 privileged self-distillation（teacher 能看到正确答案，student 只看 query），反而严重损害长推理能力，avg@16 准确率下降最高达 17%。机制分析表明，privileged teacher 会惩罚 reconsideration tokens（验证、回溯、修正），而这些恰恰是 thinking model 的核心优势。在 Qwen3 和 OLMo 上跨 AIME24/AIME25/HMMT25 一致验证。启示很直接：对 reasoning model 做 OPD 时，必须仔细评估 privileged information 是否真的有益。

VI 开源大模型 RL 实践

6.1 DeepSeek-R1

DeepSeek-R1（arXiv:2501.12948 · Nature 2025）

DeepSeek-R1 是 GRPO 的标志性应用，首次在大规模 LLM 上证明了纯 RL 可以涌现出推理能力。

训练流程：

1. Cold-start SFT：少量高质量推理样本做冷启动（约数千条）
2. RL Stage 1 — Reasoning RL：用 GRPO + rule-based reward（数学答案正确性、代码通过率）训练，模型自发涌现出 chain-of-thought 推理
3. Rejection sampling + SFT：从 RL 模型采样高质量推理链，混合通用 SFT 数据再训练
4. RL Stage 2 — All-purpose RL：加入安全性、helpfulness 等 reward 信号做最终对齐

关键发现：

• 模型在 RL Stage 1 中自发学会了“让我想想”、“验证一下”等推理行为，无需人工标注
• GRPO 的 reward 只需要 outcome-level（答案对/错），不需要 process-level 标注
• RL 训练过程中出现了“aha moment”——模型在某些 step 突然学会新的推理策略

面试高频问：“DeepSeek-R1 的 GRPO 与 PPO 相比有什么优势？”回答要点：①去掉 Critic 网络节省显存 ②组内相对奖励不需要绝对奖励模型 ③on-policy 组采样天然适合 LLM 的并行推理 ④但 GRPO 有 entropy collapse 风险，需要 DAPO 等补充。

DeepSeek V4（2026.04 · arXiv:2606.19348）

DeepSeek 最新旗舰模型，从推理模型进化为通用 agentic 智能：

• 架构：V4-Pro 1.6T 总参/49B 活跃，V4-Flash 284B/13B，均支持 1M token 上下文
• 注意力创新：Compressed Sparse Attention (CSA) + Heavily Compressed Attention (HCA) 混合架构
• mHC（Manifold-Constrained Hyper-Connections）：替代标准残差连接，稳定信号传播
• 训练流程：32T+ tokens 预训练 → 两步对齐（领域专家 SFT+GRPO 培养专家 → on-policy 蒸馏统一能力）
• Agentic 定位：开源 SOTA on agentic coding benchmarks，效率仅 V3.2 的 27% 推理计算 + 10% 显存

6.2 Kimi k1.5 / K2

Kimi k1.5（arXiv:2501.12599）

核心贡献：将 long thinking（长链思维）与 RL 对齐结合。Kimi k1.5 在推理时生成极长的思考链（可达数万 token），然后用 RL 优化思考质量。

关键技术：

• Long2Short：用长思考模型蒸馏出短思考模型，在推理效率和质量之间取得平衡
• Model-based length penalty：在 RL reward 中加入思考长度的惩罚，避免模型“啰嗦”
• Multi-stage RL：先 RL 训练长思考，再蒸馏，再 RL 微调短思考

Kimi K2 → K2.5 → K2.6（Moonshot · 2025-2026）

K2 系列从 agentic RL 进化到 multi-agent swarm：

• K2（2025.07）：MoE 1T/32B，Agentic RL + MuonClip，SWE-bench 65.8%
• K2.5（2026.02，arXiv:2602.02276）：Visual Agentic Intelligence，100 sub-agents / 1,500 steps，SWE-bench 71.4%
• K2.6（2026.04）：Agent Swarm 架构——300 并行 sub-agents / 4,000 协调 steps，Claw Groups 多 agent 协作工作空间，SWE-bench Verified 80.2%

关键进化：从单 agent RL → multi-agent coordination → swarm intelligence。K2.6 的 Agent Swarm 是首个展示数千步协调的开源系统。

6.3 Qwen3

Qwen3（2025）

核心创新：混合思考模式——模型可以在 thinking mode（生成详细推理链）和 non-thinking mode（直接回答）之间动态切换。

RL 训练：

• 使用 GSPO（Group Sequence Policy Optimization）作为核心 RL 算法
• GDN 线性注意力：75% GDN + 25% attention 的混合架构，支持超长上下文
• RL 训练同时覆盖 reasoning（数学/代码）和 agentic（工具调用/对话）能力

面试点：Qwen3 的混合模式本质上是一个 mixture-of-experts at inference time——thinking mode 消耗更多计算但更准确，non-thinking mode 快速回答简单问题。这与 MoE 的 routing 思想一脉相承。

Qwen3-Coder-Next（2026.03 · arXiv:2603.00729）

极致效率的 coding agent：80B 总参 / 仅 3B 活跃，在消费级硬件（<60GB）上达到前沿水平。

• 环境合成：专用 agent 从 PR 直接生成可运行 Docker 容器作为训练数据
• 工具格式泛化：训练融合多种 schema（XML-style、qwen3_coder format），鲁棒的 IDE 交互
• 反 reward hacking：阻止 agent 使用网络命令作弊的 RL 机制
• Context Packing：best-fit 打包长上下文，避免截断和幻觉
• SWE-bench Verified 71.3%（with OpenHands），3B active 参数的最高效率

6.4 GLM-4.5 / GLM-5 / GLM-5.2

GLM-4.5（Zhipu AI · 2025）

GLM-4.5 主打 reasoning + coding + agentic 三大能力的统一：

• 使用 MTP（Multi-Token Prediction）加速推理，Meta 的并行 heads 方案
• RL 后训练覆盖数学推理、代码生成、Agent 交互三大场景
• 强调 agentic ability：内置 tool-use 能力，支持多轮 API 调用

GLM-5（2026 · z.ai/blog/glm-5）

GLM-5 的口号是“from Vibe Coding to Agentic Engineering”——从简单的代码补全升级到自主软件工程。其四阶段 RL 后训练 pipeline 是当前最复杂的开源模型训练流水线之一：

• Stage 1 — Reasoning RL：基于 GRPO + IcePop 技术减少 training-inference mismatch，混合域训练覆盖数学/科学/代码/工具推理
• Stage 2 — Agentic RL：全异步解耦 RL 框架处理长 horizon agent 轨迹。创新包括：TITO (Token-in-Token-out) 网关防止 tokenization 错误、Direct Double-sided Importance Sampling 稳定 off-policy 学习、DP-aware routing 最大化 KV-cache 复用
• Stage 3 — General RL：hybrid reward 系统（rule-based + outcome + generative models）+ Human-in-the-loop style alignment
• Stage 4 — On-Policy Cross-Stage Distillation：缓解能力退化，保留前序阶段学到的技能

Intelligence Index v4.0 得分 50（开源第一），LMArena Text + Code Arena 双第一。ARC 基准（含 SWE-bench）相比 GLM-4.7 提升约 20%，与 Claude Opus 4.5 和 GPT-5.2 对标。arXiv:2602.15763

GLM-5.2（2026.06 · MIT License）

Zhipu AI 最新旗舰，当前最强开源文本模型，与 GPT-5.5 和 Claude Opus 4.8 正面竞争：

• 架构：MoE 750B-A40B（744B 总参/40B 激活），1M context，128K output
• IndexShare：轻量 indexer 跨 4 层稀疏注意力复用，per-token FLOPs 降低 2.9×
• Single-Rollout Asynchronous Optimization（arXiv:2607.07508）：核心创新——用单条 rollout 采样替代传统 group-wise 采样，配合双侧 token-level clipping 稳定 off-policy 异步更新。解决传统异步 RL 中 group sampling 不适配 agent workflow 的问题，在 SWE-Bench Verified、BeyondAIME、IMOAnswerBench 上超越 GRPO 变体
• 异步 RL 基础设施“Slime”：rollout 与 training 解耦到不同硬件，千次迭代保持稳定
• SWE-bench Verified 72.8%，FrontierSWE 74.4，AIME 2026 99.2

研究洞察：RL 训练只需更新单层？（arXiv:2607.01232 · 2026.07）

Zhang 等人发现 Transformer 中 RL 增益的分布高度集中：提出 Layer Contribution 指标（单层独立训练恢复全参数 RL 收益的比例），在 Qwen2.5/Qwen3 七个模型（1.5B-8B）上用 GRPO、Dr.GRPO、GiGPO 三种算法验证：

• 高贡献层集中在网络中部 40%-60%，边界层（靠近输入/输出）贡献 <30%
• 最强单层（如 Qwen3-1.7B 的 Layer 10）贡献率达 114%（超越全参数训练）
• 仅更新 top-10 层在 Qwen3-8B 上数学准确率达 69.11%，超越全参数的 66.43%
• 层贡献排名在不同算法、数据集、架构间高度相关 → 暗示存在通用的“RL 学习瓶颈层”

启示：Agentic RL 训练可通过选择性层更新大幅降低计算开销，同时保持甚至超越全参数 RL 效果。

GLM 生态其他重要工作

VII Agentic 系统与基础设施

7.1 Coding Agent RL 全景

2025-2026 年，coding agent 成为 Agentic RL 最重要的落地场景。SWE-bench Verified 成为衡量 agent 能力的核心 benchmark，头部系统已突破 70%+ 的解决率。

先看一张榜单，SWE-bench Verified 2026 年 7 月的最新排名。

Kimi K2.6 和 Qwen3-Coder 都报了 80.2%，大概率用了不同的 evaluation scaffold，直接横比要留个心眼。换成更难的 SWE-bench Pro，Claude Opus 4.8 是 69.2%，GLM-5.2 62.1%，GPT-5.5 58.6%。

几个代表性工作值得单独拎出来看。

Qwen3-Coder（Alibaba，2025）是开源 SOTA，MoE 480B 总参、35B 激活，256K context。内部用一套叫 Forge 的框架加 CISPO 算法来稳住 MoE 训练。rollout 靠 20,000 个并行 sandbox 环境跑。reward 设计上有个 process reward 机制，自动把 feature 拆成 spec 再拆成代码。SWE-bench 80.2%，Multi-SWE-bench 51.3%。

DeepSWE（Together AI，2025）走完全开源路线，基于 Qwen3-32B，64 张 H100 训了 6 天。算法是 GRPO++，Clip High 加去掉 KL penalty。基础设施用 K8s 编排 Docker sandbox，配 compact filtering 把超时的 trajectory 藏掉。4,500 个任务，sparse outcome reward，只看测试过没过。Pass@1 42.2%，Pass@16 71.0%。

SWE-RL（Meta，NeurIPS 2025）是第一个把 RL 扩展到真实软件工程任务的学术工作。基于 Llama 3 70B，rule-based reward，拿输出和 ground truth 对比。NeurIPS 2025 主会接收，41.0% resolve rate。

Kimi-Dev（Moonshot，2025）的思路叫 Agentless Training as Skill Prior。先训单轮 workflow，BugFixer 加 TestWriter，再把这份 skill prior 迁移到多轮 agentic 框架里。纯 outcome reward 加 Test-Time Self-Play，SWE-bench 60.4%。

MiniMax M2.5（2026.02，arXiv:2605.26494）主打一个便宜，每小时 1 美元的前沿模型。229.9B 总参、9.8B 活跃。Forge 框架做 agent-native RL，训练和推理引擎完全解耦，大约 40 倍训练加速。CISPO 算法支持多域并发 RL，逻辑、标准问答、自主任务一起训，防止灾难性遗忘。调度上用 Windowed-FIFO 加前缀树合并消除重复计算。SWE-bench Verified 75.8%（high reasoning），比前代快 37%。

商业 Coding Agent 那边 RL 细节基本不公开，列个表感受一下。

7.2 开源 RL 训练框架

2025 年 Agentic RL 训练基础设施成熟得很快。下面这些框架撑起了几乎所有开源 Agentic RL 工作。

veRL (HybridFlow)（verl-project，2025）是采用最广的开源 RL 训练框架。源自 ByteDance 研究，支持 PPO/GRPO/DPO，也做了 Agentic RL 扩展。原生集成 vLLM 做高效 rollout，有专门的 Agentic RL 模式支持多轮环境交互，hybrid execution 用 Ray 加 FSDP 做得很灵活。EMNLP 2025 Demo Track。

TorchForge（PyTorch/Meta，2025）是 PyTorch 官方的 Agentic RL 库，面向 GPU-cloud 规模训练。PyTorch-native 设计，和 torch.distributed 深度集成，专门为大规模 agentic rollout 优化。它的出现说明 Agentic RL 进了主流基础设施的视野。

Agent Lightning（Microsoft，2025）打的是 drop-in RL 的牌，现有 Agent pipeline 不用重写代码就能加 RL 训练。rollout 和 RL 训练解耦、异步执行，能和 veRL、TRL、LangChain 这些框架集成。arXiv:2508.03680。

TRL v1.0（Hugging Face，2025）和 HF 生态深度绑定，新增了 Agentic RL 支持，能训 tool-use agent。上手最容易。

其他几个关键框架：

2025-2026 的基础设施格局大致是这样：veRL 是事实标准，最多开源工作基于它；TorchForge 代表 PyTorch 官方的主流信号；Agent Lightning 解决“已有 Agent 怎么加 RL”的集成问题。三者形成训练核心、PyTorch 原生、框架胶水的互补层次。

7.3 训练基础设施要点

7.4 推荐开源 Repo（按 Star 排序）

核心训练框架：

算法实现和研究类 Repo：

面试必备 Repo 知识：能说清楚 veRL（生产标准）、TRL（入门首选）、open-r1（R1 复现）、ART（agentic RL 部署）四个框架的定位差异。知道 simple_GRPO 是理解 GRPO 内部机制的最佳教学代码。DAPO 和 Dr. GRPO 是 GRPO 最重要的两个改进方向。蒸馏方向关注 thunlp/OPD（官方实现）和 AwesomeOPD（最全索引）。

7.5 GUI / Web / Desktop Agent RL

除 coding agent 外，GUI 操控 agent（网页浏览、桌面控制、手机操作）是 Agentic RL 的第二大落地场景。核心挑战在于：视觉感知的连续动作空间、超长 horizon（几十到上百步）、以及环境状态的高维度。Zhipu/THUDM 在这一方向形成了最完整的开源研究矩阵。

GUI Agent RL 的技术演进：从 AutoGLM 的 planner/grounder 解耦（2024.11）→ WebRL 的自进化课程（ICLR 2025）→ ComputerRL 的 step-level GRPO + Entropulse（2025.08），三篇工作来自同一个团队（Zhipu/THUDM），形成了web → mobile → desktop 的全场景覆盖。核心共性是：异步 rollout + 自动课程学习 + 探索熵维持。这与 coding agent RL 的同步 group sampling 形成鲜明对比——GUI agent 的轨迹更长、环境交互更慢，迫使训练框架走向异步解耦。

VIII 面试高频 QA

GRPO 为什么不需要 Critic？与 PPO 的本质区别是什么？中等高频

本质区别在于 advantage 的估计方式。PPO 需要一个 Critic 网络 $V_\phi(s)$ 来估计状态价值，然后计算 $A(s,a) = Q(s,a) - V(s)$。这引入了额外的参数、显存开销和估计偏差。

GRPO 的做法是：对同一个 prompt 采样 $G$ 个回复（如 $G=8$），用组内奖励的均值和标准差做归一化：$\hat{A}_i = (r_i - \bar{r}) / (\sigma_r + \epsilon)$。这是用Monte Carlo 组内排名替代了 Critic 的learned value estimation。

类比：PPO 像请了一个评委（Critic）给每个选手打分，然后用选手分数减评委的平均预期来算优势。GRPO 像直接让一组选手同台竞技，按排名算优势——不需要评委，但需要多个选手（G 个 rollout）。

代价：GRPO 需要更多的 rollout（$G \geq 4$），但省去了 Critic 训练的不稳定性和显存。

什么是 RLVR Ceiling？Agentic RL 如何突破它？困难高频

RLVR Ceiling（arXiv:2504.13837）证明：对于纯推理任务（静态文本输入 → 文本输出），RL 训练后的模型性能不会超过 base model 的 best-of-N (pass@k) 采样。直觉：RL 只能重新分配模型已有的概率质量，无法让模型生成“能力之外”的答案。

Agentic RL 不受此限制，因为：

• Agent 可以与环境交互获取新信息（执行代码得到运行结果、调用 API 获取外部知识），这些信息不在 base model 的参数或 prompt 中
• RL 优化的不仅是“生成什么”，还有“如何获取信息”——工具调用策略、多轮交互规划等
• 环境状态的改变（如文件修改、变量更新）创造了全新的 state space，超越了纯文本推理的固定状态空间

DPO 和 GRPO 的训练数据需求有什么区别？中等高频

DPO 需要偏好对数据 $(x, y_w, y_l)$：同一个 prompt 下，一个“好回复”和一个“差回复”的配对。这些数据通常来自人类标注或强模型生成+排序，离线固定。

GRPO 需要可验证奖励函数：给定 prompt 和回复，能自动判断奖励分数（如数学答案正确=1、错误=0）。训练时online 采样 G 个回复并计算组内相对优势。

关键区别：DPO 是 offline（受限于数据质量），GRPO 是 on-policy（持续从当前策略采样，数据随训练演化）。这就是为什么 GRPO 更适合 reasoning 场景——模型可以探索不同的推理路径并从中学习。

多轮 RL 中 IS ratio 累积问题怎么解决？困难高频

问题：$K$ 轮交互后，IS ratio 为 $\prod_{k=1}^K r_k(\theta)$，即使每轮仅偏离 10%，10 轮后 ratio 可达 $1.1^{10} \approx 2.59$，远超 clip 范围。

解决方案：

• StarPO：在 turn 边界重新计算 advantage，不让 ratio 跨 turn 连乘
• StepPO：step-native MDP + 长度归一化 IS $\bar{r}_k = r_k^{1/|step_k|}$，按 step 长度归一化
• 异步双层 IS：token-level IS × trajectory-level IS correction，两层分别控制 off-policy 偏差
• Ratchet：周期性同步 rollout worker 和 trainer 的策略参数，防止 drift 过大
• TOPR：直接丢弃 off-policy 程度超阈值的 trajectory

GiGPO 的双层分组具体怎么做？困难中频

标准 GRPO：一个 prompt → G 条回复 → 组内归一化 advantage。问题：Agentic 场景中不同 prompt 的难度差异巨大，组间比较不公平。

GiGPO 双层分组：

1. 内层：对每个 prompt $x_i$，采样 $G$ 条 trajectory $\{\tau_{i,1}, \ldots, \tau_{i,G}\}$，计算组内 advantage：$A_{i,j}^{\text{inner}} = (R(\tau_{i,j}) - \bar{R}_i) / \sigma_i$
2. 外层：跨 $B$ 个 prompt，计算 prompt 级别的 baseline：$A_{i}^{\text{outer}} = (\bar{R}_i - \bar{R}_{\text{batch}}) / \sigma_{\text{batch}}$
3. 最终 advantage：$\hat{A}_{i,j} = A_{i,j}^{\text{inner}} + \alpha \cdot A_{i}^{\text{outer}}$

直觉：内层解决“同一问题下哪个解法更好”，外层解决“哪些问题值得更多学习”。

StepPO 和 Turn-level AE 的区别？中等中频

Turn-level AE（arXiv:2512.17008）：将 Agent 的每一轮交互（thought + action + observation）视为一个 macro action，在 turn 边界计算 GAE。粒度较粗，一个 turn 可能包含多个逻辑步骤。

StepPO（arXiv:2604.18401）：将“step”定义为 step-native MDP 中的原子操作。一个 step 可能跨越多个 turn（如：plan → execute → verify 是一个完整的 step），也可能是一个 turn 中的子步骤。StepPO 还引入了长度归一化 IS 和 step-aligned clip，是更系统的解决方案。

简单说：Turn-level AE 是 PPO 的简单适配（在 turn 边界插入 GAE），StepPO 是从 MDP 建模层面重新设计的完整方案。

DAPO 的 decoupled clipping 是什么？为什么有效？中等中频

标准 PPO/GRPO 的 clip 是对称的：$\text{clip}(r, 1-\epsilon, 1+\epsilon)$，正负方向 clip 幅度相同。

DAPO 将 clip 解耦为：$\text{clip}(r, 1-\epsilon_l, 1+\epsilon_u)$，其中 $\epsilon_l \neq \epsilon_u$。

为什么有效：在 GRPO 训练中，组内优势分布通常不对称（少数回复特别好，多数平庸）。对称 clip 会导致：正优势被过度 clip（限制了学习好回复的速度），负优势 clip 不足（差回复的惩罚过大）。DAPO 允许更大的 $\epsilon_u$（少 clip 正优势）和更小的 $\epsilon_l$（多 clip 负优势），缓解 entropy collapse。

DeepSeek-R1 的训练流程中 RL 起了什么作用？中等高频

R1 的训练有四步，RL 在两个阶段发挥作用：

1. Cold-start SFT：用少量高质量推理数据做冷启动，给模型一个基本的推理格式
2. RL Stage 1（Reasoning RL）：用 GRPO + rule-based reward 训练。这一步是核心——模型在 RL 探索中自发涌现出 CoT 推理能力，包括“让我验证”、“换个思路”等行为。这些行为不是 SFT 教的，是 RL “发现”的
3. Rejection Sampling + SFT：从 RL 模型采样高质量推理链，混合通用数据做 SFT，稳定模型格式
4. RL Stage 2（All-purpose RL）：加入安全性、helpfulness reward 做最终对齐

关键洞见：RL Stage 1 是推理能力的“涌现源”，SFT 只是提供格式，最终能力来自 RL 的探索与优化。

Agentic RL 的 reward 设计有哪些范式？困难高频

按 reward 信号的粒度和来源分四类：

• Outcome Reward：只看最终结果，任务成功给 1，失败给 0。简单但稀疏。适合有明确成功/失败标准的任务，比如 SWE-bench 里测试通过还是不通过。
• Process Reward (PRM)：为推理或行动的每一步打分。需要训练 PRM 或者设计规则。Step-GRPO 用的是 rule-based PRM，公式正确给 0.1。
• Execution Reward：基于工具执行结果，代码编译通过、API 返回成功、搜索结果相关度都算。Agentic 场景特有，信息量最丰富。
• AI Feedback (RLAIF)：用另一个 LLM 当 judge 评估 agent 行为质量。灵活，但有 judge bias。

2026 年的趋势是混合 reward：$R = w_1 R_{\text{outcome}} + w_2 R_{\text{process}} + w_3 R_{\text{exec}}$，兼顾稀疏但准确的 outcome reward 和密集但可能有噪声的 process reward。

    <details>
        <summary>"Agent = Model + Harness" 这个范式是什么含义？<span>中等</span><span>中频</span></summary>
        <div>
            <p>2026 年的共识是：一个 Agent 系统不只是 LLM 本身（Model），还包括包裹模型的 Harness（脚手架/框架）。Harness 负责：</p>
            <ul>
                <li><strong>工具注册与调度</strong>（Tool Registry）：管理可用工具列表、参数 schema、调用权限</li>
                <li><strong>上下文管理</strong>（Context Manager）：在多轮交互中筛选、压缩、注入相关信息</li>
                <li><strong>记忆系统</strong>（Memory）：Working（当前对话）、Episodic（历史轨迹）、Long-term（持久知识）</li>
                <li><strong>执行环境</strong>（Sandbox）：安全的代码执行、浏览器操作、API 调用</li>
                <li><strong>规划与编排</strong>（Orchestration）：FSM-based（有限状态机）、开放 ReAct、分层（Voyager 式）</li>
            </ul>
            <p>SWE-Agent 的 "Interface &gt; Model"（ACI 比模型大小更重要）就是这个范式的实证。Agentic RL 训练的目标不只是优化 Model，也包括优化 Harness 中的决策策略。</p>
        </div>
    </details>

    <details>
        <summary>Off-Policy 方法（TOPR / CISPO / OPD）的区别？<span>困难</span><span>中频</span></summary>
        <div>
            <p>三者解决同一个问题——rollout 策略与训练策略不同步（off-policy）——但方案不同：</p>
            <ul>
                <li><strong>TOPR（截断）</strong>：设一个阈值 $\delta$，如果 IS ratio $|r_t - 1| &gt; \delta$，直接丢弃这条样本。简单粗暴，但会浪费数据，尤其在异步训练场景下大量数据被丢弃。</li>
                <li><strong>CISPO（修正）</strong>：对 IS ratio 做 bias correction——估计 off-policy 引入的偏差并从梯度中减去。保留了数据但增加了计算复杂度。</li>
                <li><strong>OPD / TrOPD（蒸馏）</strong>：不把 off-policy 数据直接用于梯度更新，而是用它构造 teacher signal，通过 KL 蒸馏来训练当前策略。TrOPD 额外加入信任域约束 + FKL outlier 过滤。效果最好（+3~6pp vs 标准 OPD）。</li>
            </ul>
        </div>
    </details>

    <details>
        <summary>Agentic RL 开源训练生态的全景是什么？<span>困难</span><span>中频</span></summary>
        <div>
            <p>2025-2026 年的 Agentic RL 开源生态可分为四层：</p>
            <ol>
                <li><strong>训练核心框架</strong>：veRL（HybridFlow，事实标准，Ray + FSDP + vLLM 集成）和 TorchForge（PyTorch 官方，GPU-cloud 规模）。支持 PPO/GRPO/DPO + Agentic RL 扩展</li>
                <li><strong>框架胶水层</strong>：Agent Lightning（Microsoft，drop-in RL for any agent）、TRL v1.0（HF 生态，tool-use agent 训练）。解决"已有 Agent 系统如何加 RL"</li>
                <li><strong>环境基础设施</strong>：NVIDIA NeMo Gym（Rollout-as-a-Service）、OpenEnv（HF 社区标准化环境）、E2B/Modal（sandbox 即服务）。提供安全隔离的代码执行 / 浏览器 / API 环境</li>
                <li><strong>代表性模型</strong>：Qwen3-Coder（80.2% SWE-bench，Forge + CISPO）、DeepSWE（完全开源，GRPO++）、Kimi K2（65.8%，MuonClip）、SWE-RL（NeurIPS'25，首个学术 RL coding agent）</li>
            </ol>
            <p>关键趋势：RL 训练从研究原型走向工程化——veRL/TorchForge 提供标准化训练循环，Agent Lightning 降低集成门槛，NeMo Gym 提供数据与环境基础设施。</p>
        </div>
    </details>

    <details>
        <summary>OPD 为什么等价于 KL 约束 RL？什么时候用 OPD 而不是 GRPO？<span>困难</span><span>高频</span></summary>
        <div>
            <p><strong>KL-RL 等价性</strong>：标准 OPD 的目标是在学生 on-policy 生成的数据上最小化教师的交叉熵。将其展开：</p>
            <p>$$-\mathbb{E}_{y \sim \pi_\theta}\left[\sum_t \log \pi_T(y_t|\cdot)\right] = \mathbb{E}_{y \sim \pi_\theta}\left[\sum_t \underbrace{(\log \pi_T - \log \pi_\theta)}_{r_t^{\text{teacher}}}\right] + D_{\text{KL}}(\pi_\theta \| \pi_\theta)$$</p>
            <p>第一项是 dense token reward（教师-学生 log-ratio），第二项是 KL 正则（防止学生偏离自身）。这恰好是 KL 约束 RL 的标准形式——<strong>reward = teacher log-ratio, KL penalty against reference model</strong>。</p>
            <p><strong>什么时候用 OPD</strong>：①已有强教师模型，需要压缩到小模型 ②需要 dense supervision 加速训练（相比 sparse RL 效率高 6~12×）③学生模型需要继承教师的特定能力（如推理链风格、工具调用模式）。</p>
            <p><strong>什么时候用 GRPO</strong>：①需要从零发现策略（无现成教师）②有可验证的 sparse reward（如数学答案正确性）③需要突破教师天花板（RLVR Ceiling 不适用 Agentic RL）。</p>
            <p><strong>最佳实践</strong>：两者串联——GRPO 训练教师 → OPD 蒸馏学生 → GRPO 精炼学生（Sparse-to-Dense Pipeline）。</p>
        </div>
    </details>

    <!-- ======================= References ======================= -->
    <h2 id="ref">参考文献</h2>

常见问题（FAQ）

Agentic RL 和传统 RLHF、RLVR 有什么区别？

Agentic RL 是继 RLHF（人类反馈）和 RLVR（可验证奖励）后的新范式，让模型在交互环境中通过工具调用、多轮对话、代码执行来解决问题，优化“如何与环境交互”而非仅“生成什么”。

RLVR Ceiling 是什么？为什么它促使 Agentic RL 成为热点？

RLVR Ceiling 指纯推理 RL 的性能上限不超过 base model 的 pass@k（arXiv:2504.13837）。这盆冷水表明静态文本推理无法突破暴力采样，因此 Agentic RL 通过交互环境成为突破天花板的关键路径。

Agentic RL 中的信用分配问题是什么？

信用分配是 Agentic RL 的核心问题之一，指在多轮交互中如何将最终奖励合理分配给各个动作（如工具调用、规划步骤），以稳定训练并提升策略效果。