Entity

DPO

Direct Preference Optimization，直接偏好优化，无需奖励模型，直接用偏好对更新策略，比RLHF更简单高效。