Entity

投机解码

一种加速大语言模型推理的技术，使用一个小型草稿模型预测多个token，然后由主模型一次性验证，从而减少前向传播次数。