跳转到内容
主站 新闻 控制台

vLLM V0 到 V1:在 RL 中,先确保正确性,再进行修正

· Hugging Face
教程模型卡

vLLM V0 到 V1:在 RL 中先保证正确性,再做修正

2026 年 5 月 6 日发布

Rafael Pardinas rafapi-snow 关注

ServiceNow-AI

Ehsan Kamalloo ehsk 关注

ServiceNow-AI

PipelineRL 使用 vLLM 作为 rollout 生成的推理引擎。推理引擎采样 token 并返回 token 的 logprob;训练器使用这些 logprob 来计算 policy ratio、KL、clip rate、entropy 和 reward。logprob 的计算方式只要有任何差异,都会改变训练动态。这就是我们在 vLLM V0 到 V1 迁移过程中必须消除的训练—推理不一致问题。

TL;DR。 在修复了四件事之后,vLLM V1 与我们的 vLLM V0 参考实现对齐:处理后的 rollout logprob、V1 特有的运行时默认值、在线权重更新路径,以及用于最终投影的 fp32 lm_head。我们是在修改 RL 目标之前先修复后端行为。

参考运行使用的是 vLLM 0.8.5;V1 运行使用的是 vLLM 0.18.1。图 1 展示了最终结果。红色曲线是最初的 V1 尝试,绿色曲线是下文所述修复后的最终 V1 运行。

Image 12

图 1. vLLM V0 参考版本(蓝色)、最初的 vLLM V1 尝试(红色),以及修复后最终的 vLLM V1 运行(绿色)的训练器侧指标,包括 fp32 lm_head。最终的 V1 运行在 clip rate、KL、entropy 和 reward 上都接近 V0 的轨迹。

迁移目标

vLLM V1 是对 V0 引擎的一次大规模重写。因此,我们的迁移目标有意设得很窄:

  1. 验证 V1 返回的 rollout logprob 是否符合训练器预期的格式
  2. 用相同工作负载重新运行,与 V0 参考结果对比
  3. 只有在恢复后端一致性之后,才评估目标层面的变化

最先出现的可见症状包括:

  • clamp_log_ratio_new_old_indicator
  • kl_new_old
  • entropy
  • reward

这些指标来自一次 GSPO 训练运行,而该目标正是本实验所使用的目标。类似的不一致也可能出现在 PPO、GRPO,或任何把 rollout 侧 logprob 视为优化目标一部分的在线 RL 系统中。

最初的 V1 运行清楚地暴露了问题。训练器侧的 logprob 和 reward 在训练早期就偏离了 V0 参考结果。

Image 13

图 2. 训练器在更新过程中计算的当前策略 logprob(左)和 reward(右)。最初的 vLLM V1 运行(红色)与 vLLM V0 参考(蓝色)逐渐分离。

在训练器指标中也能看到同样的模式。clip rate 是最初对比中最容易读取的信号。

Image 14

图 3. vLLM V0 参考版本(蓝色)与最初的 vLLM V1 尝试(红色)的训练器侧指标。clip rate 反映 rollout/训练器策略之间的差距;entropy 和 reward 展示了这种差距如何传播到训练中。

失败模式

我们将可能的原因分成三层:

  1. 语义不匹配:后端返回的 logprob 相对于训练器预期具有不同含义。
  2. 推理路径不匹配:后端在缓存、调度或请求处理方面使用了不同的运行时默认值,导致相同的 prompt 走上了不同的执行路径。
  3. 目标不匹配:RL 目标本身需要针对