vLLM 发布使用 SkyRL 对 Mistral Large 4 进行 day-0 强化学习的结果

发生了什么

vLLM 报告称，使用 SkyRL 在 Mistral Large 4 的 NVFP4 检查点上进行 LoRA 强化学习，在 8 个 NVIDIA GB200 节点上经过 75 个训练步骤后，AIME 2024 avg@8 从约 64% 提升至约 75%。 vLLM 生成 rollout，FSDP2 或 Megatron 负责训练，采用 rank-32 LoRA、NVFP4 量化感知训练、FP8 KV-cache 模拟、路由重放（R3）以及 token 级截断重要性采样。 FSDP2 将 trainer 与 vLLM 之间的 logprob 平均绝对差维持在约 0.02–0.026；Megatron 达到了相近的准确率，差值也相当。

接下来读什么

• 今日还有哪些重要变化Mistral 发布改进版 Mistral Large 4 开放权重模型，面向编程和网络安全

这件事到目前为止

vLLM 分享了一套使用 SkyRL 对 Mistral Large 4 进行 LoRA 强化学习的配方，并报告称，在 8 个 NVIDIA GB200 节点上经过 75 个训练步骤后，模型的 AIME 2024 avg@8 得分从约 64% 提高到约 75%。此次运行使用了 Mistral Large 4 的 NVFP4 检查点。 在该配方中，vLLM 生成 rollout，训练则由 FSDP2 或 Megatron 负责。配方结合了 rank-32 LoRA、NVFP4 量化感知训练、FP8 KV 缓存模拟、路由重放（R3）以及 token 级截断重要性采样。vLLM 报告称，FSDP2 训练器与 vLLM 的对数概率之间的平均绝对差约为 0.02–0.026；Megatron 达到了相近的准确度，差距也相当。