vLLM 分享 SkyRL 配方及 Mistral Large 4 的数学基准提升

1篇报道 1个报道来源 3 小时前更新

先了解这件事

AI 综述

vLLM 分享了一套使用 SkyRL 对 Mistral Large 4 进行 LoRA 强化学习的配方，并报告称，在 8 个 NVIDIA GB200 节点上经过 75 个训练步骤后，模型的 AIME 2024 avg@8 得分从约 64% 提高到约 75%。此次运行使用了 Mistral Large 4 的 NVFP4 检查点。在该配方中，vLLM 生成 rollout，训练则由 FSDP2 或 Megatron 负责。配方结合了 rank-32 LoRA、NVFP4 量化感知训练、FP8 KV 缓存模拟、路由重放（R3）以及 token 级截断重要性采样。vLLM 报告称，FSDP2 训练器与 vLLM 的对数概率之间的平均绝对差约为 0.02–0.026；Megatron 达到了相近的准确度，差距也相当。

AI 根据报道生成 · 2 小时前更新

最新进展10月30日 09:53

vLLM 报告了使用 SkyRL 对 Mistral Large 4 进行强化学习的首日结果 vLLM · X

接下来读什么

今日还有哪些重要变化Mistral 发布改进版 Mistral Large 4 开放权重模型，面向编程和网络安全

提到的模型

Mistral Large 4

全部模型的 API 价格

报道时间线

沿着报道，了解事件的不同侧面。

10月30日

09:53
vLLM · X
vLLM 发布使用 SkyRL 对 Mistral Large 4 进行 day-0 强化学习的结果
vLLM 报告称，使用 SkyRL 在 Mistral Large 4 的 NVFP4 检查点上进行 LoRA 强化学习，在 8 个 NVIDIA GB200 节点上经过 75 个训练步骤后，AIME 2024 avg@8 从约 64% 提升至约 75%。 vLLM 生成 rollout，FSDP2 或 Megatron 负责训练，采用 rank-32 LoRA、NVFP4 量化感知训练、FP8 KV-cache 模拟、路由重放（R3）以及 token 级截断重要性采样。 FSDP2 将 trainer 与 vLLM 之间的 logprob 平均绝对差维持在约 0.02–0.026；Megatron 达到了相近的准确率，差值也相当。

模型发布、价格变化、算力进展，附原始来源。免费，确认后开始发送，随时一键退订。看一份往期日报

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。