跳到正文

AWS 在 SageMaker HyperPod 上测试 GPT-OSS-20B 的多语言推理微调

1篇报道 1个报道来源 2 小时前更新

先了解这件事

AI 综述

AWS 作者在 Amazon SageMaker HyperPod 上对 GPT-OSS-20B 进行了微调,并报告称,在一项包含 50 个案例的多语言评估中,模型更能遵循指定语言要求。监督微调(SFT)将推理语言合规率从 22% 提高到 100%,随后进行的组相对策略优化(GRPO)阶段则将回答语言合规率从 62% 提高到 70%。这些指标衡量的是推理和回答所用的语言,而非回答准确性。 在另一项使用 Qwen2.5-7B-Instruct 的对照实验中,作者报告了额外的多语言提升,但 GSM8K 表现没有改善。他们以此支持了其建议:在仍有提升空间时应用 GRPO。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月21日
  1. 在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 以实现多语言推理

    AWS 作者演示了如何在 Amazon SageMaker HyperPod 上依次采用 SFT 和 GRPO 对 GPT-OSS-20B 进行微调。在一项包含 50 个案例的多语言评测中,SFT 将推理语言合规率从 22% 提高到 100%,而 GRPO 将回答语言合规率从 62% 提高到 70%。一项 Qwen2.5-7B-Instruct 对照实验显示,多语言能力进一步提升,但 GSM8K 表现没有改善,这支持作者关于在仍有提升空间的领域应用 GRPO 的建议。

明早 08:00 把这样一份日报发到你邮箱

和上面这份一样:几件值得看的事。免费,点确认信之后才会开始发送,每封信都能一键退订。 看一份往期日报

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。

继续阅读

最新日报 · 第 27 期TorchNeuron 为 AWS Trainium 上的 Hugging Face 模型带来原生 PyTorch 支持

正在热议

  1. 1DeepSeek 开源 DeepInfer 和 API 组件,但模型与硬件支持有限
  2. 2Mistral 发布 Voxtral 3 语音模型、语音代理 API 和基于 LiveKit 的 SDK
  3. 3OpenAI 在 ChatGPT 中推出锁定聊天功能,支持 PIN 码和生物识别访问
  4. 4OpenAI 收购 Orchestra Bio,助力药物开发