在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 以实现多语言推理

发生了什么

AWS 作者演示了如何在 Amazon SageMaker HyperPod 上依次采用 SFT 和 GRPO 对 GPT-OSS-20B 进行微调。在一项包含 50 个案例的多语言评测中，SFT 将推理语言合规率从 22% 提高到 100%，而 GRPO 将回答语言合规率从 62% 提高到 70%。一项 Qwen2.5-7B-Instruct 对照实验显示，多语言能力进一步提升，但 GSM8K 表现没有改善，这支持作者关于在仍有提升空间的领域应用 GRPO 的建议。

这件事到目前为止

AWS 作者在 Amazon SageMaker HyperPod 上对 GPT-OSS-20B 进行了微调，并报告称，在一项包含 50 个案例的多语言评估中，模型更能遵循指定语言要求。监督微调（SFT）将推理语言合规率从 22% 提高到 100%，随后进行的组相对策略优化（GRPO）阶段则将回答语言合规率从 62% 提高到 70%。这些指标衡量的是推理和回答所用的语言，而非回答准确性。 在另一项使用 Qwen2.5-7B-Instruct 的对照实验中，作者报告了额外的多语言提升，但 GSM8K 表现没有改善。他们以此支持了其建议：在仍有提升空间时应用 GRPO。

继续阅读

正在热议

1. 1DeepSeek 开源 DeepInfer 和 API 组件，但模型与硬件支持有限
2. 2Mistral 发布 Voxtral 3 语音模型、语音代理 API 和基于 LiveKit 的 SDK
3. 3OpenAI 收购 Orchestra Bio，以支持药物开发
4. 4OpenAI 在 ChatGPT 中推出锁定聊天功能，支持 PIN 码和生物识别访问