百度开源 ERNIE 5.5 Flash Base，称其在同等规模基准测试中取得进展

发生了什么

百度于 11 月 5 日开源 ERNIE 5.5 Flash Base，并称该模型在知识、推理、数学、编程、多语言和长上下文基准测试中取得同等规模模型中的最先进成绩。该模型采用混合专家架构，总参数量为 2,800 亿，每个 token 激活 140 亿个参数；预训练使用了 33.5 万亿个 token。文章介绍了旨在提高资源效率的注意力机制、专家路由和训练方面的改进。

接下来读什么

• 今日还有哪些重要变化OpenAI 发布 Images 2.6，支持导出 SVG、生成 GIF，速度更快

2 家信源报道

这件事到目前为止

百度已开源 ERNIE 5.5 Flash Base。这是一款拥有 2800 亿参数的混合专家基础模型，每个 token 激活 140 亿个参数。该模型现已在 Hugging Face 上发布。 百度表示，该模型使用 33.5 万亿个 token 进行预训练，预训练期间支持 128K 上下文，微调和推理期间支持多达 100 万个 token，并在多个基准测试中取得了同等规模模型中的最佳成绩。