百度开源 ERNIE 5.5 Flash Base

百度已开源 ERNIE 5.5 Flash Base。这是一款拥有 2800 亿参数的 MoE 基础模型，每个 token 激活 140 亿参数。百度表示，该模型使用 33.5 万亿个 token 进行预训练，预训练时支持最长 128K 的上下文，在微调和推理时支持最长 100 万个 token；在多个基准测试中，其成绩在同等规模的模型中名列前茅。该模型可在 Hugging Face 获取：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base

百度于 11 月 5 日开源 ERNIE 5.5 Flash Base，并称该模型在知识、推理、数学、编程、多语言和长上下文基准测试中取得同等规模模型中的最先进成绩。该模型采用混合专家架构，总参数量为 2,800 亿，每个 token 激活 140 亿个参数；预训练使用了 33.5 万亿个 token。文章介绍了旨在提高资源效率的注意力机制、专家路由和训练方面的改进。