1295 次浏览 · 10 赞 · 1 转发 （收录时）
vLLM 为百度 ERNIE 5.5 Flash Base 提供首日支持
- 谁
- vLLM
- 引文
🎉 Day-0 support for @Baidu_Inc’s ERNIE 5.5 Flash Base with vLLM!
发生了什么
vLLM 宣布首日支持百度 ERNIE 5.5 Flash Base。这是一款开放基础模型，总参数量为 280B，每个 token 激活 14B 参数。文章报告称，在 1-shot 评测中，该模型的 HumanEval+ 通过率为 82.3%，LiveCodeBench pass@1 为 40.1%；相同设置下，DeepSeek-V4-Flash-Base 的对应数据为 69.5% 和 31.9%。文章介绍了如何在 vLLM 0.32.0 上通过百度的 vLLM-ERNIE 插件进行服务部署，并附有模型权重和配置方案的链接。
推荐理由
文章在相同设置下比较了 ERNIE 5.5 Flash Base 与 DeepSeek-V4-Flash-Base 的编码基准测试结果，并概述了使用 vLLM 时采用的服务配置。
接下来读什么
查看这件事的完整进展百度发布 ERNIE 5.5 Flash Base，首日即支持 vLLM🎉 Day-0 support for @Baidu_Inc’s ERNIE 5.5 Flash Base with vLLM!
280B total parameters, 14B active per token. Pre-trained on 33.5T tokens, with 128K training context and up to 1M tokens for fine-tuning and inference. Open Base weights for domain adaptation, instruction tuning and RL research.
Code highlights: 82.3% HumanEval+ and 40.1% LiveCodeBench pass@1 (both 1-shot), versus 69.5% and 31.9% for DeepSeek-V4-Flash-Base under the same evaluation setup.
Efficiency is built into the architecture: 37 compressed-attention layers + 6 MLA-DSA layers, Multi-Router Latent MoE, and ECHO — reusing the final layer as a speculative draft.
Serve FP8 or BF16 with Baidu’s vLLM-ERNIE plugin on vLLM 0.32.0. ECHO runs through vLLM’s MTP path; recipes include expert parallelism, KV offload and prefill/decode disaggregation, with runs verified on @NVIDIA GB200 and H100.
Weights are on @huggingface and @ModelScope2022.
Recipe: https://recipes.vllm.ai/baidu/ERNIE-5.5-Flash
FP8: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base
BF16: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16
Introducing ERNIE-5.5-Flash-Base, the pre-trained base of ERNIE 5.5 Flash before any mid- or post-training. The post-trained ERNIE 5.5 Flash is coming soon. • 280B total / 14B activated MoE • 33.5T pre-training tokens • 128K training context, 1M for fine-tuning and inference在 X 查看被引用的帖子
这件事到目前为止
百度已发布 ERNIE 5.5 Flash Base 开放基础模型，vLLM 也通过百度的 vLLM-ERNIE 插件在 vLLM 0.32.0 中加入了首日服务支持。这款 2800 亿参数的混合专家模型每次输入激活 140 亿个参数；其权重以 FP8 和 BF16 格式发布在 Hugging Face 上。 百度称，该模型经过 33.5 万亿个 token 的预训练，预训练期间支持最长 128K 上下文，微调和推理期间最长支持 100 万个 token，并在多个基准测试中领先于规模相近的模型。vLLM 报告称，在一次性评测中，该模型的 HumanEval+ pass@1 得分为 82.3%，LiveCodeBench pass@1 得分为 40.1%；在相同设置下，DeepSeek-V4-Flash-Base 的得分分别为 69.5% 和 31.9%。此次发布不包括微调或后训练版本；百度计划推出一个后训练版本。
每天一封，跟上 AI 的重要变化
模型发布、价格变化、算力进展，附原始来源。免费，确认后开始发送，随时一键退订。 看一份往期日报 · 2026-11-06