跳到正文

vLLM 添加了对腾讯混元 Hy4 Flash 的首日支持

vLLM · X当事人· @vllm_project·· 3 小时前精选

547 次浏览 · 5 赞 · 1 转发 (收录时)

原文

发生了什么

vLLM 添加了对腾讯混元 Hy4 Flash 的首日支持,并提供了在 NVIDIA GPU 上运行该模型的 Docker 镜像和部署方案。文章将 Hy4 Flash 描述为一个 224B 参数模型(包括 64B Engram,12B 激活参数),具有 1M token 的上下文窗口,以及针对研究、文档、幻灯片和计算机使用的多模态理解能力。集成工作由 Inferact 完成。

推荐理由

vLLM 的首日支持为团队提供了在 NVIDIA GPU 上部署 Hy4 Flash 的途径,并提供了涵盖该模型的发布镜像和部署方案,该模型结合了 1M token 的上下文窗口和多模态理解能力。

正文 · 中文版本尚未就绪(原文)

🎉 Day-0 support for @TencentHunyuan’s Hy4 flash is here in vLLM!

A 1M-token context and multimodal understanding for research, documents, slides and computer use.

224B total parameters, including 64B Engram, with 12B active. Hybrid attention, Latent MoE and Engram put efficiency at the center of the architecture.

Run Hy4 flash on @NVIDIA GPUs with vLLM, with integration work by @inferact. Get started with the release image and deployment recipe:

Docker image: vllm/vllm-openai:hy4-flash
Recipe: recipes.vllm.ai/tencent/Hy4-f…

引用Tencent Hy@TencentHunyuan

Hy4 flash is now open-weight, including Hy4 flash-FP8 and Hy4 flash-Base.

224B (12B active), 1M context, natively multimodal.
Fast, efficient and built for everyday productivity.

It's yours now. And stay tuned for Hy4 coming up next!

🤗: huggingface.co/tencent/Hy4-fl…
🐙: github.com/Tencent-Hunyuan/Hy…
📄: hy.tencent.ai/research/hy4-fl…

Released under the Tencent Hy License.
See full terms here: huggingface.co/tencent/Hy4-fl…

在 X 查看被引用的帖子

这件事到目前为止

vLLM 现已增加对腾讯混元 Hy4 Flash 模型系列的首日支持,并提供用于在 NVIDIA GPU 上运行这些模型的 Docker 镜像和部署方案。此次集成工作由 Inferact 完成。 腾讯混元同时发布了 Hy4 Flash 模型系列,并采用腾讯 Hy 许可协议 (Tencent Hy License)。此次发布包含 FP8 和 Base 变体。腾讯列出的模型规格包括:2240 亿总参数,120 亿活跃参数,100 万 token 上下文窗口,以及原生多模态能力;其权重和研究详情已在 Hugging Face、GitHub 和腾讯研究门户上发布。

这件事的进展 · 2

查看完整事件
  1. 11月18日 13:23

    vLLM 添加了对腾讯混元 Hy4 Flash 的首日支持 本条

  2. 11月18日 13:23
    腾讯发布 Hy4 Flash 开源权重,包含 FP8 和 Base 版本腾讯混元 · X

接下来读什么

查看这件事的完整进展vLLM 新增腾讯混元 Hy4 Flash 模型系列的首日支持