vLLM 为 NVIDIA Nemotron 3.5 Super VL 提供 Day-0 支持

发生了什么

🎉 vLLM 从 Day 0 起支持 NVIDIA Nemotron 3.5 Super VL！ 总参数量 120B，每个 token 激活 12B，支持 1M token 的上下文窗口。这是一款开放的多模态模型，可处理文本、图像、文档和视频，并支持推理和工具调用，适用于智能体工作流。 以下介绍支持的功能以及如何开始使用。🧵 1/4

这件事到目前为止

NVIDIA 发布了 Nemotron 3.5 Super VL 和 Nemotron 3.5 Bolt 74B-A9B 24GB，两者现已在 Ollama 上提供。较小的 Bolt E4B 4GB 模型计划于 10 月 23 日推出。 Super VL 是一款开放的多模态模型，拥有 1200 亿总参数和 120 亿激活参数。它将推理和工具使用与文本、图像、文档及视频理解相结合，适用于智能体工作流。NVIDIA 发布了其模型权重、数据集和训练方案。vLLM 在发布当天就加入了支持，并列出 100 万 token 的上下文窗口；Red Hat AI 也发布了开放的 FP8 和 DSpark 优化检查点。 Bolt 74B-A9B 面向本地智能体任务，采用原生 2 位量化，可装入 24GB 内存。NVIDIA 表示，该模型针对 RTX Spark 进行了优化，设计为可与其他应用同时运行。它也可在 Hugging Face 上获取，并支持 llama.cpp、LM Studio、Unsloth 和 vLLM。

继续阅读

正在热议

1. 1Meta 开放发布 Muse Spark Open，支持 Mac 和云端部署，位居美国开放权重模型榜首
2. 2Google 在全球推出 Gemini 4 Argon，并扩大付费访问范围，基准测试结果不一
3. 3OpenAI 为 ChatGPT 中的 GPT-6 Astra Pro 带来并行智能体和更快响应
4. 4Meta的新商业条款引发有关网站抓取和 AI 训练权利的争议