英伟达推出面向企业智能体和本地 AI PC 的开放模型

发生了什么

英伟达推出了 Nemotron 3.5 Super VL，这是一款拥有 1200 亿参数的开放权重模型，面向企业智能体；同时还推出了轻量级 Bolt 模型，供 AI PC 和工作站本地使用。英伟达表示，组织可以使用自有数据对 Super VL 进行后训练，并将其部署在自有基础设施上；Bolt 模型则支持在本地运行智能体。Super VL 和 Nemotron 3.5 Bolt 74B-A9B 24GB 现已推出；更小型的对话模型 Bolt E4B 预计于本月晚些时候推出。

3 家信源报道

这件事到目前为止

NVIDIA 发布了面向企业智能体的 Nemotron 3.5 Super VL，以及面向本地智能体任务的 Nemotron 3.5 Bolt 74B-A9B 24GB，两者现已在 Ollama 上提供。NVIDIA 表示，较小的 Bolt E4B 4GB 模型计划于 10 月 23 日推出。 Super VL 总参数量为 1200 亿，每个 token 激活 120 亿个参数，并将推理和工具使用能力与文本、图像、文档及视频理解能力相结合。NVIDIA 发布了该模型的权重、数据集和训练方案，并表示各组织可以用自己的数据进一步训练该模型，并将其部署在自己的基础设施上。vLLM 在发布当天就加入了支持，并列出了 100 万 token 的上下文窗口。Red Hat AI 也发布了开放的 FP8 和 DSpark 优化检查点。 Bolt 74B-A9B 使用原生 2 位量化，可将模型装入 24GB 内存。NVIDIA 表示，该模型针对 RTX Spark 进行了优化，旨在与其他应用同时运行。该模型也可在 Hugging Face 上获取，并支持 llama.cpp、LM Studio、Unsloth 和 vLLM。

继续阅读