NVIDIA 推出适用于本地智能体的 Nemotron 3.5 Bolt 24GB

发生了什么

NVIDIA AI 推出 Nemotron 3.5 Bolt 24GB，称其可装入 24GB 内存。 引用的 @NVIDIARTXSpark 帖子介绍了打包在 24GB 内存中的 74B-A9B 参数模型，该模型针对 RTX Spark 进行了优化，并设计为可与应用同时运行。

2 家信源报道

这件事到目前为止

NVIDIA 发布了 Nemotron 3.5 Super VL 和 Nemotron 3.5 Bolt 74B-A9B 24GB，两者现已在 Ollama 上提供。较小的 Bolt E4B 4GB 模型计划于 10 月 23 日推出。 Super VL 是一款开放的多模态模型，拥有 1200 亿总参数和 120 亿激活参数。它将推理和工具使用与文本、图像、文档及视频理解相结合，适用于智能体工作流。NVIDIA 发布了其模型权重、数据集和训练方案。vLLM 在发布当天就加入了支持，并列出 100 万 token 的上下文窗口；Red Hat AI 也发布了开放的 FP8 和 DSpark 优化检查点。 Bolt 74B-A9B 面向本地智能体任务，采用原生 2 位量化，可装入 24GB 内存。NVIDIA 表示，该模型针对 RTX Spark 进行了优化，设计为可与其他应用同时运行。它也可在 Hugging Face 上获取，并支持 llama.cpp、LM Studio、Unsloth 和 vLLM。

继续阅读

正在热议

1. 1Meta 开放发布 Muse Spark Open，支持 Mac 和云端部署，位居美国开放权重模型榜首
2. 2Google 在全球推出 Gemini 4 Argon，并扩大付费访问范围，基准测试结果不一
3. 3OpenAI 为 ChatGPT 中的 GPT-6 Astra Pro 带来并行智能体和更快响应
4. 4Meta的新商业条款引发有关网站抓取和 AI 训练权利的争议