RedHat_AI 发布经过优化的 NVIDIA Nemotron 3.5 Super VL 检查点

发生了什么

vLLM 重点介绍了 @RedHat_AI 为 NVIDIA Nemotron 3.5 Super VL（一款 120B 多模态 MoE 模型）推出的 FP8 和 DSpark 检查点，这些检查点使用了 LLM Compressor 和 Speculators。 RedHat_AI 报告称，在 Hopper 上的性能接近提升 2 倍，同时保持准确性。其使用 4× H100 进行的基准测试显示，FP8 在负载下提高了吞吐量，DSpark 提升了每位用户的流式处理速度；两者结合后，在 HumanEval、数学推理和 RAG 工作负载上的表现均优于单独使用其中任一方案。 两个检查点均已开放： https://huggingface.co/RedHatAI/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-FP8 https://huggingface.co/RedHatAI/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B.dspark

这件事到目前为止

NVIDIA 发布了 Nemotron 3.5 Super VL 和 Nemotron 3.5 Bolt 74B-A9B 24GB，两者现已在 Ollama 上提供。较小的 Bolt E4B 4GB 模型计划于 10 月 23 日推出。 Super VL 是一款开放的多模态模型，拥有 1200 亿总参数和 120 亿激活参数。它将推理和工具使用与文本、图像、文档及视频理解相结合，适用于智能体工作流。NVIDIA 发布了其模型权重、数据集和训练方案。vLLM 在发布当天就加入了支持，并列出 100 万 token 的上下文窗口；Red Hat AI 也发布了开放的 FP8 和 DSpark 优化检查点。 Bolt 74B-A9B 面向本地智能体任务，采用原生 2 位量化，可装入 24GB 内存。NVIDIA 表示，该模型针对 RTX Spark 进行了优化，设计为可与其他应用同时运行。它也可在 Hugging Face 上获取，并支持 llama.cpp、LM Studio、Unsloth 和 vLLM。

继续阅读

正在热议

1. 1Meta 开放发布 Muse Spark Open，支持 Mac 和云端部署，位居美国开放权重模型榜首
2. 2Google 在全球推出 Gemini 4 Argon，并扩大付费访问范围，基准测试结果不一
3. 3OpenAI 为 ChatGPT 中的 GPT-6 Astra Pro 带来并行智能体和更快响应
4. 4Meta的新商业条款引发有关网站抓取和 AI 训练权利的争议