跳到正文
2026.10.17 · 周六

#多模态

#多模态

10月16日周五
  1. Ollama · X72

    NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB 现已上线 Ollama

    NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB 现已上线 Ollama。 这款视觉语言模型(VLM)专为在本地运行日常智能体任务而设计,采用原生 2 位量化,可将模型装入 24GB 内存,并与其他应用同时运行。 ollama run nemotron-3.5-bolt

    推荐理由:所述内存占用为在同一台机器上与其他应用同时运行本地智能体工作负载,提供了具体的部署考量。

  2. Hugging Face Blog87

    Meta 发布 Muse Spark Open:开放权重的多模态混合专家模型

    Meta 的 Muse Spark Open 是一款开放权重的混合专家模型,约有 8160 亿个参数,每个 token 激活约 420 亿个参数,上下文窗口最长可达 100 万个 token。该模型经过智能体编程训练,可接收文本、图像、音频和视频,并生成文本。Hugging Face 提供推理和部署方案,报告了其自身的量化测试结果,并演示了使用 TRL 对注意力层进行 LoRA 微调,同时冻结专家网络。

    推荐理由:这些部署方案阐明了稀疏专家激活如何在保留大量内存需求的同时减少每个 token 的计算量,帮助开发者根据不同检查点格式和服务框架评估硬件需求。

  3. The Decoder81

    英伟达发布 Nemotron 3.5 Super VL,面向持续运行的企业 AI 智能体

    英伟达发布了 Nemotron 3.5 Super VL,这是一款拥有 1200 亿参数、每个 token 激活 120 亿参数的开放式多模态模型,面向持续运行的企业智能体。英伟达表示,在指定的智能体任务上,该模型的准确率接近 Nemotron 3 Ultra,但参数量约为其五分之一;英伟达还将开放模型权重、数据集和训练方案。配套的 Nemotron 3.5 Bolt 74B-A9B 24GB 面向本地智能体,而 Bolt E4B 4GB 计划于本月晚些时候推出。

    推荐理由:部署细节说明了量化、缓存和硬件要求如何影响在企业自有基础设施上运行持续工作的智能体时所面临的实际权衡。

10月15日周四
  1. NVIDIA Blog81

    NVIDIA 扩展 Nemotron 系列,推出 Super VL 和 Bolt 开放模型

    NVIDIA 发布了 Nemotron 3.5 Super VL,这是一款面向多模态智能体的开放式 1200 亿参数模型;还发布了 Nemotron 3.5 Bolt 74B-A9B 24GB,面向本地智能体工作负载。Bolt E4B 4GB 将于 10 月 23 日推出。Super VL 面向工具调用、业务工作流和视觉文档理解,并开放模型权重、数据集和训练方案。Bolt 74B-A9B 采用原生 2 位量化,可装入 24GB 内存;Bolt E4B 则面向物理智能体和对话智能体。

    推荐理由:开放模型权重、数据集和训练方案,为组织提供了定制智能体以适配自身工作流的途径,同时满足本地部署和数据驻留要求。

  2. Hugging Face Blog74

    Apertus 1.5 发布说明详述多模态理解、思考模式和更长上下文

    Project Apertus 发布了 8B 和 70B 两种规模的 Apertus 1.5,新增图像和音频理解、可选思考模式、262,144-token 上下文窗口,并改进了指令遵循和工具使用能力。模型权重于 2026 年 7 月 24 日在 Hugging Face 上以 Apache 2.0 许可证发布;模型仅生成文本,语音语言处理仍处于实验阶段。团队还公布了训练数据、训练方案、中间检查点和可复现的评估记录。

    推荐理由:公布的中间检查点、训练数据混合方案和评估设置,为研究各个训练阶段如何改变模型行为以及复现所报告的结果提供了具体依据。

  3. 量子位82

    Skywork AI 发布开源 Matrix-Game 4.0,可在单张 RTX 5090 上实时运行游戏

    Skywork AI 发布了 Matrix-Game 4.0,这是一款开源游戏世界模型,据称可在单张 RTX 5090 上以 480p 和 60 FPS 运行,输入响应时间低于 0.15 秒,峰值显存用量约为 18.5GiB。游戏引擎负责维护状态并执行规则,视频模型则根据结构化帧和动态字幕生成画面。模型权重和代码可通过 https://huggingface.co/Skywork/Matrix-Game-4.0 和 https://github.com/SkyworkAI/Matrix-Game 获取。

    推荐理由:将游戏引擎与视频模型分工,为在保持游戏规则确定性的同时,使用生成模型渲染交互式世界提供了一种可迁移的设计思路。

  4. Hugging Face Blog73

    HiRO-ACEv2 以 3 公里分辨率模拟极端天气,成本仅为原来的很小一部分

    Ai2 推出了 HiRO-ACEv2,这是一款升级版气候模拟器,可生成全球 3 公里分辨率的降雨、风和气压数据,成本约为 X-SHiELD 的 1/300。输入经过降尺度处理的 X-SHiELD 数据后,其 HiROv2 降尺度模型生成的高分辨率统计数据与参考值相差不超过 3%,即使对于每百万个数据点中仅出现一次的事件也是如此。目前,该系统只能与经过调校以匹配 X-SHiELD 的 ACE 配合使用,尚不能为其他气候生成高分辨率数据;可下载的模型、教程笔记本和网页演示现已开放。

    推荐理由:与 X-SHiELD 的比较为研究人员提供了极端天气模拟的具体成本和准确度参照,但目前适用范围仅限于训练数据所代表的气候。

10月14日周三
  1. Google DeepMind · X73

    Gemini 4 Argon 仅通过观看视频,就教会了机器人玩沙包投掷游戏

    Gemini 4 Argon 仅通过观看视频,就教会了机器人玩沙包投掷游戏。 它推演了物理规律,为自己编写了仿真程序,并教会 @Apptronik 的 Apollo 人形机器人连续 7 次投中。

    推荐理由:这项演示将视频观察、物理建模和模型编写的仿真程序结合起来,具体展示了如何教会人形机器人完成一项物理任务。

  2. 宝玉 · X76

    Gemini 4 Argon 如何在 Blender 中构建日本寺庙建筑群

    Baoyu 介绍了一项演示:Gemini 4 Argon 使用 Antigravity,根据一个包含详细工作流程的提示词,在 Blender 中构建了一座日本寺庙建筑群。提示词引用了一份场景构建技能文档,并要求提供建筑平面图、四张 Nano Banana 参考图,以及多个协同工作的智能体;这些智能体会将渲染结果与参考图进行比对,并反复修改场景。演示者第二天又要求添加动画,以及通过程序生成的钟声和环境音效;这些内容是在最初的建模流程之后加入的。

    推荐理由:这种工作流程将建构规则、视觉参考、智能体协作和对渲染结果的反复比对结合起来,为复杂 3D 生成提供了一种可迁移的方法。

  3. Google DeepMind94

    Google DeepMind 推出 Gemini 4 Argon,面向复杂推理和智能体任务

    Google DeepMind 已通过其 API 和部分 Google 产品在全球推出 Gemini 4 Argon,具体访问权限取决于订阅或服务等级。入门价格为每百万输入 token 2 美元、每百万输出 token 10 美元;缓存输入 token 可享受 95% 的折扣,通过 Gemini API 的统一输入输出 token 上限为 1M。Google 表示,该模型在编程、专业工作流程、科学研究和机器人领域均有提升,同时增强了智能体防护措施和抵御提示注入的能力。

    推荐理由:Google 报告的代码提交量提升和回滚次数减少,将 Argon 的工程能力与内部工作流程中的交付速度和代码稳定性联系起来。

  4. Demis Hassabis · X83

    Gemini 4 Argon 开始向 Google Ultra 和 Pro 订阅用户推出

    Gemini 4 Argon 今日开始向 Google Ultra 和 Pro 订阅用户在 @GeminiApp 和 Search 中推出,并向 Ultra 订阅用户在 @antigravity 中推出。 Demis Hassabis 称赞了它在知识工作和编程方面的能力,并分享了一款他们让它制作的巫师棋游戏,作为其物理理解和 3D 建模能力的示例。这款游戏让他想起了 Amiga 上的 Battlechess。 更多信息和完整的推出范围:https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-argon/

    推荐理由:推出详情区分了 GeminiApp、Search 和 antigravity 上的访问方式,让订阅用户清楚了解自己当前套餐可以在哪些地方试用 Argon。

10月13日周二
  1. 宝玉 · X82

    Meta 推出 Muse Wonder,提供开发者访问权限,但对消费者何时可用的说法相互矛盾

    据宝玉对这则公告的介绍,Meta 于 10 月 12 日发布了 Muse Wonder 和 Muse Wonder Full。开发者可以通过 Meta Model API 或 Muse Code 使用 Muse Wonder;Full 则面向 Muse Code 订阅用户开放。Meta 的博客与扎克伯格在 X 上的帖子对消费者何时可以使用这两款模型说法不一。这些模型支持 1 million Token 上下文窗口,可接收多模态输入并输出文本;Meta 公布的基准测试显示,它们在持续的智能体任务和编码任务上表现较强,但在其他方面表现较弱。

    推荐理由:这项比较将持续的智能体任务和编码任务上的较强表现,与更广泛的智能水平排名区分开来,同时指出 Meta 内部基准测试的局限,以及对其他模型测试方式的限制。

10月9日周五
  1. Claude · X65

    Claude 仪表板和 Claude Motion 今日进入测试阶段

    Claude 仪表板和 Claude Motion 今日进入测试阶段。 让 Claude 将你的数据转化为实时仪表板,将你的想法转化为动画解说。https://t.co/V3fU4lMnzp

    推荐理由:这则公告介绍了使用 Claude 进行视觉传达的两种方式:根据数据制作实时仪表板,以及根据想法制作动画解说。

10月8日周四
  1. Mark Chen · X81

    OpenAI 面向所有用户推出 ChatGPT 中的 GPT-6 和智能界面

    OpenAI 表示,GPT-6 和智能界面现已开始向所有 ChatGPT 用户推出,为用户的任务提供快速、交互式的回答和工具。 Mark Chen 鼓励用户试用智能界面,并表示现在每次 ChatGPT 回复都有可能创建一个定制界面,还称它非常适合学习新知识。 https://twitter.com/OpenAI/status/2107894997538525580

    推荐理由:这些定制界面可以将解释和任务工具直接融入 ChatGPT 答案的呈现过程中,让学习更直观、更具互动性。

  2. The Verge · AI82

    ChatGPT 上线 Intelligent UI,回答中嵌入图表与按钮

    OpenAI 在 ChatGPT 中推出 Intelligent UI 功能,让回答可以结合图表、表单、可点击按钮等交互式视觉内容,该更新随 GPT-6 一同向所有用户推送。

    推荐理由:原文给出了 Intelligent UI 的具体交互示例和分层上线节奏,读者可据此判断 ChatGPT 回答形态的变化。

  3. Hugging Face Blog62

    Liquid AI 开源 d1-3B 与 d1-omni-600M 端侧决策模型

    Liquid AI 发布 d1 决策模型家族的两款开源权重模型 d1-3B 和 d1-omni-600M(实验性)。

    推荐理由:Liquid AI 开源两款决策模型,给出端侧延迟与七项基准对比,可据此判断小模型做结构化决策的可用性。

10月7日周三
  1. Josh Woodward · X74

    Nano Banana 宣布推出 Nano Banana 2.1,图像生成与编辑能力提升

    Nano Banana 宣布推出 Nano Banana 2.1,称其在各方面都优于此前的模型,包括视觉设计、基于蒙版的编辑、主体一致性,以及让图像看起来更自然等。 该模型已在 @GeminiApp、@GoogleAIStudio 等平台推出。 Josh Woodward 评论道:“基于蒙版的编辑是我今天最喜欢的功能,后续还会推出更多内容!” https://twitter.com/NanoBanana/status/2107521202466046453

    推荐理由:这则公告围绕视觉设计、编辑、主体一致性和自然观感介绍了升级,为与此前的模型进行比较提供了具体依据。

  2. Google DeepMind71

    Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,基于 Gemma 4 架构、740M 参数,在 Apache 2.0 许可下开源,将文本、图像、音频、视频映射到统一嵌入空间。

    推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一到同一嵌入空间,并给出端侧内存与向量截断的具体数字,便于评估本地多模态检索的可行性。

10月6日周二
  1. Mistral AI80

    Mistral 发布 Mistral Large 4 公开预览,1 万亿参数多模态模型

    Mistral 发布 Mistral Large 4 公开预览,这是一个 1 万亿参数、490 亿激活参数的 natively 多模态模型,权重将于本月底开放。

    推荐理由:Mistral 官方给出 1 万亿参数多模态模型的开放权重时间表与自建欧洲算力背景,可对照其与主流开源模型的定位差异。

10月1日周四
  1. Google DeepMind88

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,随后逐步扩展到开发者、企业和消费者,起价为每百万输入 token 2 美元、每百万输出 token 10 美元。

    推荐理由:Gemini 4 Argon 把输出上限提到 1M token 并给出多项基准与内部落地数据,可据此判断长程工作流的能力边界。