跳到正文
2026.10.17 · 周六

#多模态

#多模态

模型

新模型、模型版本、权重开放、模型能力与价格变化的发布与评测结果

10月16日周五
  1. Hugging Face Blog87

    Meta 发布 Muse Spark Open:开放权重的多模态混合专家模型

    Meta 的 Muse Spark Open 是一款开放权重的混合专家模型,约有 8160 亿个参数,每个 token 激活约 420 亿个参数,上下文窗口最长可达 100 万个 token。该模型经过智能体编程训练,可接收文本、图像、音频和视频,并生成文本。Hugging Face 提供推理和部署方案,报告了其自身的量化测试结果,并演示了使用 TRL 对注意力层进行 LoRA 微调,同时冻结专家网络。

    推荐理由:这些部署方案阐明了稀疏专家激活如何在保留大量内存需求的同时减少每个 token 的计算量,帮助开发者根据不同检查点格式和服务框架评估硬件需求。

  2. The Decoder81

    英伟达发布 Nemotron 3.5 Super VL,面向持续运行的企业 AI 智能体

    英伟达发布了 Nemotron 3.5 Super VL,这是一款拥有 1200 亿参数、每个 token 激活 120 亿参数的开放式多模态模型,面向持续运行的企业智能体。英伟达表示,在指定的智能体任务上,该模型的准确率接近 Nemotron 3 Ultra,但参数量约为其五分之一;英伟达还将开放模型权重、数据集和训练方案。配套的 Nemotron 3.5 Bolt 74B-A9B 24GB 面向本地智能体,而 Bolt E4B 4GB 计划于本月晚些时候推出。

    推荐理由:部署细节说明了量化、缓存和硬件要求如何影响在企业自有基础设施上运行持续工作的智能体时所面临的实际权衡。

10月15日周四
  1. NVIDIA Blog81

    NVIDIA 扩展 Nemotron 系列,推出 Super VL 和 Bolt 开放模型

    NVIDIA 发布了 Nemotron 3.5 Super VL,这是一款面向多模态智能体的开放式 1200 亿参数模型;还发布了 Nemotron 3.5 Bolt 74B-A9B 24GB,面向本地智能体工作负载。Bolt E4B 4GB 将于 10 月 23 日推出。Super VL 面向工具调用、业务工作流和视觉文档理解,并开放模型权重、数据集和训练方案。Bolt 74B-A9B 采用原生 2 位量化,可装入 24GB 内存;Bolt E4B 则面向物理智能体和对话智能体。

    推荐理由:开放模型权重、数据集和训练方案,为组织提供了定制智能体以适配自身工作流的途径,同时满足本地部署和数据驻留要求。

  2. Hugging Face Blog74

    Apertus 1.5 发布说明详述多模态理解、思考模式和更长上下文

    Project Apertus 发布了 8B 和 70B 两种规模的 Apertus 1.5,新增图像和音频理解、可选思考模式、262,144-token 上下文窗口,并改进了指令遵循和工具使用能力。模型权重于 2026 年 7 月 24 日在 Hugging Face 上以 Apache 2.0 许可证发布;模型仅生成文本,语音语言处理仍处于实验阶段。团队还公布了训练数据、训练方案、中间检查点和可复现的评估记录。

    推荐理由:公布的中间检查点、训练数据混合方案和评估设置,为研究各个训练阶段如何改变模型行为以及复现所报告的结果提供了具体依据。

  3. 量子位82

    Skywork AI 发布开源 Matrix-Game 4.0,可在单张 RTX 5090 上实时运行游戏

    Skywork AI 发布了 Matrix-Game 4.0,这是一款开源游戏世界模型,据称可在单张 RTX 5090 上以 480p 和 60 FPS 运行,输入响应时间低于 0.15 秒,峰值显存用量约为 18.5GiB。游戏引擎负责维护状态并执行规则,视频模型则根据结构化帧和动态字幕生成画面。模型权重和代码可通过 https://huggingface.co/Skywork/Matrix-Game-4.0 和 https://github.com/SkyworkAI/Matrix-Game 获取。

    推荐理由:将游戏引擎与视频模型分工,为在保持游戏规则确定性的同时,使用生成模型渲染交互式世界提供了一种可迁移的设计思路。

10月14日周三
  1. Google DeepMind · X73

    Gemini 4 Argon 仅通过观看视频,就教会了机器人玩沙包投掷游戏

    Gemini 4 Argon 仅通过观看视频,就教会了机器人玩沙包投掷游戏。 它推演了物理规律,为自己编写了仿真程序,并教会 @Apptronik 的 Apollo 人形机器人连续 7 次投中。

    推荐理由:这项演示将视频观察、物理建模和模型编写的仿真程序结合起来,具体展示了如何教会人形机器人完成一项物理任务。

  2. Google DeepMind94

    Google DeepMind 推出 Gemini 4 Argon,面向复杂推理和智能体任务

    Google DeepMind 已通过其 API 和部分 Google 产品在全球推出 Gemini 4 Argon,具体访问权限取决于订阅或服务等级。入门价格为每百万输入 token 2 美元、每百万输出 token 10 美元;缓存输入 token 可享受 95% 的折扣,通过 Gemini API 的统一输入输出 token 上限为 1M。Google 表示,该模型在编程、专业工作流程、科学研究和机器人领域均有提升,同时增强了智能体防护措施和抵御提示注入的能力。

    推荐理由:Google 报告的代码提交量提升和回滚次数减少,将 Argon 的工程能力与内部工作流程中的交付速度和代码稳定性联系起来。

  3. Demis Hassabis · X83

    Gemini 4 Argon 开始向 Google Ultra 和 Pro 订阅用户推出

    Gemini 4 Argon 今日开始向 Google Ultra 和 Pro 订阅用户在 @GeminiApp 和 Search 中推出,并向 Ultra 订阅用户在 @antigravity 中推出。 Demis Hassabis 称赞了它在知识工作和编程方面的能力,并分享了一款他们让它制作的巫师棋游戏,作为其物理理解和 3D 建模能力的示例。这款游戏让他想起了 Amiga 上的 Battlechess。 更多信息和完整的推出范围:https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-argon/

    推荐理由:推出详情区分了 GeminiApp、Search 和 antigravity 上的访问方式,让订阅用户清楚了解自己当前套餐可以在哪些地方试用 Argon。

10月13日周二
  1. 宝玉 · X82

    Meta 推出 Muse Wonder,提供开发者访问权限,但对消费者何时可用的说法相互矛盾

    据宝玉对这则公告的介绍,Meta 于 10 月 12 日发布了 Muse Wonder 和 Muse Wonder Full。开发者可以通过 Meta Model API 或 Muse Code 使用 Muse Wonder;Full 则面向 Muse Code 订阅用户开放。Meta 的博客与扎克伯格在 X 上的帖子对消费者何时可以使用这两款模型说法不一。这些模型支持 1 million Token 上下文窗口,可接收多模态输入并输出文本;Meta 公布的基准测试显示,它们在持续的智能体任务和编码任务上表现较强,但在其他方面表现较弱。

    推荐理由:这项比较将持续的智能体任务和编码任务上的较强表现,与更广泛的智能水平排名区分开来,同时指出 Meta 内部基准测试的局限,以及对其他模型测试方式的限制。

10月8日周四
  1. Hugging Face Blog62

    Liquid AI 开源 d1-3B 与 d1-omni-600M 端侧决策模型

    Liquid AI 发布 d1 决策模型家族的两款开源权重模型 d1-3B 和 d1-omni-600M(实验性)。

    推荐理由:Liquid AI 开源两款决策模型,给出端侧延迟与七项基准对比,可据此判断小模型做结构化决策的可用性。

10月7日周三
  1. Google DeepMind71

    Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,基于 Gemma 4 架构、740M 参数,在 Apache 2.0 许可下开源,将文本、图像、音频、视频映射到统一嵌入空间。

    推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一到同一嵌入空间,并给出端侧内存与向量截断的具体数字,便于评估本地多模态检索的可行性。

10月6日周二
  1. Mistral AI80

    Mistral 发布 Mistral Large 4 公开预览,1 万亿参数多模态模型

    Mistral 发布 Mistral Large 4 公开预览,这是一个 1 万亿参数、490 亿激活参数的 natively 多模态模型,权重将于本月底开放。

    推荐理由:Mistral 官方给出 1 万亿参数多模态模型的开放权重时间表与自建欧洲算力背景,可对照其与主流开源模型的定位差异。

10月1日周四
  1. Google DeepMind88

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,随后逐步扩展到开发者、企业和消费者,起价为每百万输入 token 2 美元、每百万输出 token 10 美元。

    推荐理由:Gemini 4 Argon 把输出上限提到 1M token 并给出多项基准与内部落地数据,可据此判断长程工作流的能力边界。

9月30日周三
  1. 雷锋网78

    GPT-6 Astra 首批实测:一周搭出曼哈顿,长任务仍会翻车

    OpenAI 于北京时间 9 月 4 日凌晨发布新一代旗舰模型 GPT-6 Astra,雷锋网汇总了首批拿到模型用户的实测案例。

    推荐理由:汇总首批用户实测,呈现 GPT-6 Astra 在长任务中能自我检查却仍需人把关的能力边界。

9月29日周二
  1. Microsoft Research62

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由生物世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并优先排序数千种化合物,最高排名化合物在湿实验中产生了最大的经典态向基底态转变,从缩小搜索空间到选出候选验证只用了一个周末。

    推荐理由:微软研究院公开 Quine 的多模态生物世界模型与实验闭环,并给出胰腺癌化合物筛选的湿实验验证结果。

  2. Latent Space78

    AINews:Opus 5.5 擅长生成讲解视频

    Latent Space 的 AINews 汇总 9/24-9/25 动态,指出 Opus 5.5 本周发布后社区反馈积极,尤其在用代码生成讲解视频上表现突出。

    推荐理由:汇总一周模型与 Agent 基础设施动态,可快速了解 Opus 5.5 在代码生成视频上的社区反馈与各家新模型定位。

9月25日周五
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将实时视频生成与语音结合,为 Gemini 的对话模型带来近实时的视觉形象,具备精准唇形同步、自然表情和流畅的轮流对话能力。

    推荐理由:Gemini 3.8 Live 新增实时视频形象能力,读者可了解多模态对话在企业场景的落地形态与开放范围。

9月23日周三
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音生成模型,前者面向角色设计与深度创作控制,后者面向高并发配音和语音智能体。

    推荐理由:原文给出两款 TTS 模型的语音克隆、逐行导演能力与基准排名,可据此判断语音生成在配音和播客场景的可用度。

  2. Qwen · X71

    阿里发布 Qwen-Audio-3.1 音频模型系列,含 TTS-Next 与 ASR-Next

    阿里发布 Qwen-Audio-3.1,ASR、TTS 与 Realtime 全面升级,并新增 TTS-Next 和 ASR-Next 两个模型,共五个模型覆盖音频理解、生成、交互与创作。

    推荐理由:原文列出五个音频模型的能力分工与降价幅度,读者可据此判断语音栈的选型与成本变化。

9月10日周四
  1. DeepSeek · X68

    DeepSeek 发布 DeepSeek-V4.1-Flash 模型

    DeepSeek 发布 DeepSeek-V4.1-Flash,称其更智能、更快、更高效。该模型是新架构家族中体量最小的一个,具备原生视觉理解能力,面向更强能力、更快推理、更高吞吐设计,并可扩展至更大模型。

    推荐理由:DeepSeek 新架构家族的最小模型,原生视觉理解与推理吞吐提升,可据此判断其轻量多模态定位。