跳到正文
2026.10.17 · 周六

#多模态

#多模态

一手

模型厂商、公司和研究机构自己发布的消息:官网、官方博客和官方账号。

10月16日周五
  1. Hugging Face Blog87

    Meta 发布 Muse Spark Open:开放权重的多模态混合专家模型

    Meta 的 Muse Spark Open 是一款开放权重的混合专家模型,约有 8160 亿个参数,每个 token 激活约 420 亿个参数,上下文窗口最长可达 100 万个 token。该模型经过智能体编程训练,可接收文本、图像、音频和视频,并生成文本。Hugging Face 提供推理和部署方案,报告了其自身的量化测试结果,并演示了使用 TRL 对注意力层进行 LoRA 微调,同时冻结专家网络。

    推荐理由:这些部署方案阐明了稀疏专家激活如何在保留大量内存需求的同时减少每个 token 的计算量,帮助开发者根据不同检查点格式和服务框架评估硬件需求。

10月15日周四
  1. NVIDIA Blog81

    NVIDIA 扩展 Nemotron 系列,推出 Super VL 和 Bolt 开放模型

    NVIDIA 发布了 Nemotron 3.5 Super VL,这是一款面向多模态智能体的开放式 1200 亿参数模型;还发布了 Nemotron 3.5 Bolt 74B-A9B 24GB,面向本地智能体工作负载。Bolt E4B 4GB 将于 10 月 23 日推出。Super VL 面向工具调用、业务工作流和视觉文档理解,并开放模型权重、数据集和训练方案。Bolt 74B-A9B 采用原生 2 位量化,可装入 24GB 内存;Bolt E4B 则面向物理智能体和对话智能体。

    推荐理由:开放模型权重、数据集和训练方案,为组织提供了定制智能体以适配自身工作流的途径,同时满足本地部署和数据驻留要求。

  2. Hugging Face Blog74

    Apertus 1.5 发布说明详述多模态理解、思考模式和更长上下文

    Project Apertus 发布了 8B 和 70B 两种规模的 Apertus 1.5,新增图像和音频理解、可选思考模式、262,144-token 上下文窗口,并改进了指令遵循和工具使用能力。模型权重于 2026 年 7 月 24 日在 Hugging Face 上以 Apache 2.0 许可证发布;模型仅生成文本,语音语言处理仍处于实验阶段。团队还公布了训练数据、训练方案、中间检查点和可复现的评估记录。

    推荐理由:公布的中间检查点、训练数据混合方案和评估设置,为研究各个训练阶段如何改变模型行为以及复现所报告的结果提供了具体依据。

  3. Hugging Face Blog73

    HiRO-ACEv2 以 3 公里分辨率模拟极端天气,成本仅为原来的很小一部分

    Ai2 推出了 HiRO-ACEv2,这是一款升级版气候模拟器,可生成全球 3 公里分辨率的降雨、风和气压数据,成本约为 X-SHiELD 的 1/300。输入经过降尺度处理的 X-SHiELD 数据后,其 HiROv2 降尺度模型生成的高分辨率统计数据与参考值相差不超过 3%,即使对于每百万个数据点中仅出现一次的事件也是如此。目前,该系统只能与经过调校以匹配 X-SHiELD 的 ACE 配合使用,尚不能为其他气候生成高分辨率数据;可下载的模型、教程笔记本和网页演示现已开放。

    推荐理由:与 X-SHiELD 的比较为研究人员提供了极端天气模拟的具体成本和准确度参照,但目前适用范围仅限于训练数据所代表的气候。

10月14日周三
  1. Google DeepMind94

    Google DeepMind 推出 Gemini 4 Argon,面向复杂推理和智能体任务

    Google DeepMind 已通过其 API 和部分 Google 产品在全球推出 Gemini 4 Argon,具体访问权限取决于订阅或服务等级。入门价格为每百万输入 token 2 美元、每百万输出 token 10 美元;缓存输入 token 可享受 95% 的折扣,通过 Gemini API 的统一输入输出 token 上限为 1M。Google 表示,该模型在编程、专业工作流程、科学研究和机器人领域均有提升,同时增强了智能体防护措施和抵御提示注入的能力。

    推荐理由:Google 报告的代码提交量提升和回滚次数减少,将 Argon 的工程能力与内部工作流程中的交付速度和代码稳定性联系起来。

10月8日周四
  1. Hugging Face Blog62

    Liquid AI 开源 d1-3B 与 d1-omni-600M 端侧决策模型

    Liquid AI 发布 d1 决策模型家族的两款开源权重模型 d1-3B 和 d1-omni-600M(实验性)。

    推荐理由:Liquid AI 开源两款决策模型,给出端侧延迟与七项基准对比,可据此判断小模型做结构化决策的可用性。

10月7日周三
  1. Google DeepMind71

    Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,基于 Gemma 4 架构、740M 参数,在 Apache 2.0 许可下开源,将文本、图像、音频、视频映射到统一嵌入空间。

    推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一到同一嵌入空间,并给出端侧内存与向量截断的具体数字,便于评估本地多模态检索的可行性。

10月6日周二
  1. Mistral AI80

    Mistral 发布 Mistral Large 4 公开预览,1 万亿参数多模态模型

    Mistral 发布 Mistral Large 4 公开预览,这是一个 1 万亿参数、490 亿激活参数的 natively 多模态模型,权重将于本月底开放。

    推荐理由:Mistral 官方给出 1 万亿参数多模态模型的开放权重时间表与自建欧洲算力背景,可对照其与主流开源模型的定位差异。

10月1日周四
  1. Google DeepMind88

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,随后逐步扩展到开发者、企业和消费者,起价为每百万输入 token 2 美元、每百万输出 token 10 美元。

    推荐理由:Gemini 4 Argon 把输出上限提到 1M token 并给出多项基准与内部落地数据,可据此判断长程工作流的能力边界。

9月29日周二
  1. Microsoft Research62

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由生物世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并优先排序数千种化合物,最高排名化合物在湿实验中产生了最大的经典态向基底态转变,从缩小搜索空间到选出候选验证只用了一个周末。

    推荐理由:微软研究院公开 Quine 的多模态生物世界模型与实验闭环,并给出胰腺癌化合物筛选的湿实验验证结果。

9月25日周五
  1. Google Research65

    Google 研究发布 AI 视频联合导演框架,实现连贯长视频生成

    Google Research 发布 AI video co-director 多智能体框架,作为 Gemini 和 Veo 之上的编排层,将长视频生成建模为全局优化与世界状态追踪问题,以缓解语义漂移和级联失败。

    推荐理由:Google 把长视频生成拆成四个可组合框架,并给出多套基准上的连续性提升数据,适合了解多智能体编排如何缓解语义漂移。

  2. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将实时视频生成与语音结合,为 Gemini 的对话模型带来近实时的视觉形象,具备精准唇形同步、自然表情和流畅的轮流对话能力。

    推荐理由:Gemini 3.8 Live 新增实时视频形象能力,读者可了解多模态对话在企业场景的落地形态与开放范围。

9月23日周三
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音生成模型,前者面向角色设计与深度创作控制,后者面向高并发配音和语音智能体。

    推荐理由:原文给出两款 TTS 模型的语音克隆、逐行导演能力与基准排名,可据此判断语音生成在配音和播客场景的可用度。

9月2日周三
  1. Google DeepMind74

    Google DeepMind 为 Gemini 3.7 Flash 等模型推出智能体视频理解

    Google DeepMind 推出智能体视频理解功能,覆盖 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite,视频分析 token 消耗最多降低 88%、成本最多降低 66%、准确率最多提升 7%。

    推荐理由:原文给出 token 与成本降幅及可用入口,读者可据此判断长视频分析的成本结构变化。

8月28日周五
  1. Google DeepMind68

    Google DeepMind 发布 Gemini Omni 1.1 Flash

    Google DeepMind 发布 Gemini Omni 1.1 Flash,通过 Gemini API 在 Google AI Studio 提供面向开发者的生成视频控制能力。

    推荐理由:原文列出场景延长、首尾帧插值与 4K 放大等具体能力,读者可据此判断生成视频工作流的可控性变化。

8月12日周三
  1. Google DeepMind71

    Google DeepMind 发布 SL2T 手语转文本模型,率先落地 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布多语种手语转文本模型 SL2T,首次将手语 AI 带入消费级产品,在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语(ASL)转英文听写,后续将扩展更多设备与语言。

    推荐理由:原文给出多语种手语到文本模型的能力边界与落地入口,读者可据此判断手语翻译在真实产品中的可用程度。

  2. Google Research72

    Google 研究团队将 AMIE 推进到专家级音视频临床问诊

    Google Research 发布 AMIE (Video),基于 Gemini 和 Project Astra 实现实时视频临床问诊,可感知非语言线索、引导虚拟体格检查并实时进行诊断推理。

    推荐理由:AMIE 从纯文本扩展到实时视频问诊,读者可了解异步多智能体架构如何兼顾对话延迟与临床推理。

8月10日周一
  1. Hugging Face Blog82

    Meta 发布开源多模态模型 Muse Glimmer 30B,面向本地智能体场景

    Meta 发布 Muse Glimmer,一个从 Muse 蒸馏到 30B 参数、采用 Apache 2.0 许可的多模态模型,主打本地智能体用例,如编码、文档分析和个人助手。

    推荐理由:Meta 开源 30B 多模态模型,从架构、基准到本地部署与自优化演示都给出了可复现细节。

8月4日周二
  1. Mistral AI66

    Mistral AI 发布 Shieldstral:3B 开源多模态安全分类器

    Mistral AI 发布 Shieldstral,一个 3B 开源权重多模态安全分类器,以 Apache 2.0 许可开放下载,可在单张 16GB NVIDIA GPU 上运行。它把内容审核建模为策略自适应的问答任务,推理时用自然语言写入策略、无需重新训练,统一处理文本与图像,并输出校准后的连续安全分数。官方称其在文本安全上可匹配最多 7 倍参数量的模型,并在多模态审核上取得新的 SOTA。

    推荐理由:3B 开源安全分类器把审核策略改成推理时的自然语言问题,读者可据此判断小模型在内容审核上的可行边界。

7月30日周四
  1. Google DeepMind71

    Google DeepMind 发布 Gemini Robotics ER 2 具身推理模型

    Google DeepMind 发布 Gemini Robotics ER 2,定位为机器人的高层大脑,负责与人类对话、理解物理世界并规划多步任务,再把动作执行交给底层 VLA 模型,还可原生调用 Google Search 等工具。

    推荐理由:官方给出 ER 2 在进度分类与时刻定位上的具体数字和开放入口,可据此判断机器人在长任务中的可用边界。