跳到正文
全部动态 · 今日0条

#多模态

信源抓到、进了内容池的全部内容,按时间排列;精选只是其中一部分。
一手

模型厂商、公司和研究机构自己发布的消息:官网、官方博客和官方账号。

10月16日周五
  1. Hugging Face Blog87

    Meta 发布 Muse Spark Open:开放权重的多模态混合专家模型

    Meta 的 Muse Spark Open 是一款开放权重的混合专家模型,约有 8160 亿个参数,每个 token 激活约 420 亿个参数,上下文窗口最长可达 100 万个 token。该模型经过智能体编程训练,可接收文本、图像、音频和视频,并生成文本。Hugging Face 提供推理和部署方案,报告了其自身的量化测试结果,并演示了使用 TRL 对注意力层进行 LoRA 微调,同时冻结专家网络。

    推荐理由:这些部署方案阐明了稀疏专家激活如何在保留大量内存需求的同时减少每个 token 的计算量,帮助开发者根据不同检查点格式和服务框架评估硬件需求。

10月15日周四
  1. NVIDIA Blog81

    NVIDIA 扩展 Nemotron 系列,推出 Super VL 和 Bolt 开放模型

    NVIDIA 发布了 Nemotron 3.5 Super VL,这是一款面向多模态智能体的开放式 1200 亿参数模型;还发布了 Nemotron 3.5 Bolt 74B-A9B 24GB,面向本地智能体工作负载。Bolt E4B 4GB 将于 10 月 23 日推出。Super VL 面向工具调用、业务工作流和视觉文档理解,并开放模型权重、数据集和训练方案。Bolt 74B-A9B 采用原生 2 位量化,可装入 24GB 内存;Bolt E4B 则面向物理智能体和对话智能体。

    推荐理由:开放模型权重、数据集和训练方案,为组织提供了定制智能体以适配自身工作流的途径,同时满足本地部署和数据驻留要求。

  2. Hugging Face Blog74

    Apertus 1.5 发布说明详述多模态理解、思考模式和更长上下文

    Project Apertus 发布了 8B 和 70B 两种规模的 Apertus 1.5,新增图像和音频理解、可选思考模式、262,144-token 上下文窗口,并改进了指令遵循和工具使用能力。模型权重于 2026 年 7 月 24 日在 Hugging Face 上以 Apache 2.0 许可证发布;模型仅生成文本,语音语言处理仍处于实验阶段。团队还公布了训练数据、训练方案、中间检查点和可复现的评估记录。

    推荐理由:公布的中间检查点、训练数据混合方案和评估设置,为研究各个训练阶段如何改变模型行为以及复现所报告的结果提供了具体依据。

  3. Hugging Face Blog73

    HiRO-ACEv2 以 3 公里分辨率模拟极端天气,成本仅为原来的很小一部分

    Ai2 推出了 HiRO-ACEv2,这是一款升级版气候模拟器,可生成全球 3 公里分辨率的降雨、风和气压数据,成本约为 X-SHiELD 的 1/300。输入经过降尺度处理的 X-SHiELD 数据后,其 HiROv2 降尺度模型生成的高分辨率统计数据与参考值相差不超过 3%,即使对于每百万个数据点中仅出现一次的事件也是如此。目前,该系统只能与经过调校以匹配 X-SHiELD 的 ACE 配合使用,尚不能为其他气候生成高分辨率数据;可下载的模型、教程笔记本和网页演示现已开放。

    推荐理由:与 X-SHiELD 的比较为研究人员提供了极端天气模拟的具体成本和准确度参照,但目前适用范围仅限于训练数据所代表的气候。

10月14日周三
  1. Google DeepMind94

    Google DeepMind 推出 Gemini 4 Argon,面向复杂推理和智能体任务

    Google DeepMind 已通过其 API 和部分 Google 产品在全球推出 Gemini 4 Argon,具体访问权限取决于订阅或服务等级。入门价格为每百万输入 token 2 美元、每百万输出 token 10 美元;缓存输入 token 可享受 95% 的折扣,通过 Gemini API 的统一输入输出 token 上限为 1M。Google 表示,该模型在编程、专业工作流程、科学研究和机器人领域均有提升,同时增强了智能体防护措施和抵御提示注入的能力。

    推荐理由:Google 报告的代码提交量提升和回滚次数减少,将 Argon 的工程能力与内部工作流程中的交付速度和代码稳定性联系起来。

10月8日周四
10月7日周三
  1. Google DeepMind71

    Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,基于 Gemma 4 架构、740M 参数,在 Apache 2.0 许可下开源,将文本、图像、音频、视频映射到统一嵌入空间。

    推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一到同一嵌入空间,并给出端侧内存与向量截断的具体数字,便于评估本地多模态检索的可行性。

10月6日周二
10月5日周一
  1. NVIDIA Blog43

    NVIDIA 初创企业利用 AI 弥补乳腺癌护理缺口

    NVIDIA Inception 计划中的初创企业正在开发 AI 应用,以支持乳腺癌护理,涵盖影像检查、风险评估和治疗规划。iSono Health 获 FDA 许可的 ATUSA 系统可在每侧乳房约两分钟内采集 3D 乳腺超声图像;该公司称,其灵敏度比手持式 2D 超声高 28%。Ataraxis AI 利用数字病理切片和临床变量预测治疗反应和复发风险。

10月1日周四
  1. Google DeepMind88

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,随后逐步扩展到开发者、企业和消费者,起价为每百万输入 token 2 美元、每百万输出 token 10 美元。

    推荐理由:Gemini 4 Argon 把输出上限提到 1M token 并给出多项基准与内部落地数据,可据此判断长程工作流的能力边界。

9月30日周三
  1. AWS Machine Learning Blog28

    在 SageMaker AI 上用 vLLM-Omni 生成图像与视频(第二部分)

    AWS 发布教程,演示在 SageMaker AI 上部署同一个 vLLM-Omni DLC 镜像的两个端点:实时端点跑 FLUX.2-klein-4B 生成图像,异步端点跑 Wan2.1-VACE-1.3B 做图像条件视频生成。文本提示词先生成 PNG,再连同运动提示词经 Amazon S3 送入视频端点,生成的 MP4 从 S3 取回,示例还提供命令行流程和可选的 Streamlit 界面。

9月29日周二
  1. Microsoft Research62

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由生物世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并优先排序数千种化合物,最高排名化合物在湿实验中产生了最大的经典态向基底态转变,从缩小搜索空间到选出候选验证只用了一个周末。

    推荐理由:微软研究院公开 Quine 的多模态生物世界模型与实验闭环,并给出胰腺癌化合物筛选的湿实验验证结果。

  2. Microsoft Research20

    微软研究院亚洲新加坡分院成立一周年:推进前沿 AI 研究、合作与人才培养

    微软研究院亚洲新加坡分院(MSRA – Singapore)作为微软在东南亚的首个研究实验室,成立一年来围绕下一代 AI 模型与智能体系统、领域专用 AI、AI 原生研究实践、生态与人才培养四大方向推进工作。该实验室与新加坡医疗、金融、教育等领域伙伴合作,探索多模态医疗 AI 与自进化诊断智能体的落地应用。

9月26日周六
9月25日周五
  1. Google Research65

    Google 研究发布 AI 视频联合导演框架,实现连贯长视频生成

    Google Research 发布 AI video co-director 多智能体框架,作为 Gemini 和 Veo 之上的编排层,将长视频生成建模为全局优化与世界状态追踪问题,以缓解语义漂移和级联失败。

    推荐理由:Google 把长视频生成拆成四个可组合框架,并给出多套基准上的连续性提升数据,适合了解多智能体编排如何缓解语义漂移。

  2. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将实时视频生成与语音结合,为 Gemini 的对话模型带来近实时的视觉形象,具备精准唇形同步、自然表情和流畅的轮流对话能力。

    推荐理由:Gemini 3.8 Live 新增实时视频形象能力,读者可了解多模态对话在企业场景的落地形态与开放范围。

9月24日周四
9月23日周三
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音生成模型,前者面向角色设计与深度创作控制,后者面向高并发配音和语音智能体。

    推荐理由:原文给出两款 TTS 模型的语音克隆、逐行导演能力与基准排名,可据此判断语音生成在配音和播客场景的可用度。

9月3日周四
9月2日周三
8月28日周五
  1. Google DeepMind68

    Google DeepMind 发布 Gemini Omni 1.1 Flash

    Google DeepMind 发布 Gemini Omni 1.1 Flash,通过 Gemini API 在 Google AI Studio 提供面向开发者的生成视频控制能力。

    推荐理由:原文列出场景延长、首尾帧插值与 4K 放大等具体能力,读者可据此判断生成视频工作流的可控性变化。

8月26日周三
  1. Google Research26

    Google 推出 AgentHands:为 XR 智能体对话生成空间化手势

    Google 发布研究原型 AgentHands(论文发表于 CHI 2026),可将 LLM 的推理输出映射为 XR 中与语音同步的手势,让智能体在用户真实空间中指点、演示物体与操作步骤。系统包含物体注册、手势事件库、手势嵌入推理和头显端同步执行四个模块,手势按左右手、空间锚定与 VFX 等维度分类。在 N=12 的对照研究中,AgentHands 相比纯语音基线在空间指代效果上有显著提升。

8月17日周一
8月13日周四
  1. Microsoft Research36

    MindTopo 揭示多模态大模型的空间推理能力短板

    Microsoft Research 推出 MindTopo 基准,用于评测多模态大语言模型的拓扑推理能力,覆盖连通性、分离、顺序、包围与绳结五类关系,并分为静态推理与交互规划两个层级。测试显示,当前模型在静态识别上明显强于交互规划,且两者均远低于人类水平,失败多出现在规划阶段而非感知阶段。图像与视频生成仅在单帧内保留拓扑关系时有用,跨多步操作时仍不可靠。

8月12日周三
  1. Google DeepMind71

    Google DeepMind 发布 SL2T 手语转文本模型,率先落地 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布多语种手语转文本模型 SL2T,首次将手语 AI 带入消费级产品,在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语(ASL)转英文听写,后续将扩展更多设备与语言。

    推荐理由:原文给出多语种手语到文本模型的能力边界与落地入口,读者可据此判断手语翻译在真实产品中的可用程度。

8月10日周一
8月4日周二
  1. Mistral AI66

    Mistral AI 发布 Shieldstral:3B 开源多模态安全分类器

    Mistral AI 发布 Shieldstral,一个 3B 开源权重多模态安全分类器,以 Apache 2.0 许可开放下载,可在单张 16GB NVIDIA GPU 上运行。它把内容审核建模为策略自适应的问答任务,推理时用自然语言写入策略、无需重新训练,统一处理文本与图像,并输出校准后的连续安全分数。官方称其在文本安全上可匹配最多 7 倍参数量的模型,并在多模态审核上取得新的 SOTA。

    推荐理由:3B 开源安全分类器把审核策略改成推理时的自然语言问题,读者可据此判断小模型在内容审核上的可行边界。

7月30日周四
  1. Google DeepMind71

    Google DeepMind 发布 Gemini Robotics ER 2 具身推理模型

    Google DeepMind 发布 Gemini Robotics ER 2,定位为机器人的高层大脑,负责与人类对话、理解物理世界并规划多步任务,再把动作执行交给底层 VLA 模型,还可原生调用 Google Search 等工具。

    推荐理由:官方给出 ER 2 在进度分类与时刻定位上的具体数字和开放入口,可据此判断机器人在长任务中的可用边界。

7月28日周二
  1. Google DeepMind80

    Google DeepMind 发布 Gemini Robotics 2,带来机器人全身智能

    Google DeepMind 发布 Gemini Robotics 2,包含三款模型:负责视觉语言到运动控制的 VLA 模型 Gemini Robotics 2、负责具身推理的 Gemini Robotics ER 2,以及可在设备本地运行的 Gemini Robotics On-Device 2。

    推荐理由:原文给出三款模型的职责分工与开放入口,读者可据此判断机器人全身控制与多机协作的落地路径。

7月23日周四
  1. Google Research62

    Google 发布 SymptomAI:面向日常症状评估的对话式 AI 智能体研究

    Google Research 发布论文 SymptomAI,用五个基于 Gemini Flash 2.0 的对话式智能体对 13917 名参与者进行症状访谈与鉴别诊断(DDx)评估。

    推荐理由:Google 用 13917 人的随机对照研究比较五种提问策略,并首次把诊断结果与 Fitbit 生理信号对照,可看对话式问诊的真实世界表现。

7月21日周二
7月15日周三
  1. Hugging Face Blog88

    Thinking Machines 发布 Inkling 系列开源多模态模型

    Thinking Machines Lab 在 Hugging Face 发布 Inkling 系列开源多模态模型,其中 Inkling 为约 1T 参数、41B 激活参数的 MoE 模型,原生支持图像、音频、文本输入和 1M 上下文,并推出 276B 总参数、12B 激活参数的 Inkling-Small。

    推荐理由:原文给出 Inkling 的架构细节、部署配置与基准对比,读者可据此判断约 1T 参数开源多模态模型的落地门槛。

7月1日周三
6月13日周六
  1. Google Research32

    Google 研究 AI 如何帮助用户理解皮肤问题

    Google 公布其在皮肤科 AI 工具上的消费者理解研究:2345 名参与者中,使用 AI 工具者尝试命名皮肤状况的比例超 62%,准确率 23%,约为对照组 8% 的近三倍;"Wizard of Oz"组准确率达 36%。但 AI 组在判断下一步就医建议上未出现统计显著改善,且略更倾向于给出比皮肤科医生更不紧急的建议(30% vs 27%)。

6月9日周二
6月5日周五