跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

63 条精选近 30 天 28条共收录 216条

更新

精选归档 · 第 2 页

9月29日周二
  1. Latent Space80

    AMD 以 82 亿美元收购 World Labs,Atlas 解决稀疏重建问题

    AMD 以 82 亿美元收购 World Labs,官方博文提到其自 2024 年成立以来构建了图像、视频与空间重建的模型训练团队,并通过收购 SceniX 推进机器人仿真能力。

    推荐理由:AMD 以 82 亿美元收购 World Labs,并披露 Atlas 在稀疏重建上的进展,可据此观察空间智能与机器人仿真的整合方向。

  2. Latent Space78

    AINews:Opus 5.5 擅长生成讲解视频

    Latent Space 的 AINews 汇总 9/24-9/25 动态,指出 Opus 5.5 本周发布后社区反馈积极,尤其在用代码生成讲解视频上表现突出。

    推荐理由:汇总一周模型与 Agent 基础设施动态,可快速了解 Opus 5.5 在代码生成视频上的社区反馈与各家新模型定位。

  3. 量子位82

    AMD 以 82 亿美元全股票收购李飞飞 World Labs,李飞飞将任首席科学家

    AMD 宣布以 82 亿美元全股票收购李飞飞的 World Labs,交易预计 2026 年底前完成,仍须取得监管批准。交割后李飞飞将加入 AMD 担任执行副总裁兼首席科学家,直接向苏姿丰汇报,联合创始人 Justin Johnson 和 Ben Mildenhall 继续带领团队并入 AMD。

    推荐理由:交易细节与双方一年半的合作脉络被完整梳理,读者可据此理解芯片厂商为何要买下空间智能团队。

9月25日周五
  1. Google Research65

    Google 研究发布 AI 视频联合导演框架,实现连贯长视频生成

    Google Research 发布 AI video co-director 多智能体框架,作为 Gemini 和 Veo 之上的编排层,将长视频生成建模为全局优化与世界状态追踪问题,以缓解语义漂移和级联失败。

    推荐理由:Google 把长视频生成拆成四个可组合框架,并给出多套基准上的连续性提升数据,适合了解多智能体编排如何缓解语义漂移。

  2. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将实时视频生成与语音结合,为 Gemini 的对话模型带来近实时的视觉形象,具备精准唇形同步、自然表情和流畅的轮流对话能力。

    推荐理由:Gemini 3.8 Live 新增实时视频形象能力,读者可了解多模态对话在企业场景的落地形态与开放范围。

9月23日周三
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音生成模型,前者面向角色设计与深度创作控制,后者面向高并发配音和语音智能体。

    推荐理由:原文给出两款 TTS 模型的语音克隆、逐行导演能力与基准排名,可据此判断语音生成在配音和播客场景的可用度。

9月10日周四
  1. DeepSeek · X68

    DeepSeek 发布 DeepSeek-V4.1-Flash 模型

    DeepSeek 发布 DeepSeek-V4.1-Flash,称其更智能、更快、更高效。该模型是新架构家族中体量最小的一个,具备原生视觉理解能力,面向更强能力、更快推理、更高吞吐设计,并可扩展至更大模型。

    推荐理由:DeepSeek 新架构家族的最小模型,原生视觉理解与推理吞吐提升,可据此判断其轻量多模态定位。

9月2日周三
8月28日周五
  1. Google DeepMind68

    Google DeepMind 发布 Gemini Omni 1.1 Flash

    Google DeepMind 发布 Gemini Omni 1.1 Flash,通过 Gemini API 在 Google AI Studio 提供面向开发者的生成视频控制能力。

    推荐理由:原文列出场景延长、首尾帧插值与 4K 放大等具体能力,读者可据此判断生成视频工作流的可控性变化。

8月22日周六
  1. Jim Fan · X69

    NVIDIA 与伯克利开源用于触觉机器人学习的 T-Rex 方法

    Jim Fan 宣布推出 T-Rex,这是一种由 NVIDIA 与伯克利合作开发的开源触觉机器人学习方法。 其混合 Transformer 架构将一个运行较慢的视觉运动专家与一个运行较快的触觉专家相结合,每个视觉时刻对应 4 个触觉时刻;一套在具有 22 个自由度的触觉手部硬件上采集的 50 小时(约 5,500 个回合)同步机器人操作数据集,现已在 HuggingFace 上发布。 该方法扩展了 EgoScale,其训练方案将人类第一人称视频预训练与触觉机器人操作数据的中期训练相结合。Fan 表示,这有助于衔接无接触预训练与富接触操作。

    推荐理由:T-Rex 通过结合人类视频预训练、同步触觉机器人数据,以及视觉和触觉各自独立的处理频率,为富接触机器人学习提供了一种可迁移的方法。

8月21日周五
  1. DeepSeek · X78

    DeepSeek-V4-Flash-Vision-Exp 上线 DeepSeek API 平台

    DeepSeek 在 API 平台上线实验性多模态模型 DeepSeek-V4-Flash-Vision-Exp,文本能力与 DeepSeek-V4-Flash 持平,涵盖智能体、推理和世界知识。

    推荐理由:官方给出新模型与 V4-Flash 的文本能力对齐关系及多模态智能体基准上的提升幅度,可据此判断多模态 Agent 的可用水位。

8月12日周三
  1. Google DeepMind71

    Google DeepMind 发布 SL2T 手语转文本模型,率先落地 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布多语种手语转文本模型 SL2T,首次将手语 AI 带入消费级产品,在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语(ASL)转英文听写,后续将扩展更多设备与语言。

    推荐理由:原文给出多语种手语到文本模型的能力边界与落地入口,读者可据此判断手语翻译在真实产品中的可用程度。

8月10日周一
8月4日周二
  1. Mistral AI66

    Mistral AI 发布 Shieldstral:3B 开源多模态安全分类器

    Mistral AI 发布 Shieldstral,一个 3B 开源权重多模态安全分类器,以 Apache 2.0 许可开放下载,可在单张 16GB NVIDIA GPU 上运行。它把内容审核建模为策略自适应的问答任务,推理时用自然语言写入策略、无需重新训练,统一处理文本与图像,并输出校准后的连续安全分数。官方称其在文本安全上可匹配最多 7 倍参数量的模型,并在多模态审核上取得新的 SOTA。

    推荐理由:3B 开源安全分类器把审核策略改成推理时的自然语言问题,读者可据此判断小模型在内容审核上的可行边界。

7月30日周四
  1. Google DeepMind71

    Google DeepMind 发布 Gemini Robotics ER 2 具身推理模型

    Google DeepMind 发布 Gemini Robotics ER 2,定位为机器人的高层大脑,负责与人类对话、理解物理世界并规划多步任务,再把动作执行交给底层 VLA 模型,还可原生调用 Google Search 等工具。

    推荐理由:官方给出 ER 2 在进度分类与时刻定位上的具体数字和开放入口,可据此判断机器人在长任务中的可用边界。

7月28日周二
  1. Google DeepMind80

    Google DeepMind 发布 Gemini Robotics 2,带来机器人全身智能

    Google DeepMind 发布 Gemini Robotics 2,包含三款模型:负责视觉语言到运动控制的 VLA 模型 Gemini Robotics 2、负责具身推理的 Gemini Robotics ER 2,以及可在设备本地运行的 Gemini Robotics On-Device 2。

    推荐理由:原文给出三款模型的职责分工与开放入口,读者可据此判断机器人全身控制与多机协作的落地路径。

7月23日周四
  1. Google Research62

    Google 发布 SymptomAI:面向日常症状评估的对话式 AI 智能体研究

    Google Research 发布论文 SymptomAI,用五个基于 Gemini Flash 2.0 的对话式智能体对 13917 名参与者进行症状访谈与鉴别诊断(DDx)评估。

    推荐理由:Google 用 13917 人的随机对照研究比较五种提问策略,并首次把诊断结果与 Fitbit 生理信号对照,可看对话式问诊的真实世界表现。