跳到正文
全部动态 · 今日0条

#多模态

信源抓到、进了内容池的全部内容,按时间排列;精选只是其中一部分。
一手

模型厂商、公司和研究机构自己发布的消息:官网、官方博客和官方账号。

5月18日周一
  1. Google DeepMind62

    Google DeepMind 为 Project Genie 加入 Street View 真实场景能力

    Google DeepMind 在实验性原型 Project Genie 中上线 Street View 场景锚定能力,可基于美国真实地点生成可交互世界,并可选 Ocean World、Desert Sands、Stone Age、B&W film 等风格。

    推荐理由:原文给出了 Genie 与 Street View 结合后的能力边界和开放范围,读者可据此判断世界模型落地路径。

  2. Google DeepMind85

    Google DeepMind 发布 Gemini Omni Flash,支持多模态输入生成视频

    Google DeepMind 发布 Omni 系列首个模型 Gemini Omni Flash,可组合图像、音频、视频和文本作为输入生成高质量视频,并支持用自然语言多轮对话编辑视频。

    推荐理由:原文给出 Omni 系列首个模型的输入输出能力与上线渠道,读者可据此判断多模态视频生成的实际可用范围。

5月17日周日
  1. Google DeepMind67

    Google 将 SynthID 与 C2PA 内容验证扩展到 Search、Gemini 和 Chrome

    Google 宣布把内容透明度与验证工具扩展到 Search、Gemini、Chrome、Pixel 和 Cloud,其中 Gemini 应用已支持图像、视频和音频的 SynthID 验证,累计使用 5000 万次,该能力今日起进入 Search,未来几周进入 Chrome。

    推荐理由:原文给出 SynthID 与 C2PA 验证在 Search、Gemini、Chrome 的落地范围,可据此判断内容溯源工具的实际可用性。

5月16日周六
  1. Google DeepMind88

    Google DeepMind 发布 Gemini 3.5 Flash,主打智能体与编码

    Google DeepMind 发布 Gemini 3.5 系列首个模型 Gemini 3.5 Flash,定位为面向智能体与编码的前沿模型,即日起在 Gemini app、Google Search 的 AI Mode、Google Antigravity、Gemini API 以及 Gemini Enterprise 等渠道开放。

    推荐理由:Gemini 3.5 Flash 在编码与智能体基准上超过 3.1 Pro,并给出速度与成本对比,可据此判断长程任务的落地空间。

4月30日周四
  1. Google DeepMind62

    Google DeepMind 发布 AI co-clinician 医疗研究计划

    Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗的“三方照护”模式。在 98 个真实初级保健查询的盲评中,该系统 97 个未出现关键错误,医生对其回答的偏好高于现有证据综合工具;在 OpenFDA 的 RxQA 开放式用药问答上超过其他前沿模型。

    推荐理由:Google DeepMind 公开 AI co-clinician 研究计划,给出医生盲评、RxQA 与远程问诊模拟的具体结果,可了解医疗 AI 当前能力边界。

4月13日周一
  1. Google DeepMind71

    Google DeepMind 发布 Gemini Robotics-ER 1.6

    Google DeepMind 发布 Gemini Robotics-ER 1.6,这是其推理优先机器人模型的重大升级,强化了空间推理与多视角理解,并新增仪表读数能力,可读取压力表、液位计等复杂仪表。

    推荐理由:原文给出新模型在空间推理、多视角与仪表读数上的能力变化和开放入口,读者可据此判断机器人高层推理的进展。

4月9日周四
4月3日周五
3月25日周三
  1. Google Research62

    Google 发布 Vibe Coding XR:用 Gemini 和 XR Blocks 把自然语言变成 Android XR 应用

    Google 发布 Vibe Coding XR 工作流,将 Gemini 的长上下文推理与基于 WebXR、three.js、LiteRT.js 的 XR Blocks 框架结合,把自然语言直接转成具备物理感知的 Android XR 应用,官方称耗时在 60 秒以内。

    推荐理由:Google 把 Gemini 与 XR Blocks 组合成一句话生成 XR 应用的流程,并给出 VCXR60 初步评测数据,可据此判断空间计算原型的门槛变化。

3月18日周三
3月17日周二
  1. Mistral AI78

    Mistral 发布 Mistral Small 4,统一推理、多模态与编码能力

    Mistral AI 发布 Mistral Small 4,这是 Mistral Small 系列的下一个主要版本,也是首个把 Magistral 的推理、Pixtral 的多模态和 Devstral 的智能体编码能力统一到单一模型中的 Mistral 模型,采用 Apache 2.0 许可。

    推荐理由:Mistral 把推理、多模态与编码能力合并进一个开源小模型,并给出可调推理强度与部署门槛,便于判断其落地成本。

12月17日周三
  1. Mistral AI65

    Mistral 发布 OCR 3,表单与手写场景胜率较上一代达 74%

    Mistral AI 发布 Mistral OCR 3,在表单、扫描文档、复杂表格和手写内容上相对 Mistral OCR 2 的整体胜率为 74%,并称在准确率上超过企业文档处理方案和 AI 原生 OCR 方案。

    推荐理由:官方给出与上一代在表单、手写和表格上的胜率对比,以及每千页定价,可据此判断文档解析成本与适用场景。

12月3日周三
  1. Mistral AI82

    Mistral 发布 Mistral 3 系列,含 675B 参数 Mistral Large 3 与 3B/8B/14B Ministral 3

    Mistral 发布 Mistral 3 系列,包括 3B、8B、14B 三个稠密小模型和采用稀疏 MoE 架构的 Mistral Large 3,后者为 41B 激活、675B 总参数,全部以 Apache 2.0 许可开源。

    推荐理由:Mistral 3 一次性放出从 3B 到 675B 的 Apache 2.0 权重,读者可据此判断开源模型在端侧与前沿两端的可选空间。

8月1日周五
7月17日周四
  1. Mistral AI62

    Mistral 为 Le Chat 上线 Deep Research、语音模式等多项新功能

    Mistral 为 Le Chat 推出一批新功能,包括预览版 Deep Research 模式、由新语音模型 Voxtral 驱动的语音模式、由推理模型 Magistral 支持的多语言推理、用于整理对话的 Projects,以及与 Black Forest Labs 合作的图像编辑。

    推荐理由:Mistral 一次性把深度研究、语音、推理与图像编辑并入 Le Chat,可据此判断其助手产品的能力边界。

5月7日周三
3月17日周一
3月7日周五
  1. Mistral AI78

    Mistral AI 发布文档理解 API Mistral OCR

    Mistral AI 发布光学字符识别 API Mistral OCR,可把图片和 PDF 解析为有序交错的文本与图像,并已作为 Le Chat 文档理解的默认模型。

    推荐理由:官方给出与 Google、Azure、Gemini 系列的横向基准对比和 1000 页/美元定价,可据此判断文档解析方案的替换成本。

2月17日周一
  1. Mistral AI62

    Mistral 发布区域语言模型 Mistral Saba

    Mistral AI 发布首款区域语言模型 Mistral Saba,24B 参数,基于中东和南亚数据集训练,支持阿拉伯语和多种印度源语言,在泰米尔语等南印度语言上表现突出。

    推荐理由:Mistral 首款区域语言模型,24B 参数却对标 5 倍规模模型,可单卡本地部署,为中东和南亚市场提供新选择。

2月7日周五