跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

63 条精选近 30 天 28条共收录 216条

更新

多模态的精选

10月16日周五
  1. Ollama · X72

    NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB 现已上线 Ollama

    NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB 现已上线 Ollama。 这款视觉语言模型(VLM)专为在本地运行日常智能体任务而设计,采用原生 2 位量化,可将模型装入 24GB 内存,并与其他应用同时运行。 ollama run nemotron-3.5-bolt

    推荐理由:所述内存占用为在同一台机器上与其他应用同时运行本地智能体工作负载,提供了具体的部署考量。

  2. Hugging Face Blog87

    Meta 发布 Muse Spark Open:开放权重的多模态混合专家模型

    Meta 的 Muse Spark Open 是一款开放权重的混合专家模型,约有 8160 亿个参数,每个 token 激活约 420 亿个参数,上下文窗口最长可达 100 万个 token。该模型经过智能体编程训练,可接收文本、图像、音频和视频,并生成文本。Hugging Face 提供推理和部署方案,报告了其自身的量化测试结果,并演示了使用 TRL 对注意力层进行 LoRA 微调,同时冻结专家网络。

    推荐理由:这些部署方案阐明了稀疏专家激活如何在保留大量内存需求的同时减少每个 token 的计算量,帮助开发者根据不同检查点格式和服务框架评估硬件需求。

  3. The Decoder81

    英伟达发布 Nemotron 3.5 Super VL,面向持续运行的企业 AI 智能体

    英伟达发布了 Nemotron 3.5 Super VL,这是一款拥有 1200 亿参数、每个 token 激活 120 亿参数的开放式多模态模型,面向持续运行的企业智能体。英伟达表示,在指定的智能体任务上,该模型的准确率接近 Nemotron 3 Ultra,但参数量约为其五分之一;英伟达还将开放模型权重、数据集和训练方案。配套的 Nemotron 3.5 Bolt 74B-A9B 24GB 面向本地智能体,而 Bolt E4B 4GB 计划于本月晚些时候推出。

    推荐理由:部署细节说明了量化、缓存和硬件要求如何影响在企业自有基础设施上运行持续工作的智能体时所面临的实际权衡。

10月15日周四
  1. NVIDIA Blog81

    NVIDIA 扩展 Nemotron 系列,推出 Super VL 和 Bolt 开放模型

    NVIDIA 发布了 Nemotron 3.5 Super VL,这是一款面向多模态智能体的开放式 1200 亿参数模型;还发布了 Nemotron 3.5 Bolt 74B-A9B 24GB,面向本地智能体工作负载。Bolt E4B 4GB 将于 10 月 23 日推出。Super VL 面向工具调用、业务工作流和视觉文档理解,并开放模型权重、数据集和训练方案。Bolt 74B-A9B 采用原生 2 位量化,可装入 24GB 内存;Bolt E4B 则面向物理智能体和对话智能体。

    推荐理由:开放模型权重、数据集和训练方案,为组织提供了定制智能体以适配自身工作流的途径,同时满足本地部署和数据驻留要求。

  2. Hugging Face Blog74

    Apertus 1.5 发布说明详述多模态理解、思考模式和更长上下文

    Project Apertus 发布了 8B 和 70B 两种规模的 Apertus 1.5,新增图像和音频理解、可选思考模式、262,144-token 上下文窗口,并改进了指令遵循和工具使用能力。模型权重于 2026 年 7 月 24 日在 Hugging Face 上以 Apache 2.0 许可证发布;模型仅生成文本,语音语言处理仍处于实验阶段。团队还公布了训练数据、训练方案、中间检查点和可复现的评估记录。

    推荐理由:公布的中间检查点、训练数据混合方案和评估设置,为研究各个训练阶段如何改变模型行为以及复现所报告的结果提供了具体依据。

  3. Hugging Face Blog73

    HiRO-ACEv2 以 3 公里分辨率模拟极端天气,成本仅为原来的很小一部分

    Ai2 推出了 HiRO-ACEv2,这是一款升级版气候模拟器,可生成全球 3 公里分辨率的降雨、风和气压数据,成本约为 X-SHiELD 的 1/300。输入经过降尺度处理的 X-SHiELD 数据后,其 HiROv2 降尺度模型生成的高分辨率统计数据与参考值相差不超过 3%,即使对于每百万个数据点中仅出现一次的事件也是如此。目前,该系统只能与经过调校以匹配 X-SHiELD 的 ACE 配合使用,尚不能为其他气候生成高分辨率数据;可下载的模型、教程笔记本和网页演示现已开放。

    推荐理由:与 X-SHiELD 的比较为研究人员提供了极端天气模拟的具体成本和准确度参照,但目前适用范围仅限于训练数据所代表的气候。

10月14日周三
  1. 宝玉 · X76

    Gemini 4 Argon 如何在 Blender 中构建日本寺庙建筑群

    Baoyu 介绍了一项演示:Gemini 4 Argon 使用 Antigravity,根据一个包含详细工作流程的提示词,在 Blender 中构建了一座日本寺庙建筑群。提示词引用了一份场景构建技能文档,并要求提供建筑平面图、四张 Nano Banana 参考图,以及多个协同工作的智能体;这些智能体会将渲染结果与参考图进行比对,并反复修改场景。演示者第二天又要求添加动画,以及通过程序生成的钟声和环境音效;这些内容是在最初的建模流程之后加入的。

    推荐理由:这种工作流程将建构规则、视觉参考、智能体协作和对渲染结果的反复比对结合起来,为复杂 3D 生成提供了一种可迁移的方法。

  2. Google DeepMind · X73

    Gemini 4 Argon 仅通过观看视频,就教会了机器人玩沙包投掷游戏

    Gemini 4 Argon 仅通过观看视频,就教会了机器人玩沙包投掷游戏。 它推演了物理规律,为自己编写了仿真程序,并教会 @Apptronik 的 Apollo 人形机器人连续 7 次投中。

    推荐理由:这项演示将视频观察、物理建模和模型编写的仿真程序结合起来,具体展示了如何教会人形机器人完成一项物理任务。

  3. Google DeepMind94

    Google DeepMind 推出 Gemini 4 Argon,面向复杂推理和智能体任务

    Google DeepMind 已通过其 API 和部分 Google 产品在全球推出 Gemini 4 Argon,具体访问权限取决于订阅或服务等级。入门价格为每百万输入 token 2 美元、每百万输出 token 10 美元;缓存输入 token 可享受 95% 的折扣,通过 Gemini API 的统一输入输出 token 上限为 1M。Google 表示,该模型在编程、专业工作流程、科学研究和机器人领域均有提升,同时增强了智能体防护措施和抵御提示注入的能力。

    推荐理由:Google 报告的代码提交量提升和回滚次数减少,将 Argon 的工程能力与内部工作流程中的交付速度和代码稳定性联系起来。

10月9日周五
10月8日周四
  1. Mark Chen · X81

    OpenAI 面向所有用户推出 ChatGPT 中的 GPT-6 和智能界面

    OpenAI 表示,GPT-6 和智能界面现已开始向所有 ChatGPT 用户推出,为用户的任务提供快速、交互式的回答和工具。 Mark Chen 鼓励用户试用智能界面,并表示现在每次 ChatGPT 回复都有可能创建一个定制界面,还称它非常适合学习新知识。 https://twitter.com/OpenAI/status/2107894997538525580

    推荐理由:这些定制界面可以将解释和任务工具直接融入 ChatGPT 答案的呈现过程中,让学习更直观、更具互动性。

10月7日周三
  1. Josh Woodward · X74

    Nano Banana 宣布推出 Nano Banana 2.1,图像生成与编辑能力提升

    Nano Banana 宣布推出 Nano Banana 2.1,称其在各方面都优于此前的模型,包括视觉设计、基于蒙版的编辑、主体一致性,以及让图像看起来更自然等。 该模型已在 @GeminiApp、@GoogleAIStudio 等平台推出。 Josh Woodward 评论道:“基于蒙版的编辑是我今天最喜欢的功能,后续还会推出更多内容!” https://twitter.com/NanoBanana/status/2107521202466046453

    推荐理由:这则公告围绕视觉设计、编辑、主体一致性和自然观感介绍了升级,为与此前的模型进行比较提供了具体依据。

  2. Google DeepMind71

    Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,基于 Gemma 4 架构、740M 参数,在 Apache 2.0 许可下开源,将文本、图像、音频、视频映射到统一嵌入空间。

    推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一到同一嵌入空间,并给出端侧内存与向量截断的具体数字,便于评估本地多模态检索的可行性。

10月6日周二
  1. Mistral AI · X80

    Mistral 发布 Mistral Large 4,1T 参数原生多模态

    Mistral AI 发布 Mistral Large 4(代号 Le Chonk),1T 参数、原生多模态、49B 激活,官方称其是欧美聚合基准上最好的开放权重模型。该模型在网络防御、制造和金融等关键负载上达到 SOTA,并在视觉 grounding 上超过闭源前沿模型;端到端在欧洲打造,可通过 Mistral Cloud 从欧洲部署,今日起 API 可用,开放权重版本将于 10 月底发布。

    推荐理由:Mistral 官方给出 1T 参数、49B 激活的开放权重模型规格与欧洲本地部署路径,可据此判断开放权重阵营的规模与可用性。

10月1日周四
  1. Google DeepMind88

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,随后逐步扩展到开发者、企业和消费者,起价为每百万输入 token 2 美元、每百万输出 token 10 美元。

    推荐理由:Gemini 4 Argon 把输出上限提到 1M token 并给出多项基准与内部落地数据,可据此判断长程工作流的能力边界。

9月30日周三
  1. The Decoder78

    AMD 以 82 亿美元收购世界模型初创公司 World Labs

    AMD 宣布以约 82 亿美元全股票交易收购专注空间智能的初创公司 World Labs,交易预计在 2026 年底前完成,尚待监管批准。World Labs 创始人李飞飞将加入 AMD 领导团队,出任执行副总裁兼首席科学家,直接向 CEO 苏姿丰汇报并负责前沿研究。

    推荐理由:交易价格与团队去向之外,原文还给出世界模型路线的技术主张和与 Nvidia 的生态对比。

9月29日周二
  1. Microsoft Research62

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由生物世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并优先排序数千种化合物,最高排名化合物在湿实验中产生了最大的经典态向基底态转变,从缩小搜索空间到选出候选验证只用了一个周末。

    推荐理由:微软研究院公开 Quine 的多模态生物世界模型与实验闭环,并给出胰腺癌化合物筛选的湿实验验证结果。