跳到正文
全部动态 · 今日0条

#多模态

信源抓到、进了内容池的全部内容,按时间排列;精选只是其中一部分。
论文

研究论文、技术报告、基准与数据集

10月15日周四
  1. Artificial Analysis · X56

    Claude Opus 5.5 和 Grok 4.7 在线下 3D 构建中还原了埃菲尔铁塔上的 72 个姓名

    Artificial Analysis 要求 AI 模型在线下以 3D 方式构建埃菲尔铁塔。Claude Opus 5.5 和 Grok 4.7 按正确顺序列出了镌刻在塔上的 72 位科学家、工程师和数学家的姓名,尽管双方共用的任务说明从未提及这些姓名。 Claude Opus 5.5 还将每组姓名与其在巴黎的朝向对应起来。两个模型都在无法访问互联网的情况下以智能体方式工作;这些姓名首次出现在它们生成的代码中,从未出现在它们读取的文件或工具输出里。

  2. Hugging Face Blog73

    HiRO-ACEv2 以 3 公里分辨率模拟极端天气,成本仅为原来的很小一部分

    Ai2 推出了 HiRO-ACEv2,这是一款升级版气候模拟器,可生成全球 3 公里分辨率的降雨、风和气压数据,成本约为 X-SHiELD 的 1/300。输入经过降尺度处理的 X-SHiELD 数据后,其 HiROv2 降尺度模型生成的高分辨率统计数据与参考值相差不超过 3%,即使对于每百万个数据点中仅出现一次的事件也是如此。目前,该系统只能与经过调校以匹配 X-SHiELD 的 ACE 配合使用,尚不能为其他气候生成高分辨率数据;可下载的模型、教程笔记本和网页演示现已开放。

    推荐理由:与 X-SHiELD 的比较为研究人员提供了极端天气模拟的具体成本和准确度参照,但目前适用范围仅限于训练数据所代表的气候。

10月14日周三
  1. Ars Technica · AI74

    研究人员报告称,OpenAI 和 Google 的图像模型存在越狱漏洞

    White Circle 研究人员报告称,他们的 RISE 攻击方法绕过了 DALL·E 3、Nano Banana 2 和 GPT-Image-2 的安全防护,约有 13% 的情况下生成了露骨图像。该方法使用广泛可用的模型,迭代开发并评估越狱策略。White Circle 告诉 Ars Technica,后续测试发现,ChatGPT Images 2.5 和 Nano Banana 2.1 比其前代产品脆弱得多;Google 和 OpenAI 未回应置评请求。

10月13日周二
  1. Artificial Analysis · X56

    Artificial Analysis 推出 AA-3D,用于评测 AI 模型构建交互式 3D 场景的能力

    Artificial Analysis 推出了 AA-3D,这是一项基准测试:AI 智能体根据七个领域的 55 份文字简报生成交互式 three.js 场景,供人类进行盲测比较。 来自 1,000 多名评审的计票数超过 10,000 票,按 Elo 对 21 个模型进行排名,并给出 95% 置信区间;Claude Sonnet 5.5、Claude Opus 5.5、GPT-6 Astra 和 Claude Fable 5.1 在统计上并列领先。 模型最多可用三小时和 250 轮,报告的每个场景成本从 $0.20 到 $32.08 不等。

10月12日周一
  1. Import AI34

    Import AI 476:新基准测试视觉推理与研究品味

    Import AI 476 介绍了 Humanity’s Sixth Sense,这是 Elorian 和 Scale AI 推出的一项基准测试,用于评估直觉式视觉推理。人类的综合 pass@1 得分为 93.1,而 GPT 6 Astra 得分为 53.6;GLM-5.3-flash 和 Kimi K3 分别为 26.8 和 25.5。本期通讯还探讨了 AI 如何加速太空开发,并报道了 TasteVal——一项评估 AI 系统研究品味的基准测试。

10月11日周日
  1. 量子位71

    何恺明团队发布用于多模态推理的 VISTA 视觉测试框架

    何恺明团队发布了 VISTA,一种视觉原生测试框架,使现有多模态模型能够观察环境、将原始帧存储在上下文之外,并在推理过程中回忆、缩放或检查这些帧,而无需重新训练。搭配 VISTA,Claude Opus 5.0 完成了全部 25 个公开的 ARC-AGI-3 游戏,取得完美的 100 分动作效率得分,所用动作比人类首次游玩基线少 57.4%,而 GPT-5.6 Sol 得分为 99。该团队还测试了浏览器游戏、迷宫和连点成线任务,并将具身任务列为未来工作。

10月9日周五
  1. 量子位62

    MirroS 发布 AgentGarten:代码环境加实时神经渲染,让智能体边玩边进化

    MirroS 团队发布 AgentGarten,将可执行代码环境与实时神经渲染器连接,代码定义物理规则、模型生成视觉反馈,以超过 30 fps 的吞吐让智能体持续交互。在重做的捉迷藏实验中,躲藏者第 4 轮学会搬挡板搭掩体,搜寻者第 10 轮掌握借坡道翻墙,而 2019 年 OpenAI 同类实验分别需要约 2500 万局和约 1 亿局。团队还公布了 Blog、技术报告、代码仓库和项目主页。

10月8日周四
  1. vLLM · X62

    vLLM-Omni 技术报告提出用于全模态生成的统一服务运行时

    vLLM 项目分享了 vLLM-Omni 技术报告,介绍了一种用于全模态生成的统一服务运行时。报告指出,语音助手、视觉生成、世界模型和机器人循环不再遵循单一的文本解码循环,而是演变为多阶段自回归流水线、迭代式扩散和有状态会话;LLM 服务器和扩散框架都只能部分覆盖这些需求。vLLM-Omni 作为共享控制平面,由一个编排器、专用引擎、一个连接器和统一的会话路径组成。文中附有论文和代码仓库链接。

10月3日周六
10月2日周五
9月30日周三
9月25日周五
  1. Google Research65

    Google 研究发布 AI 视频联合导演框架,实现连贯长视频生成

    Google Research 发布 AI video co-director 多智能体框架,作为 Gemini 和 Veo 之上的编排层,将长视频生成建模为全局优化与世界状态追踪问题,以缓解语义漂移和级联失败。

    推荐理由:Google 把长视频生成拆成四个可组合框架,并给出多套基准上的连续性提升数据,适合了解多智能体编排如何缓解语义漂移。

8月26日周三
  1. Google Research26

    Google 推出 AgentHands:为 XR 智能体对话生成空间化手势

    Google 发布研究原型 AgentHands(论文发表于 CHI 2026),可将 LLM 的推理输出映射为 XR 中与语音同步的手势,让智能体在用户真实空间中指点、演示物体与操作步骤。系统包含物体注册、手势事件库、手势嵌入推理和头显端同步执行四个模块,手势按左右手、空间锚定与 VFX 等维度分类。在 N=12 的对照研究中,AgentHands 相比纯语音基线在空间指代效果上有显著提升。

8月22日周六
  1. Jim Fan · X69

    NVIDIA 与伯克利开源用于触觉机器人学习的 T-Rex 方法

    Jim Fan 宣布推出 T-Rex,这是一种由 NVIDIA 与伯克利合作开发的开源触觉机器人学习方法。 其混合 Transformer 架构将一个运行较慢的视觉运动专家与一个运行较快的触觉专家相结合,每个视觉时刻对应 4 个触觉时刻;一套在具有 22 个自由度的触觉手部硬件上采集的 50 小时(约 5,500 个回合)同步机器人操作数据集,现已在 HuggingFace 上发布。 该方法扩展了 EgoScale,其训练方案将人类第一人称视频预训练与触觉机器人操作数据的中期训练相结合。Fan 表示,这有助于衔接无接触预训练与富接触操作。

    推荐理由:T-Rex 通过结合人类视频预训练、同步触觉机器人数据,以及视觉和触觉各自独立的处理频率,为富接触机器人学习提供了一种可迁移的方法。

8月17日周一
8月13日周四
  1. Microsoft Research36

    MindTopo 揭示多模态大模型的空间推理能力短板

    Microsoft Research 推出 MindTopo 基准,用于评测多模态大语言模型的拓扑推理能力,覆盖连通性、分离、顺序、包围与绳结五类关系,并分为静态推理与交互规划两个层级。测试显示,当前模型在静态识别上明显强于交互规划,且两者均远低于人类水平,失败多出现在规划阶段而非感知阶段。图像与视频生成仅在单帧内保留拓扑关系时有用,跨多步操作时仍不可靠。

8月12日周三
7月23日周四
  1. Google Research62

    Google 发布 SymptomAI:面向日常症状评估的对话式 AI 智能体研究

    Google Research 发布论文 SymptomAI,用五个基于 Gemini Flash 2.0 的对话式智能体对 13917 名参与者进行症状访谈与鉴别诊断(DDx)评估。

    推荐理由:Google 用 13917 人的随机对照研究比较五种提问策略,并首次把诊断结果与 Fitbit 生理信号对照,可看对话式问诊的真实世界表现。

6月13日周六
  1. Google Research32

    Google 研究 AI 如何帮助用户理解皮肤问题

    Google 公布其在皮肤科 AI 工具上的消费者理解研究:2345 名参与者中,使用 AI 工具者尝试命名皮肤状况的比例超 62%,准确率 23%,约为对照组 8% 的近三倍;"Wizard of Oz"组准确率达 36%。但 AI 组在判断下一步就医建议上未出现统计显著改善,且略更倾向于给出比皮肤科医生更不紧急的建议(30% vs 27%)。

6月5日周五
4月30日周四
  1. Google DeepMind62

    Google DeepMind 发布 AI co-clinician 医疗研究计划

    Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗的“三方照护”模式。在 98 个真实初级保健查询的盲评中,该系统 97 个未出现关键错误,医生对其回答的偏好高于现有证据综合工具;在 OpenFDA 的 RxQA 开放式用药问答上超过其他前沿模型。

    推荐理由:Google DeepMind 公开 AI co-clinician 研究计划,给出医生盲评、RxQA 与远程问诊模拟的具体结果,可了解医疗 AI 当前能力边界。

4月9日周四