跳到正文
2026.10.17 · 周六

#多模态

#多模态

论文

研究论文、技术报告、基准与数据集

10月15日周四
  1. Hugging Face Blog73

    HiRO-ACEv2 以 3 公里分辨率模拟极端天气,成本仅为原来的很小一部分

    Ai2 推出了 HiRO-ACEv2,这是一款升级版气候模拟器,可生成全球 3 公里分辨率的降雨、风和气压数据,成本约为 X-SHiELD 的 1/300。输入经过降尺度处理的 X-SHiELD 数据后,其 HiROv2 降尺度模型生成的高分辨率统计数据与参考值相差不超过 3%,即使对于每百万个数据点中仅出现一次的事件也是如此。目前,该系统只能与经过调校以匹配 X-SHiELD 的 ACE 配合使用,尚不能为其他气候生成高分辨率数据;可下载的模型、教程笔记本和网页演示现已开放。

    推荐理由:与 X-SHiELD 的比较为研究人员提供了极端天气模拟的具体成本和准确度参照,但目前适用范围仅限于训练数据所代表的气候。

9月25日周五
  1. Google Research65

    Google 研究发布 AI 视频联合导演框架,实现连贯长视频生成

    Google Research 发布 AI video co-director 多智能体框架,作为 Gemini 和 Veo 之上的编排层,将长视频生成建模为全局优化与世界状态追踪问题,以缓解语义漂移和级联失败。

    推荐理由:Google 把长视频生成拆成四个可组合框架,并给出多套基准上的连续性提升数据,适合了解多智能体编排如何缓解语义漂移。

8月22日周六
  1. Jim Fan · X69

    NVIDIA 与伯克利开源用于触觉机器人学习的 T-Rex 方法

    Jim Fan 宣布推出 T-Rex,这是一种由 NVIDIA 与伯克利合作开发的开源触觉机器人学习方法。 其混合 Transformer 架构将一个运行较慢的视觉运动专家与一个运行较快的触觉专家相结合,每个视觉时刻对应 4 个触觉时刻;一套在具有 22 个自由度的触觉手部硬件上采集的 50 小时(约 5,500 个回合)同步机器人操作数据集,现已在 HuggingFace 上发布。 该方法扩展了 EgoScale,其训练方案将人类第一人称视频预训练与触觉机器人操作数据的中期训练相结合。Fan 表示,这有助于衔接无接触预训练与富接触操作。

    推荐理由:T-Rex 通过结合人类视频预训练、同步触觉机器人数据,以及视觉和触觉各自独立的处理频率,为富接触机器人学习提供了一种可迁移的方法。

8月12日周三
  1. Google Research72

    Google 研究团队将 AMIE 推进到专家级音视频临床问诊

    Google Research 发布 AMIE (Video),基于 Gemini 和 Project Astra 实现实时视频临床问诊,可感知非语言线索、引导虚拟体格检查并实时进行诊断推理。

    推荐理由:AMIE 从纯文本扩展到实时视频问诊,读者可了解异步多智能体架构如何兼顾对话延迟与临床推理。

7月23日周四
  1. Google Research62

    Google 发布 SymptomAI:面向日常症状评估的对话式 AI 智能体研究

    Google Research 发布论文 SymptomAI,用五个基于 Gemini Flash 2.0 的对话式智能体对 13917 名参与者进行症状访谈与鉴别诊断(DDx)评估。

    推荐理由:Google 用 13917 人的随机对照研究比较五种提问策略,并首次把诊断结果与 Fitbit 生理信号对照,可看对话式问诊的真实世界表现。

6月5日周五
  1. Google Research67

    Google 研究用手机摄像头实现被动心脏健康监测

    Google Research 在 Nature 发表 PHRM 研究系统,利用手机前置摄像头在面部解锁后的数秒内拍摄视频,通过深度学习在后台估算心率和静息心率。

    推荐理由:Google 用手机前摄在解锁后被动测心率,并公开迄今最大规模手机视频数据集与预训练模型。

4月30日周四
  1. Google DeepMind62

    Google DeepMind 发布 AI co-clinician 医疗研究计划

    Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗的“三方照护”模式。在 98 个真实初级保健查询的盲评中,该系统 97 个未出现关键错误,医生对其回答的偏好高于现有证据综合工具;在 OpenFDA 的 RxQA 开放式用药问答上超过其他前沿模型。

    推荐理由:Google DeepMind 公开 AI co-clinician 研究计划,给出医生盲评、RxQA 与远程问诊模拟的具体结果,可了解医疗 AI 当前能力边界。

已经到底了