跳到正文
全部动态 · 今日9条

#多模态

信源抓到、进了内容池的全部内容,按时间排列;精选只是其中一部分。
10月7日周三
  1. Sundar Pichai · X62

    Google 发布 EmbeddingGemma 2,这是一款开放的多模态嵌入模型

    Sundar Pichai 宣布推出 EmbeddingGemma 2,并将其称为 Google 首款开放的原生多模态嵌入模型。它采用模块化的 740M 参数规格,可处理文本、代码、图像、视频和音频任务;与 Gemma 4 搭配时,它适用于离线、隐私优先的 RAG。据称,它的表现优于一些参数量超过其两倍的专用模型。模型权重现已在 Hugging Face 上提供。

10月6日周二
  1. Mistral AI · X80

    Mistral 发布 Mistral Large 4,1T 参数原生多模态

    Mistral AI 发布 Mistral Large 4(代号 Le Chonk),1T 参数、原生多模态、49B 激活,官方称其是欧美聚合基准上最好的开放权重模型。该模型在网络防御、制造和金融等关键负载上达到 SOTA,并在视觉 grounding 上超过闭源前沿模型;端到端在欧洲打造,可通过 Mistral Cloud 从欧洲部署,今日起 API 可用,开放权重版本将于 10 月底发布。

    推荐理由:Mistral 官方给出 1T 参数、49B 激活的开放权重模型规格与欧洲本地部署路径,可据此判断开放权重阵营的规模与可用性。

  2. The Decoder68

    Reka AI 发布 19B 全能模型 Rho-1,单模型处理文本图像视频与机器人控制

    Reka AI 发布 19B 参数全能模型 Rho-1 的研究预览版,可在单一神经网络中处理并生成文本、图像、视频和机器人控制动作。与多数把任务分派给专用模型的系统不同,Rho-1 把所有模态作为 token 放进同一个共享上下文窗口,不调用工具或外部模型,能实时生成连续视频并即时响应新指令而无需重启,预测摄像头图像的同一套权重也用于驱动机器人动作。

10月5日周一
  1. NVIDIA Blog43

    NVIDIA 初创企业利用 AI 弥补乳腺癌护理缺口

    NVIDIA Inception 计划中的初创企业正在开发 AI 应用,以支持乳腺癌护理,涵盖影像检查、风险评估和治疗规划。iSono Health 获 FDA 许可的 ATUSA 系统可在每侧乳房约两分钟内采集 3D 乳腺超声图像;该公司称,其灵敏度比手持式 2D 超声高 28%。Ataraxis AI 利用数字病理切片和临床变量预测治疗反应和复发风险。

10月4日周日
10月3日周六
  1. Ollama · X38

    .@Cloudflare 的决策模型现已在 Ollama 上提供!决策模型可用于对图像进行分类、为错误报告添加标签,或将支持工单转给合适的团队。Clef (27B):ollama pull clef Clef Flash (9B):ollama pull clef-flash

    .@Cloudflare 的决策模型现已在 Ollama 上提供! 决策模型可用于对图像进行分类、为错误报告添加标签,或将支持工单转给合适的团队。 Clef (27B): ollama pull clef Clef Flash (9B): ollama pull clef-flash

10月2日周五
  1. Andrej Karpathy · X62

    Karpathy 分享理解模型输出的四种提示技巧

    Andrej Karpathy 分享让大语言模型帮助理解其输出的几种做法:要求用 ASD-STE100 受控语言规范写作,或放宽到 80% 的程度;要求生成图表;要求以 HTML 输出交互式网页;以及生成定制讲解视频,例如用 ElevenLabs API key 配音的 3b1b 风格视频。他认为随着模型变强,更多工作会上升到监督与理解层面,而模型也能生成此前不值得制作的大型定制软件产物。

  2. Google DeepMind · X22

    Google DeepMind 播客探讨 AI 内容溯源与水印

    当 AI 生成内容变得如此逼真,我们如何验证哪些是人、机器或自然创造的? 我们在播客中探讨溯源的关键作用——以及不可感知的水印如何同时保护数字媒体和生物设计。↓ 时间轴: 00:00 介绍 00:34 什么是水印? 04:35 SynthID 15:16 图像与视频 19:28 SynthID Bio 28:00 韧性的未来

10月1日周四
  1. Google DeepMind88

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,随后逐步扩展到开发者、企业和消费者,起价为每百万输入 token 2 美元、每百万输出 token 10 美元。

    推荐理由:Gemini 4 Argon 把输出上限提到 1M token 并给出多项基准与内部落地数据,可据此判断长程工作流的能力边界。

9月30日周三
  1. 量子位22

    工业AI的下一个机会在哪?西门子Xcelerator与阿丘科技谈从1到100的规模化路径

    量子位对话节目邀请西门子Xcelerator中国销售与生态成功负责人顾欣与阿丘科技创始人兼CEO黄耀,复盘工业AI从落地到规模化的链路。黄耀以半导体晶圆切割为例,称导入智能体技术后设备OEE和产能可提升25%左右;顾欣认为工业AI必须具备工业级可靠性,西门子Xcelerator希望做好连接器与放大器,补齐从1到100的交付与生态拼图。

  2. 雷锋网28

    从三维视觉到世界模型:空间智能为何成为 AI 走向物理世界的共同主线?| ECCV 2026 复盘

    ECCV 2026 共收到 10473 篇投稿、接收 2834 篇,3D 主题从主导方向退居第三,但三维表示、几何与物理一致性等问题正向视频生成、具身智能和世界模型扩散。93 场 Workshop 中约 10 场与 3D 直接相关、11 场涉及空间智能、9 场指向物理 AI、5 场以世界模型为主题,最佳论文与荣誉提名也集中在三维表面表示、物体重建和几何感知上。

  3. AWS Machine Learning Blog28

    在 SageMaker AI 上用 vLLM-Omni 生成图像与视频(第二部分)

    AWS 发布教程,演示在 SageMaker AI 上部署同一个 vLLM-Omni DLC 镜像的两个端点:实时端点跑 FLUX.2-klein-4B 生成图像,异步端点跑 Wan2.1-VACE-1.3B 做图像条件视频生成。文本提示词先生成 PNG,再连同运动提示词经 Amazon S3 送入视频端点,生成的 MP4 从 S3 取回,示例还提供命令行流程和可选的 Streamlit 界面。

  4. TechCrunch · AI38

    Marissa Mayer 推出照片驱动 AI 助手 Dazzle,从相机胶卷读懂你的生活

    前 Yahoo CEO Marissa Mayer 推出个人 AI 助手 Dazzle,去年 12 月完成 800 万美元种子轮融资,其上下文全部来自手机相机胶卷而非邮件和日历。Dazzle 可扫描近期照片完成建日程、找维修工等即时任务,也能基于照片库推荐度假地和生日礼物。Mayer 称 Dazzle 优先保护隐私,会丢弃 AI 标记为敏感的个人信息。

  5. The Decoder78

    AMD 以 82 亿美元收购世界模型初创公司 World Labs

    AMD 宣布以约 82 亿美元全股票交易收购专注空间智能的初创公司 World Labs,交易预计在 2026 年底前完成,尚待监管批准。World Labs 创始人李飞飞将加入 AMD 领导团队,出任执行副总裁兼首席科学家,直接向 CEO 苏姿丰汇报并负责前沿研究。

    推荐理由:交易价格与团队去向之外,原文还给出世界模型路线的技术主张和与 Nvidia 的生态对比。

9月29日周二
  1. Microsoft Research62

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由生物世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并优先排序数千种化合物,最高排名化合物在湿实验中产生了最大的经典态向基底态转变,从缩小搜索空间到选出候选验证只用了一个周末。

    推荐理由:微软研究院公开 Quine 的多模态生物世界模型与实验闭环,并给出胰腺癌化合物筛选的湿实验验证结果。

  2. Latent Space80

    AMD 以 82 亿美元收购 World Labs,Atlas 解决稀疏重建问题

    AMD 以 82 亿美元收购 World Labs,官方博文提到其自 2024 年成立以来构建了图像、视频与空间重建的模型训练团队,并通过收购 SceniX 推进机器人仿真能力。

    推荐理由:AMD 以 82 亿美元收购 World Labs,并披露 Atlas 在稀疏重建上的进展,可据此观察空间智能与机器人仿真的整合方向。

  3. Latent Space78

    AINews:Opus 5.5 擅长生成讲解视频

    Latent Space 的 AINews 汇总 9/24-9/25 动态,指出 Opus 5.5 本周发布后社区反馈积极,尤其在用代码生成讲解视频上表现突出。

    推荐理由:汇总一周模型与 Agent 基础设施动态,可快速了解 Opus 5.5 在代码生成视频上的社区反馈与各家新模型定位。

  4. 量子位82

    AMD 以 82 亿美元全股票收购李飞飞 World Labs,李飞飞将任首席科学家

    AMD 宣布以 82 亿美元全股票收购李飞飞的 World Labs,交易预计 2026 年底前完成,仍须取得监管批准。交割后李飞飞将加入 AMD 担任执行副总裁兼首席科学家,直接向苏姿丰汇报,联合创始人 Justin Johnson 和 Ben Mildenhall 继续带领团队并入 AMD。

    推荐理由:交易细节与双方一年半的合作脉络被完整梳理,读者可据此理解芯片厂商为何要买下空间智能团队。

  5. Microsoft Research20

    微软研究院亚洲新加坡分院成立一周年:推进前沿 AI 研究、合作与人才培养

    微软研究院亚洲新加坡分院(MSRA – Singapore)作为微软在东南亚的首个研究实验室,成立一年来围绕下一代 AI 模型与智能体系统、领域专用 AI、AI 原生研究实践、生态与人才培养四大方向推进工作。该实验室与新加坡医疗、金融、教育等领域伙伴合作,探索多模态医疗 AI 与自进化诊断智能体的落地应用。

9月26日周六
9月25日周五
  1. Google Research65

    Google 研究发布 AI 视频联合导演框架,实现连贯长视频生成

    Google Research 发布 AI video co-director 多智能体框架,作为 Gemini 和 Veo 之上的编排层,将长视频生成建模为全局优化与世界状态追踪问题,以缓解语义漂移和级联失败。

    推荐理由:Google 把长视频生成拆成四个可组合框架,并给出多套基准上的连续性提升数据,适合了解多智能体编排如何缓解语义漂移。

  2. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将实时视频生成与语音结合,为 Gemini 的对话模型带来近实时的视觉形象,具备精准唇形同步、自然表情和流畅的轮流对话能力。

    推荐理由:Gemini 3.8 Live 新增实时视频形象能力,读者可了解多模态对话在企业场景的落地形态与开放范围。

9月24日周四