Google 发布 EmbeddingGemma 2,这是一款开放的多模态嵌入模型
Sundar Pichai 宣布推出 EmbeddingGemma 2,并将其称为 Google 首款开放的原生多模态嵌入模型。它采用模块化的 740M 参数规格,可处理文本、代码、图像、视频和音频任务;与 Gemma 4 搭配时,它适用于离线、隐私优先的 RAG。据称,它的表现优于一些参数量超过其两倍的专用模型。模型权重现已在 Hugging Face 上提供。

Sundar Pichai 宣布推出 EmbeddingGemma 2,并将其称为 Google 首款开放的原生多模态嵌入模型。它采用模块化的 740M 参数规格,可处理文本、代码、图像、视频和音频任务;与 Gemma 4 搭配时,它适用于离线、隐私优先的 RAG。据称,它的表现优于一些参数量超过其两倍的专用模型。模型权重现已在 Hugging Face 上提供。
法国 AI 实验室 Mistral AI 于周二发布 Mistral Large 4(ML4),这是一个 1 万亿参数的大型多模态模型,绰号 Le Chonk,目前仅通过带护栏的公开端点访问,计划在安全测试完成后三周内开放权重。
Mistral 发布迄今最大模型 Mistral Large 4,拥有 1 万亿参数、490 亿激活参数,已在 Mistral Studio 开放 API 预览,权重预计 10 月底发布。
Mistral 发布 Mistral Large 4 公开预览,这是一个 1 万亿参数、490 亿激活参数的 natively 多模态模型,权重将于本月底开放。
推荐理由:Mistral 官方给出 1 万亿参数多模态模型的开放权重时间表与自建欧洲算力背景,可对照其与主流开源模型的定位差异。
Mistral AI 发布 Mistral Large 4(代号 Le Chonk),1T 参数、原生多模态、49B 激活,官方称其是欧美聚合基准上最好的开放权重模型。该模型在网络防御、制造和金融等关键负载上达到 SOTA,并在视觉 grounding 上超过闭源前沿模型;端到端在欧洲打造,可通过 Mistral Cloud 从欧洲部署,今日起 API 可用,开放权重版本将于 10 月底发布。
推荐理由:Mistral 官方给出 1T 参数、49B 激活的开放权重模型规格与欧洲本地部署路径,可据此判断开放权重阵营的规模与可用性。
Reka AI 发布 19B 参数全能模型 Rho-1 的研究预览版,可在单一神经网络中处理并生成文本、图像、视频和机器人控制动作。与多数把任务分派给专用模型的系统不同,Rho-1 把所有模态作为 token 放进同一个共享上下文窗口,不调用工具或外部模型,能实时生成连续视频并即时响应新指令而无需重启,预测摄像头图像的同一套权重也用于驱动机器人动作。
NVIDIA Inception 计划中的初创企业正在开发 AI 应用,以支持乳腺癌护理,涵盖影像检查、风险评估和治疗规划。iSono Health 获 FDA 许可的 ATUSA 系统可在每侧乳房约两分钟内采集 3D 乳腺超声图像;该公司称,其灵敏度比手持式 2D 超声高 28%。Ataraxis AI 利用数字病理切片和临床变量预测治疗反应和复发风险。
AI 3D 生成公司 Meshy 披露其 ARR 从 100 万美元增长至 1 亿美元,用时不到两年,比 HeyGen 从 100 万美元到 1 亿美元所用的 29 个月更快。
研究团队提出 Image-to-Code 方法,让编码智能体从单张照片迭代编写可执行的 Blender 程序,输出可运行、可修改的场景代码,并配套发布 LEGO-Bench 基准。
.@Cloudflare 的决策模型现已在 Ollama 上提供! 决策模型可用于对图像进行分类、为错误报告添加标签,或将支持工单转给合适的团队。 Clef (27B): ollama pull clef Clef Flash (9B): ollama pull clef-flash
Andrej Karpathy 分享让大语言模型帮助理解其输出的几种做法:要求用 ASD-STE100 受控语言规范写作,或放宽到 80% 的程度;要求生成图表;要求以 HTML 输出交互式网页;以及生成定制讲解视频,例如用 ElevenLabs API key 配音的 3b1b 风格视频。他认为随着模型变强,更多工作会上升到监督与理解层面,而模型也能生成此前不值得制作的大型定制软件产物。
Tavus 推出 Griffin,公司称其为首个 Human Interaction Model(HIM),可在实时视频通话中同时接收和生成语音、面部表情、语调、手势与停顿。
当 AI 生成内容变得如此逼真,我们如何验证哪些是人、机器或自然创造的? 我们在播客中探讨溯源的关键作用——以及不可感知的水印如何同时保护数字媒体和生物设计。↓ 时间轴: 00:00 介绍 00:34 什么是水印? 04:35 SynthID 15:16 图像与视频 19:28 SynthID Bio 28:00 韧性的未来
何恺明团队提出NAT-ARC,一套不依赖LLM的纯视觉ARC解题方案,用ImageNet上的MAE预训练encoder再迁移到抽象格子推理。表现最好的单模型为0.6B参数量,在ARC-1上取得63.4% pass@2,集成后达70.2%,约为专用LLM方案The ARChitects(8B模型、71.6%)四分之一的参数量。
OpenAI 在年度 DevDay 大会上发布由 GPT-6 Astra 驱动的智能体 Dots,定位为可委派 QA、网站设计、行程规划等工作的专业助手,目前仅面向每月 20 美元的 Pro 及以上订阅用户开放。
Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,随后逐步扩展到开发者、企业和消费者,起价为每百万输入 token 2 美元、每百万输出 token 10 美元。
推荐理由:Gemini 4 Argon 把输出上限提到 1M token 并给出多项基准与内部落地数据,可据此判断长程工作流的能力边界。
百度文库和网盘联合推出的GenFlow 1.0已官宣中文名“库库AI”并上线独立端,以通用AI Agent形态切入写论文、做PPT、生成行业报告等任务场景。库库AI企业版刚推出已有3000家企业试用,中小企业推广更快;海外版由Oreate AI焕新为「Kooko」,一年内海外用户突破1000万。
量子位对话节目邀请西门子Xcelerator中国销售与生态成功负责人顾欣与阿丘科技创始人兼CEO黄耀,复盘工业AI从落地到规模化的链路。黄耀以半导体晶圆切割为例,称导入智能体技术后设备OEE和产能可提升25%左右;顾欣认为工业AI必须具备工业级可靠性,西门子Xcelerator希望做好连接器与放大器,补齐从1到100的交付与生态拼图。
OpenAI 于北京时间 9 月 4 日凌晨发布新一代旗舰模型 GPT-6 Astra,雷锋网汇总了首批拿到模型用户的实测案例。
推荐理由:汇总首批用户实测,呈现 GPT-6 Astra 在长任务中能自我检查却仍需人把关的能力边界。
爱诗科技 PixVerse R2 已全量上线,用户可在网页端体验动作指令与互动影游交互。R2 把模型容量、数据、任务、控制信号和时间尺度五类增长纳入同一框架,拆成 Omni Causal AR 能力层与 Real-Time Acceleration 加速层分别推进。
用三张圆明园鼠首照片和一段自然语言指令,GPT-6 Astra 在 Codex 中调度 Aholo Lux3D 生成 3D 资产,再由 Blender 检查、调材质、加展台并渲染导出。
雷锋网用三组原创图生视频任务对比 HiDream-O1-Video-1.0、Seedance 2.5 和 MiniMax H3,考察意图规划、时间因果与音画对应。
实测显示,Seedance 2.5 画面包装与角色稳定性更强,但在《赴山海》参考图剧情改写中先以"参考图可能涉及公众人物肖像"拦截,移除参考图后又因"受版权保护元素"停止生成;可灵 VIDEO 3.0 则生成了完整的 15 秒反转结局短片。
NVIDIA Research 科学家李柏依在 ECCV 2026 Workshop 上分享 MultiGen 与 DexImit 两项工作:MultiGen 用扩散模型为物理模拟器生成的视频补上同步音频。
得克萨斯大学奥斯汀分校教授 Kristen Grauman 在 ECCV 2026 首场 Keynote 提出,视觉 AI 应从 understanding 走向 enabling,成为帮人学会现实世界技能的 AI Guide。
ECCV 2026 共收到 10473 篇投稿、接收 2834 篇,3D 主题从主导方向退居第三,但三维表示、几何与物理一致性等问题正向视频生成、具身智能和世界模型扩散。93 场 Workshop 中约 10 场与 3D 直接相关、11 场涉及空间智能、9 场指向物理 AI、5 场以世界模型为主题,最佳论文与荣誉提名也集中在三维表面表示、物体重建和几何感知上。
AWS 发布教程,演示在 SageMaker AI 上部署同一个 vLLM-Omni DLC 镜像的两个端点:实时端点跑 FLUX.2-klein-4B 生成图像,异步端点跑 Wan2.1-VACE-1.3B 做图像条件视频生成。文本提示词先生成 PNG,再连同运动提示词经 Amazon S3 送入视频端点,生成的 MP4 从 S3 取回,示例还提供命令行流程和可选的 Streamlit 界面。
前 Yahoo CEO Marissa Mayer 推出个人 AI 助手 Dazzle,去年 12 月完成 800 万美元种子轮融资,其上下文全部来自手机相机胶卷而非邮件和日历。Dazzle 可扫描近期照片完成建日程、找维修工等即时任务,也能基于照片库推荐度假地和生日礼物。Mayer 称 Dazzle 优先保护隐私,会丢弃 AI 标记为敏感的个人信息。
AMD 宣布以约 82 亿美元全股票交易收购专注空间智能的初创公司 World Labs,交易预计在 2026 年底前完成,尚待监管批准。World Labs 创始人李飞飞将加入 AMD 领导团队,出任执行副总裁兼首席科学家,直接向 CEO 苏姿丰汇报并负责前沿研究。
推荐理由:交易价格与团队去向之外,原文还给出世界模型路线的技术主张和与 Nvidia 的生态对比。
Condé Nast 与 AWS 生成式 AI 创新中心(GenAIIC)基于 Amazon Bedrock 和 Amazon OpenSearch Service 构建多模态视频检索方案,采用 TwelveLabs Marengo 嵌入模型联合编码画面、音频与转录文本,将单次内容检索耗时从 250 分钟降至 2 分钟以内。
微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由生物世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并优先排序数千种化合物,最高排名化合物在湿实验中产生了最大的经典态向基底态转变,从缩小搜索空间到选出候选验证只用了一个周末。
推荐理由:微软研究院公开 Quine 的多模态生物世界模型与实验闭环,并给出胰腺癌化合物筛选的湿实验验证结果。
AMD 以 82 亿美元收购 World Labs,官方博文提到其自 2024 年成立以来构建了图像、视频与空间重建的模型训练团队,并通过收购 SceniX 推进机器人仿真能力。
推荐理由:AMD 以 82 亿美元收购 World Labs,并披露 Atlas 在稀疏重建上的进展,可据此观察空间智能与机器人仿真的整合方向。
Latent Space 的 AINews 汇总 9/24-9/25 动态,指出 Opus 5.5 本周发布后社区反馈积极,尤其在用代码生成讲解视频上表现突出。
推荐理由:汇总一周模型与 Agent 基础设施动态,可快速了解 Opus 5.5 在代码生成视频上的社区反馈与各家新模型定位。
AMD 宣布以 82 亿美元全股票收购李飞飞的 World Labs,交易预计 2026 年底前完成,仍须取得监管批准。交割后李飞飞将加入 AMD 担任执行副总裁兼首席科学家,直接向苏姿丰汇报,联合创始人 Justin Johnson 和 Ben Mildenhall 继续带领团队并入 AMD。
推荐理由:交易细节与双方一年半的合作脉络被完整梳理,读者可据此理解芯片厂商为何要买下空间智能团队。
微软研究院亚洲新加坡分院(MSRA – Singapore)作为微软在东南亚的首个研究实验室,成立一年来围绕下一代 AI 模型与智能体系统、领域专用 AI、AI 原生研究实践、生态与人才培养四大方向推进工作。该实验室与新加坡医疗、金融、教育等领域伙伴合作,探索多模态医疗 AI 与自进化诊断智能体的落地应用。
在 Amazon SageMaker HyperPod 上,用开源 RL 框架 SkyRL 对 Qwen3-VL-8B 视觉语言模型做 GRPO 后训练,在固定 64 个迷宫评测集上把解迷宫成功率从 43.75% 提升到 95% 以上。
Runway 推出 GWM Worlds 2 研究预览,把高保真视频与音频生成变成实时交互式模拟,并引入 WorldPrompt 这一输入格式,可固定环境部分要素(含首帧)并生成带时间戳的事件,事件还能实时提示。
Google Research 发布 AI video co-director 多智能体框架,作为 Gemini 和 Veo 之上的编排层,将长视频生成建模为全局优化与世界状态追踪问题,以缓解语义漂移和级联失败。
推荐理由:Google 把长视频生成拆成四个可组合框架,并给出多套基准上的连续性提升数据,适合了解多智能体编排如何缓解语义漂移。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将实时视频生成与语音结合,为 Gemini 的对话模型带来近实时的视觉形象,具备精准唇形同步、自然表情和流畅的轮流对话能力。
推荐理由:Gemini 3.8 Live 新增实时视频形象能力,读者可了解多模态对话在企业场景的落地形态与开放范围。
Liquid AI 为视觉语言模型 LFM2.5-VL-3B 发布实验性 DSpark 草稿模型,通过投机解码在不改变输出质量的前提下提速,设备端解码最高 3.13x、H100 上 2.66x,端到端最高 2.62x 和 2.27x。