Meta 将 Muse 助手带上眼镜与无摄像头 Ray-Ban
Meta 在周三发布了一款不带摄像头、仅靠语音交互的 Ray-Ban 眼镜，以及 Ray-Ban 新镜框和更便宜的 Meta 眼镜系列，并推出新款 VR 眼镜，明年春季上市、售价 1300 美元，重量为 Quest 3 的五分之一。
全部动态 · 今日9条
#多模态
信源抓到、进了内容池的全部内容，按时间排列；精选只是其中一部分。
Ars Technica · AI62 Latent Space67 Meta Connect 2026：Muse 智能体、语音视频与 Charm 硬件
Meta 在 Connect 2026 上把 Muse 个人智能体作为硬件加智能体战略的核心，发布语音与实时视频能力、多款眼镜硬件，并预告但未发布新的前沿模型。
腾讯混元 · X40 🚀 腾讯 HY 翻译正式上线。由 HY-MT2 驱动。支持 33 种语言、5 种中国少数民族语言和方言。语音、拍照翻译。全程离线——在设备端运行，无需网络。已在 12 个国家和地区上线。出行、驾车、工作或阅读时都能使用。准确、自然、随时可用。⏬ ⏬⏬ https://apps.apple.com/us/app/tencent-hy-translate/id6801428074
🚀 腾讯 HY 翻译正式上线。由 HY-MT2 驱动。 支持 33 种语言、5 种中国少数民族语言和方言。 语音、拍照翻译。全程离线——在设备端运行，无需网络。 已在 12 个国家和地区上线。 出行、驾车、工作或阅读时都能使用。准确、自然、随时可用。 ⏬ ⏬⏬ https://apps.apple.com/us/app/tencent-hy-translate/id6801428074
AI at Meta · X50 Meta 发布 Muse 实时虚拟形象技术
@finkd 刚刚揭晓了 Muse Realtime Avatar，这是我们能将 Muse Realtime Voice 转化为富有表现力、可交互虚拟形象的实时具身技术。 Muse Realtime Avatar 在 @Muse 中开启了全新的交互方式，首先是实时对话。 🧵👇 #MetaConnect
Google DeepMind精选71 Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款语音生成模型，前者面向角色设计与深度创作控制，后者面向高并发配音和语音智能体。
推荐理由：原文给出两款 TTS 模型的语音克隆、逐行导演能力与基准排名，可据此判断语音生成在配音和播客场景的可用度。
Qwen · X精选78 Qwen 发布 Qwen Intelligence，推出三个手机端 SOTA 智能体
Qwen 发布 Qwen Intelligence，首批上线三个 SOTA 智能体：Mobile Planner Agent 负责任务规划与拆解，在 MobilePA-Bench。
推荐理由：官方给出三个手机端智能体的基准成绩与开放入口，可据此判断端侧智能体当前的能力边界。
Qwen · X精选71 阿里发布 Qwen-Audio-3.1 音频模型系列，含 TTS-Next 与 ASR-Next
阿里发布 Qwen-Audio-3.1，ASR、TTS 与 Realtime 全面升级，并新增 TTS-Next 和 ASR-Next 两个模型，共五个模型覆盖音频理解、生成、交互与创作。
推荐理由：原文列出五个音频模型的能力分工与降价幅度，读者可据此判断语音栈的选型与成本变化。
NVIDIA Blog22 NVIDIA 与合作伙伴在新加坡 AI Day 展示东南亚 AI 进展
NVIDIA 在新加坡 AI Day 上联合合作伙伴展示东南亚 AI 落地进展，新加坡 HTX 正基于 Nemotron 3 Super 与 Nemotron 3 Nano Omni 研究公共安全 AI。
Alex Albert · X33 最近我一直在用 Opus 5.5 玩 Blender。它更强的 3D 建模能力和视觉能力意味着，你只需一个提示词就能构建整个世界。1906 年地震前的旧金山市场街，符合历史事实
最近我一直在用 Opus 5.5 玩 Blender。它更强的 3D 建模能力和视觉能力意味着，你只需一个提示词就能构建整个世界。 1906 年地震前的旧金山市场街，符合历史事实
Mike Krieger · X32 我一直难以想象《Dungeon Crawler Carl》中整个 Iron Tangle 关卡的样子，所以做了一个交互式作品；我想我终于弄明白了：https://claude.ai/artifact/NTcG664cCbibbZNUFnCSu9?sk=HtqECKbpVqi8-DDzHAkh-Q
我一直难以想象《Dungeon Crawler Carl》中整个 Iron Tangle 关卡的样子，所以做了一个交互式作品；我想我终于弄明白了：https://claude.ai/artifact/NTcG664cCbibbZNUFnCSu9?sk=HtqECKbpVqi8-DDzHAkh-Q
DeepSeek · X精选68 DeepSeek 发布 DeepSeek-V4.1-Flash 模型
DeepSeek 发布 DeepSeek-V4.1-Flash，称其更智能、更快、更高效。该模型是新架构家族中体量最小的一个，具备原生视觉理解能力，面向更强能力、更快推理、更高吞吐设计，并可扩展至更大模型。
推荐理由：DeepSeek 新架构家族的最小模型，原生视觉理解与推理吞吐提升，可据此判断其轻量多模态定位。
Sébastien Bubeck · X31 认识一下 Astra 的 TikZ 独角兽。我觉得令人难以置信的是，一个实体竟然能做到这一点，还能在 Frontier Math Tier 4、ARC-AGI 3 和 ExploitBench 上取得几乎 100% 的成绩。而且它并非藏在闭门之中，任何人都可以直接去和它交谈。其影响怎么强调都不为过。
认识一下 Astra 的 TikZ 独角兽。 我觉得令人难以置信的是，一个实体竟然能做到这一点，还能在 Frontier Math Tier 4、ARC-AGI 3 和 ExploitBench 上取得几乎 100% 的成绩。而且它并非藏在闭门之中，任何人都可以直接去和它交谈。其影响怎么强调都不为过。
Hugging Face Blog40 Hugging Face 发布 NeoMME：260M/800M 多模态多语言编码器
Hugging Face 推出 NeoMME 系列多模态多语言编码器，含 260M 和 800M 两个规模，用单个双向 Transformer 直接处理文本 token 与原始图像 patch，无需独立视觉塔或因果语言模型。
Google DeepMind精选74 Google DeepMind 为 Gemini 3.7 Flash 等模型推出智能体视频理解
Google DeepMind 推出智能体视频理解功能，覆盖 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite，视频分析 token 消耗最多降低 88%、成本最多降低 66%、准确率最多提升 7%。
推荐理由：原文给出 token 与成本降幅及可用入口，读者可据此判断长视频分析的成本结构变化。
Google DeepMind精选68 Google DeepMind 发布 Gemini Omni 1.1 Flash
Google DeepMind 发布 Gemini Omni 1.1 Flash，通过 Gemini API 在 Google AI Studio 提供面向开发者的生成视频控制能力。
推荐理由：原文列出场景延长、首尾帧插值与 4K 放大等具体能力，读者可据此判断生成视频工作流的可控性变化。
Google Research26 Google 推出 AgentHands：为 XR 智能体对话生成空间化手势
Google 发布研究原型 AgentHands（论文发表于 CHI 2026），可将 LLM 的推理输出映射为 XR 中与语音同步的手势，让智能体在用户真实空间中指点、演示物体与操作步骤。系统包含物体注册、手势事件库、手势嵌入推理和头显端同步执行四个模块，手势按左右手、空间锚定与 VFX 等维度分类。在 N=12 的对照研究中，AgentHands 相比纯语音基线在空间指代效果上有显著提升。
Jim Fan · X精选69 NVIDIA 与伯克利开源用于触觉机器人学习的 T-Rex 方法
Jim Fan 宣布推出 T-Rex，这是一种由 NVIDIA 与伯克利合作开发的开源触觉机器人学习方法。 其混合 Transformer 架构将一个运行较慢的视觉运动专家与一个运行较快的触觉专家相结合，每个视觉时刻对应 4 个触觉时刻；一套在具有 22 个自由度的触觉手部硬件上采集的 50 小时（约 5,500 个回合）同步机器人操作数据集，现已在 HuggingFace 上发布。 该方法扩展了 EgoScale，其训练方案将人类第一人称视频预训练与触觉机器人操作数据的中期训练相结合。Fan 表示，这有助于衔接无接触预训练与富接触操作。
推荐理由：T-Rex 通过结合人类视频预训练、同步触觉机器人数据，以及视觉和触觉各自独立的处理频率，为富接触机器人学习提供了一种可迁移的方法。
DeepSeek · X精选78 DeepSeek-V4-Flash-Vision-Exp 上线 DeepSeek API 平台
DeepSeek 在 API 平台上线实验性多模态模型 DeepSeek-V4-Flash-Vision-Exp，文本能力与 DeepSeek-V4-Flash 持平，涵盖智能体、推理和世界知识。
推荐理由：官方给出新模型与 V4-Flash 的文本能力对齐关系及多模态智能体基准上的提升幅度，可据此判断多模态 Agent 的可用水位。
Google Research58 Google Research 发布 PhotoScan：用手机照片估算体成分并预测胰岛素抵抗
Google Research 提出 PhotoScan，一个从普通 2D 手机照片估算体脂率、Android-to-Gynoid 脂肪比（A/G）和内脏与皮下脂肪面积比（V/S）的深度学习框架，在 UK Biobank 超 35,000 条记录上预训练、677 名成人队列上微调、132 人独立队列上验证。
Microsoft Research36 MindTopo 揭示多模态大模型的空间推理能力短板
Microsoft Research 推出 MindTopo 基准，用于评测多模态大语言模型的拓扑推理能力，覆盖连通性、分离、顺序、包围与绳结五类关系，并分为静态推理与交互规划两个层级。测试显示，当前模型在静态识别上明显强于交互规划，且两者均远低于人类水平，失败多出现在规划阶段而非感知阶段。图像与视频生成仅在单帧内保留拓扑关系时有用，跨多步操作时仍不可靠。
Google DeepMind精选71 Google DeepMind 发布 SL2T 手语转文本模型，率先落地 Pixel 11 的 Gboard 与 Live Transcribe
Google DeepMind 发布多语种手语转文本模型 SL2T，首次将手语 AI 带入消费级产品，在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语（ASL）转英文听写，后续将扩展更多设备与语言。
推荐理由：原文给出多语种手语到文本模型的能力边界与落地入口，读者可据此判断手语翻译在真实产品中的可用程度。
Google Research精选72 Google 研究团队将 AMIE 推进到专家级音视频临床问诊
Google Research 发布 AMIE (Video)，基于 Gemini 和 Project Astra 实现实时视频临床问诊，可感知非语言线索、引导虚拟体格检查并实时进行诊断推理。
推荐理由：AMIE 从纯文本扩展到实时视频问诊，读者可了解异步多智能体架构如何兼顾对话延迟与临床推理。
Microsoft Research36 微软研究院推出 CARE-X：面向临床可用的放射学 VLM，融合辅助监督、奖励对齐学习与工具增强测量
微软研究院发布研究模型 CARE-X，一个统一胸部 X 光视觉语言模型，可同时完成报告生成、结构化诊断预测与病灶定位等任务，并通过强化学习（DAPO）在多任务设定下奖励临床正确性。
Hugging Face Blog精选82 Meta 发布开源多模态模型 Muse Glimmer 30B，面向本地智能体场景
Meta 发布 Muse Glimmer，一个从 Muse 蒸馏到 30B 参数、采用 Apache 2.0 许可的多模态模型，主打本地智能体用例，如编码、文档分析和个人助手。
推荐理由：Meta 开源 30B 多模态模型，从架构、基准到本地部署与自优化演示都给出了可复现细节。
Mistral AI精选66 Mistral AI 发布 Shieldstral：3B 开源多模态安全分类器
Mistral AI 发布 Shieldstral，一个 3B 开源权重多模态安全分类器，以 Apache 2.0 许可开放下载，可在单张 16GB NVIDIA GPU 上运行。它把内容审核建模为策略自适应的问答任务，推理时用自然语言写入策略、无需重新训练，统一处理文本与图像，并输出校准后的连续安全分数。官方称其在文本安全上可匹配最多 7 倍参数量的模型，并在多模态审核上取得新的 SOTA。
推荐理由：3B 开源安全分类器把审核策略改成推理时的自然语言问题，读者可据此判断小模型在内容审核上的可行边界。
Andrej Karpathy · X50 Karpathy 用 Opus 5 把《魔戒》首段渲染成 3D 世界
Andrej Karpathy 给 Opus 5 输入《魔戒》第一段、1M token 预算（约 $10），让它用 Three.js 渲染故事，Opus 运行约 2 小时写出 5500 行代码，程序化生成了略显粗糙但可玩的 3D 场景。
Google DeepMind精选71 Google DeepMind 发布 Gemini Robotics ER 2 具身推理模型
Google DeepMind 发布 Gemini Robotics ER 2，定位为机器人的高层大脑，负责与人类对话、理解物理世界并规划多步任务，再把动作执行交给底层 VLA 模型，还可原生调用 Google Search 等工具。
推荐理由：官方给出 ER 2 在进度分类与时刻定位上的具体数字和开放入口，可据此判断机器人在长任务中的可用边界。
Google DeepMind精选80 Google DeepMind 发布 Gemini Robotics 2，带来机器人全身智能
Google DeepMind 发布 Gemini Robotics 2，包含三款模型：负责视觉语言到运动控制的 VLA 模型 Gemini Robotics 2、负责具身推理的 Gemini Robotics ER 2，以及可在设备本地运行的 Gemini Robotics On-Device 2。
推荐理由：原文给出三款模型的职责分工与开放入口，读者可据此判断机器人全身控制与多机协作的落地路径。
Google Research精选62 Google 发布 SymptomAI：面向日常症状评估的对话式 AI 智能体研究
Google Research 发布论文 SymptomAI，用五个基于 Gemini Flash 2.0 的对话式智能体对 13917 名参与者进行症状访谈与鉴别诊断（DDx）评估。
推荐理由：Google 用 13917 人的随机对照研究比较五种提问策略，并首次把诊断结果与 Fitbit 生理信号对照，可看对话式问诊的真实世界表现。
Google DeepMind精选78 Google DeepMind 发布 Gemini 3.6 Flash、3.5 Flash-Lite 与 3.5 Flash Cyber
Google DeepMind 发布 Gemini 3.6 Flash、3.5 Flash-Lite 和面向安全的 3.5 Flash Cyber 三款新模型。
推荐理由：原文给出三款 Flash 模型的 token 效率、价格与基准对比，可据此判断智能体工作流的成本变化。
Lilian Weng · X精选65 Inkling 是我们的开放权重模型
Inkling 是 Lilian Weng 所在组织的开放权重模型。 它旨在成为一个基础模型，在广泛的能力类别中表现扎实，便于实际使用和定制。 Weng 邀请用户在 Tinker 上试用。
推荐理由：此次发布将 Inkling 定位为可供实际定制的基础模型；提供完整权重和微调能力，也为其预期用途提供了具体背景。
Hugging Face Blog精选88 Thinking Machines 发布 Inkling 系列开源多模态模型
Thinking Machines Lab 在 Hugging Face 发布 Inkling 系列开源多模态模型，其中 Inkling 为约 1T 参数、41B 激活参数的 MoE 模型，原生支持图像、音频、文本输入和 1M 上下文，并推出 276B 总参数、12B 激活参数的 Inkling-Small。
推荐理由：原文给出 Inkling 的架构细节、部署配置与基准对比，读者可据此判断约 1T 参数开源多模态模型的落地门槛。
Google DeepMind精选78 Google DeepMind 发布 Nano Banana 2 Lite 与 Gemini Omni Flash
Google DeepMind 发布 Nano Banana 2 Lite 和 Gemini Omni Flash 两款模型，前者是 Nano Banana 系列中速度最快。
推荐理由：两款模型同时开放开发者入口，并给出延迟、单价与能力边界，便于判断图像到视频链路的成本与可用性。
Google Research32 Google 研究 AI 如何帮助用户理解皮肤问题
Google 公布其在皮肤科 AI 工具上的消费者理解研究：2345 名参与者中，使用 AI 工具者尝试命名皮肤状况的比例超 62%，准确率 23%，约为对照组 8% 的近三倍；"Wizard of Oz"组准确率达 36%。但 AI 组在判断下一步就医建议上未出现统计显著改善，且略更倾向于给出比皮肤科医生更不紧急的建议（30% vs 27%）。
Google DeepMind精选78 Google DeepMind 发布 Gemma 4 12B：统一的无编码器多模态模型
Google DeepMind 发布 Gemma 4 12B，一款面向笔记本电脑的智能体多模态模型，介于边缘端 E4B 与 26B MoE 之间，也是其首个支持原生音频输入的中等规模模型。
推荐理由：Gemma 4 12B 去掉多模态编码器并把视觉音频直接接入 LLM，读者可据此判断本地多模态智能体的硬件门槛。
Google Research精选67 Google 研究用手机摄像头实现被动心脏健康监测
Google Research 在 Nature 发表 PHRM 研究系统，利用手机前置摄像头在面部解锁后的数秒内拍摄视频，通过深度学习在后台估算心率和静息心率。
推荐理由：Google 用手机前摄在解锁后被动测心率，并公开迄今最大规模手机视频数据集与预训练模型。
Google DeepMind精选62 Google DeepMind 为 Project Genie 加入 Street View 真实场景能力
Google DeepMind 在实验性原型 Project Genie 中上线 Street View 场景锚定能力，可基于美国真实地点生成可交互世界，并可选 Ocean World、Desert Sands、Stone Age、B&W film 等风格。
推荐理由：原文给出了 Genie 与 Street View 结合后的能力边界和开放范围，读者可据此判断世界模型落地路径。
Google DeepMind精选85 Google DeepMind 发布 Gemini Omni Flash，支持多模态输入生成视频
Google DeepMind 发布 Omni 系列首个模型 Gemini Omni Flash，可组合图像、音频、视频和文本作为输入生成高质量视频，并支持用自然语言多轮对话编辑视频。
推荐理由：原文给出 Omni 系列首个模型的输入输出能力与上线渠道，读者可据此判断多模态视频生成的实际可用范围。
Google DeepMind精选67 Google 将 SynthID 与 C2PA 内容验证扩展到 Search、Gemini 和 Chrome
Google 宣布把内容透明度与验证工具扩展到 Search、Gemini、Chrome、Pixel 和 Cloud，其中 Gemini 应用已支持图像、视频和音频的 SynthID 验证，累计使用 5000 万次，该能力今日起进入 Search，未来几周进入 Chrome。
推荐理由：原文给出 SynthID 与 C2PA 验证在 Search、Gemini、Chrome 的落地范围，可据此判断内容溯源工具的实际可用性。
Google DeepMind精选88 Google DeepMind 发布 Gemini 3.5 Flash，主打智能体与编码
Google DeepMind 发布 Gemini 3.5 系列首个模型 Gemini 3.5 Flash，定位为面向智能体与编码的前沿模型，即日起在 Gemini app、Google Search 的 AI Mode、Google Antigravity、Gemini API 以及 Gemini Enterprise 等渠道开放。
推荐理由：Gemini 3.5 Flash 在编码与智能体基准上超过 3.1 Pro，并给出速度与成本对比，可据此判断长程任务的落地空间。