Hugging Face 让 vLLM 的 transformers 建模后端达到原生速度
Hugging Face 宣布 vLLM 的 transformers 建模后端在多个 LLM 架构上已追平甚至超过 vLLM 手写原生实现的吞吐。该后端通过 torch.fx 做静态图分析、用 ast 改写源码,在运行时动态融合推理专用算子,从而匹配自定义实现的速度。
推荐理由:原文给出 transformers 后端在 vLLM 中追平原生实现的具体架构与开关,读者可据此判断迁移成本。

115 条精选近 30 天 59条共收录 506条
更新Hugging Face 宣布 vLLM 的 transformers 建模后端在多个 LLM 架构上已追平甚至超过 vLLM 手写原生实现的吞吐。该后端通过 torch.fx 做静态图分析、用 ast 改写源码,在运行时动态融合推理专用算子,从而匹配自定义实现的速度。
推荐理由:原文给出 transformers 后端在 vLLM 中追平原生实现的具体架构与开关,读者可据此判断迁移成本。
Microsoft 在 Build 2026 上宣布 Foundry Managed Compute 与 Hugging Face 模型集合,将 Hugging Face 生态的开源权重模型以每周刷新的策展目录形式引入 Foundry Model Catalog,可一键部署到托管 GPU 平台。
推荐理由:原文给出模型上架、运行时自动升级与一键部署的完整链路,读者可据此判断开源模型进入企业生产环境的门槛变化。
SkyPilot 与 Hugging Face 联合发布 store: hf 存储后端,用一条 hf:// URL 和现有 HF_TOKEN 即可把 Hugging Face Bucket 或任意模型、数据集、Space 仓库挂载进 SkyPilot 任务,并在 20 多个云、Kubernetes、Slurm 和本地环境上运行。
推荐理由:原文给出跨云挂载 Hub 数据的具体配置与免出网费机制,读者可据此判断多云训练与推理的存储成本变化。
Hugging Face 发布 LeRobot v0.6.0,围绕机器人学习闭环引入世界模型策略(VLA-JEPA、FastWAM、LingBot-VA)、新一批 VLA(GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT)以及统一奖励模型 API(Robometer、TOPReward)。
推荐理由:原文把世界模型策略、奖励模型 API 与六个仿真基准整合进同一套 CLI,读者可据此判断机器人学习闭环的工程化程度。
Hugging Face 与 Cerebras 演示了一套实时语音到语音管线,用 Cerebras 加速 Gemma 4 31B 的推理,把语音交互延迟压到更接近自然对话。
推荐理由:原文给出了一条可替换的实时语音到语音开源管线,读者可据此判断低延迟语音交互的工程组合方式。
Google DeepMind 将 computer use 作为内置工具集成进 Gemini 3.5 Flash,此前该能力仅以独立的 Gemini 2.5 computer use 模型提供。
推荐理由:原文给出 computer use 从独立模型并入 Gemini 3.5 Flash 的路径,读者可据此判断智能体跨平台自动化的接入方式。
Google 在 Gemini Enterprise Agent Platform 上推出由 Agentic RAG 驱动的 Cross-Corpus Retrieval 公开预览版。
推荐理由:原文给出多智能体 RAG 的完整流程与跨语料评测数据,读者可据此判断复杂多跳查询的检索方案。
Mistral 在 AI Now Summit 2026 上发布面向工业工程的 AI 栈,与 Airbus、BMW、ASML 合作优化设计、仿真与生产,同时保持对专有数据和 IP 的控制。
推荐理由:Mistral 一次性给出工业 AI 栈、Vibe 智能体和自建推理数据中心三条线,可看清其企业级全栈布局。
Mistral 将 Le Chat 升级为统一 AI 智能体 Vibe,一个许可覆盖工作与编码,原有对话、设置和套餐均保留。
推荐理由:Mistral 把 Le Chat 升级为统一智能体 Vibe,读者可据此判断工作与编码两类长任务如何被同一产品承接。
Mistral AI 发布 Search Toolkit 公开预览版,这是一个用于构建 AI 应用生产级搜索管道的可组合框架,开源并支持云端、本地和边缘部署。它把摄取、检索和评测整合到共享接口下,内置 BM25 稀疏检索、稠密向量检索和混合配置,并提供 recall、precision、MRR、NDCG 等评测指标。
推荐理由:Mistral 把摄取、检索、评测放进同一框架,读者可据此判断 RAG 检索质量如何被单独衡量。
Mistral 宣布将 Emmi AI 并入公司,推出面向工业工程的物理 AI 能力,作为其企业解决方案中的新基础能力。该能力从几何与边界条件直接预测物理场,单次前向推理在单张 GPU 上以秒级完成,用于设计迭代,传统求解器保留用于验证和边界情况。
推荐理由:Mistral 把物理仿真模型并入企业平台,读者可据此判断工业设计流程的算力与迭代节奏会如何变化。
Mistral 在 Studio 发布 Connectors(公开预览),内置连接器和自定义 MCP 均可通过 API/SDK 用于所有模型与智能体调用。新增直接工具调用,让开发者自行决定工具何时被调用;同时支持 human-in-the-loop 审批流程,在工具执行前由应用确认。
推荐理由:原文给出了连接器的注册、调用与人工审批代码路径,读者可据此判断企业级工具集成方式的变化。
Google 宣布把基于 Gemini 的科学代码工具 Empirical Research Assistance(ERA)开放给科学家使用,相关成果已发表在 Nature。
推荐理由:Google 把 ERA 从 Nature 论文推进到可申请使用的工具,读者可据此判断 AI 写科学代码的落地边界。
Google DeepMind 在实验性原型 Project Genie 中上线 Street View 场景锚定能力,可基于美国真实地点生成可交互世界,并可选 Ocean World、Desert Sands、Stone Age、B&W film 等风格。
推荐理由:原文给出了 Genie 与 Street View 结合后的能力边界和开放范围,读者可据此判断世界模型落地路径。
Google DeepMind 发布 Gemini for Science,包含 Google Labs 上三个实验性工具:基于 Co-Scientist 的 Hypothesis Generation。
推荐理由:原文给出三类科研智能体原型与 Science Skills 的开放入口,读者可据此判断科研工作流会怎样被拆分和加速。
Google 宣布把内容透明度与验证工具扩展到 Search、Gemini、Chrome、Pixel 和 Cloud,其中 Gemini 应用已支持图像、视频和音频的 SynthID 验证,累计使用 5000 万次,该能力今日起进入 Search,未来几周进入 Chrome。
推荐理由:原文给出 SynthID 与 C2PA 验证在 Search、Gemini、Chrome 的落地范围,可据此判断内容溯源工具的实际可用性。
Google DeepMind 发布 AlphaEvolve 一年影响汇总,这款由 Gemini 驱动的编码智能体已从数学与计算机科学的开放问题探索,扩展为 Google 基础设施的核心组件。
推荐理由:官方汇总 AlphaEvolve 一年落地案例,读者可据此判断算法智能体在科研与基础设施中的实际渗透程度。
Mistral AI 发布企业 AI 编排层 Workflows 公开预览版,提供持久执行、可观测性和容错能力,用于把 AI 流程从概念验证推进到生产环境。ASML、ABANCA、CMA-CGM、France Travail、La Banque Postale、Moeve 等组织已用它自动化关键流程。
推荐理由:原文给出 Workflows 的持久执行、可观测与人工审批能力,读者可据此判断企业级 AI 流程落地需要哪些编排条件。
Google Research 宣布在 Google Photos 的 Auto frame 功能中上线一种拍照后调整视角的方法,把照片理解为 3D 场景并自动改变虚拟相机位置与焦距。该方法分两步:先用内部 3D 点图估计模型重建人体与面部并估算原相机焦距,再用生成式潜在扩散模型补全新视角下露出的空白区域。该功能已面向含人物的照片自动提供第二个重构版本,可修正广角自拍的透视畸变。
推荐理由:Google Photos 把 3D 场景估计与生成式补全结合,读者可了解拍照后调整视角这一新编辑范式的实现路径。
Google DeepMind 公布 AI 指针的四条交互原则,并展示由 Gemini 驱动的实验性指针演示,用户可在 Google AI Studio 中通过指向和语音编辑图片或查找地图地点。
推荐理由:Google DeepMind 把指针交互拆成四条原则,并给出 Chrome 与 Googlebook 的落地入口,可据此判断 AI 交互从提示词转向指向与语音的路径。