跳到正文
全部动态 · 今日9条

#部署/工程

信源抓到、进了内容池的全部内容,按时间排列;精选只是其中一部分。
8月11日周二
  1. Hugging Face Blog62

    NVIDIA 发布 Magpie TTS 多语言开源权重模型,新增阿拉伯语、韩语和巴西葡萄牙语

    NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数的开源权重语音合成模型,支持 12 种语言,本次新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升了多个既有语言的质量。

    推荐理由:原文给出 364M 开源 TTS 的多语言扩展与各 GPU 上的 TTFA 实测数据,可据此评估自建语音链路的延迟预算。

8月10日周一
8月6日周四
8月4日周二
  1. Microsoft Research72

    微软研究院开源 Orchard:面向可扩展智能体 AI 的开放框架

    微软研究院发布开源框架 Orchard,核心是 Kubernetes 环境服务 Orchard Env,可复用地支持软件工程、网页导航和个人助理等不同任务与智能体系统。

    推荐理由:微软研究院开源了可复用的智能体环境服务与三套训练配方,读者可据此了解小模型在真实部署框架内训练的做法。

7月30日周四
  1. Hugging Face Blog22

    GPU 管理:为什么闲置 GPU 正在成为新的停飞客机

    Hugging Face 博客指出,AI 的下一个真正约束是 GPU 利用率而非模型智能。GPU 成本按日历小时累积、产出却只按计算小时计,企业自购 GPU 后集群上线即面临"能否让它们保持忙碌"的新问题。文章以航空业利用率为类比,称即便满负荷的集群也可能浪费大部分潜力,因为 GPU 全天运行而需求并非如此。

7月29日周三
  1. Berkeley AI Research62

    从 CUDA 到 MLX:K-Search 如何把内核优化经验带到 Apple Silicon

    Berkeley AI Research 与 IBM Research 将演化式内核搜索框架 K-Search 扩展到 MLX,并加入结构化的 CUDA 到 MLX 翻译层,让已有 CUDA 内核经验自动适配 Apple Silicon。

    推荐理由:原文给出了 CUDA 到 MLX 的翻译层设计与两组内核实测数据,可看到跨平台内核知识迁移的具体做法。

7月27日周一
7月16日周四
7月10日周五
7月9日周四
  1. Mistral AI50

    Mistral Studio 为 Prompts 和 Skills 提供系统级记录管理

    Mistral Studio 现已面向客户提供 Prompts 和 Skills 的集中管理系统,每个资产都具备版本记录、明确归属和可追溯性。版本一经发布即不可更改,支持版本对比、回滚、分类标签和审计日志,并可通过 MCP server 直接调用。资产从仅创建者可见逐步晋升至工作区乃至全组织,数据始终保留在企业边界内。

7月8日周三
  1. Hugging Face Blog62

    Hugging Face 让 vLLM 的 transformers 建模后端达到原生速度

    Hugging Face 宣布 vLLM 的 transformers 建模后端在多个 LLM 架构上已追平甚至超过 vLLM 手写原生实现的吞吐。该后端通过 torch.fx 做静态图分析、用 ast 改写源码,在运行时动态融合推理专用算子,从而匹配自定义实现的速度。

    推荐理由:原文给出 transformers 后端在 vLLM 中追平原生实现的具体架构与开关,读者可据此判断迁移成本。

7月7日周二
  1. Hugging Face Blog62

    Microsoft Foundry 上线 Hugging Face 模型托管计算

    Microsoft 在 Build 2026 上宣布 Foundry Managed Compute 与 Hugging Face 模型集合,将 Hugging Face 生态的开源权重模型以每周刷新的策展目录形式引入 Foundry Model Catalog,可一键部署到托管 GPU 平台。

    推荐理由:原文给出模型上架、运行时自动升级与一键部署的完整链路,读者可据此判断开源模型进入企业生产环境的门槛变化。

  2. Hugging Face Blog71

    SkyPilot 与 Hugging Face 联合推出零出网费存储挂载

    SkyPilot 与 Hugging Face 联合发布 store: hf 存储后端,用一条 hf:// URL 和现有 HF_TOKEN 即可把 Hugging Face Bucket 或任意模型、数据集、Space 仓库挂载进 SkyPilot 任务,并在 20 多个云、Kubernetes、Slurm 和本地环境上运行。

    推荐理由:原文给出跨云挂载 Hub 数据的具体配置与免出网费机制,读者可据此判断多云训练与推理的存储成本变化。

7月6日周一
7月1日周三
6月27日周六
6月25日周四
6月24日周三
6月23日周二
6月13日周六
  1. Google Research36

    谷歌支持加州大学圣地亚哥分校用 2000 台退役 Pixel 手机搭建低碳计算平台

    加州大学圣地亚哥分校在谷歌支持下,正用 2000 台退役 Pixel 手机的主板搭建数据中心,为数百名师生提供低成本、低碳的云计算。SPEC 基准显示 25-50 台手机约等于一台现代服务器,手机被组织成 25-50 台的 Kubernetes 自管理集群。该系统预计 2026 年秋季上线。

6月11日周四
  1. Google DeepMind71

    Google DeepMind 发布 DiffusionGemma:文本生成最高提速 4 倍

    Google DeepMind 发布实验性开源模型 DiffusionGemma,采用文本扩散方式一次性并行生成整块文本,在专用 GPU 上文本生成最高提速 4 倍,单张 NVIDIA H100 上超过 1000 tokens/秒,RTX 5090 上超过 700 tokens/秒。

    推荐理由:Google DeepMind 开源文本扩散模型,给出速度与硬件门槛的具体数字,可据此判断本地交互式推理的可行性。

5月28日周四
  1. Mistral AI62

    Mistral AI 发布 Search Toolkit 公开预览版

    Mistral AI 发布 Search Toolkit 公开预览版,这是一个用于构建 AI 应用生产级搜索管道的可组合框架,开源并支持云端、本地和边缘部署。它把摄取、检索和评测整合到共享接口下,内置 BM25 稀疏检索、稠密向量检索和混合配置,并提供 recall、precision、MRR、NDCG 等评测指标。

    推荐理由:Mistral 把摄取、检索、评测放进同一框架,读者可据此判断 RAG 检索质量如何被单独衡量。

5月27日周三
  1. Mistral AI62

    Mistral 推出物理 AI,将 Emmi AI 并入企业平台

    Mistral 宣布将 Emmi AI 并入公司,推出面向工业工程的物理 AI 能力,作为其企业解决方案中的新基础能力。该能力从几何与边界条件直接预测物理场,单次前向推理在单张 GPU 上以秒级完成,用于设计迭代,传统求解器保留用于验证和边界情况。

    推荐理由:Mistral 把物理仿真模型并入企业平台,读者可据此判断工业设计流程的算力与迭代节奏会如何变化。

5月22日周五
  1. Mistral AI62

    Mistral 在 Studio 发布 Connectors,支持内置与自定义 MCP

    Mistral 在 Studio 发布 Connectors(公开预览),内置连接器和自定义 MCP 均可通过 API/SDK 用于所有模型与智能体调用。新增直接工具调用,让开发者自行决定工具何时被调用;同时支持 human-in-the-loop 审批流程,在工具执行前由应用确认。

    推荐理由:原文给出了连接器的注册、调用与人工审批代码路径,读者可据此判断企业级工具集成方式的变化。

5月8日周五
5月6日周三
  1. Google DeepMind80

    Google DeepMind 回顾 AlphaEvolve 一年进展:从数学发现到 TPU 与商业落地

    Google DeepMind 发布 AlphaEvolve 一年影响汇总,这款由 Gemini 驱动的编码智能体已从数学与计算机科学的开放问题探索,扩展为 Google 基础设施的核心组件。

    推荐理由:官方汇总 AlphaEvolve 一年落地案例,读者可据此判断算法智能体在科研与基础设施中的实际渗透程度。

4月27日周一
  1. Mistral AI71

    Mistral AI 发布 Workflows 公开预览版

    Mistral AI 发布企业 AI 编排层 Workflows 公开预览版,提供持久执行、可观测性和容错能力,用于把 AI 流程从概念验证推进到生产环境。ASML、ABANCA、CMA-CGM、France Travail、La Banque Postale、Moeve 等组织已用它自动化关键流程。

    推荐理由:原文给出 Workflows 的持久执行、可观测与人工审批能力,读者可据此判断企业级 AI 流程落地需要哪些编排条件。

4月22日周三
  1. Google DeepMind62

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,把大规模训练拆成异步通信的计算孤岛,降低带宽需求并隔离硬件故障。测试中该系统在整块 learner unit 掉线后仍能继续训练并重新接入,用 Gemma 4 模型达到与传统方法相同的 ML 性能。

    推荐理由:原文给出跨数据中心异步训练在带宽、容错和跨代硬件上的实测结果,可据此判断分布式预训练的工程取舍。

3月31日周二
3月25日周三
3月18日周三
  1. Mistral AI62

    Mistral AI 推出企业级模型训练系统 Forge

    Mistral AI 发布 Forge,一套让企业基于自有专有知识构建前沿级 AI 模型的系统,覆盖预训练、后训练和强化学习等阶段,支持 dense 与 MoE 架构及多模态输入。

    推荐理由:原文给出了企业用自有数据训练前沿模型的分阶段能力与已合作机构,可据此判断企业自建模型的门槛与路径。

1月22日周四
  1. Mistral AI34

    Heaps do lie:排查 vLLM 内存泄漏

    Mistral AI 团队在 vLLM 上排查一起内存泄漏:在 Mistral Medium 3.1、启用 graph compilation 的 Prefill/Decode 分离部署中,系统内存以每分钟 400 MB 线性增长,数小时后触发 out of memory。Heaptrack 显示堆内存稳定,泄漏发生在堆之外,最终定位到经 NIXL 与 UCX 的 KV Cache 传输环节。

12月17日周三
  1. Mistral AI65

    Mistral 发布 OCR 3,表单与手写场景胜率较上一代达 74%

    Mistral AI 发布 Mistral OCR 3,在表单、扫描文档、复杂表格和手写内容上相对 Mistral OCR 2 的整体胜率为 74%,并称在准确率上超过企业文档处理方案和 AI 原生 OCR 方案。

    推荐理由:官方给出与上一代在表单、手写和表格上的胜率对比,以及每千页定价,可据此判断文档解析成本与适用场景。

12月3日周三
  1. Mistral AI82

    Mistral 发布 Mistral 3 系列,含 675B 参数 Mistral Large 3 与 3B/8B/14B Ministral 3

    Mistral 发布 Mistral 3 系列,包括 3B、8B、14B 三个稠密小模型和采用稀疏 MoE 架构的 Mistral Large 3,后者为 41B 激活、675B 总参数,全部以 Apache 2.0 许可开源。

    推荐理由:Mistral 3 一次性放出从 3B 到 675B 的 Apache 2.0 权重,读者可据此判断开源模型在端侧与前沿两端的可选空间。