跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

87 条精选近 30 天 47条共收录 371条

更新

精选归档 · 第 3 页

9月30日周三
  1. AWS Machine Learning Blog66

    GPT-6.1 Sol 在 Amazon Bedrock 正式可用

    GPT-6.1 Sol 现已在 Amazon Bedrock 正式可用,面向智能体编码、计算机操作和专业工作负载提供更强的推理能力。据 OpenAI 称,它在 DeepSWE v1.1 上达到 GPT-6 Astra 的水平,每任务成本约为后者的五分之一,并比 GPT-6 Sol 的最佳成绩高出 6.4 个百分点。

    推荐理由:原文给出 GPT-6.1 Sol 在 Bedrock 上的可用范围与成本对比,读者可据此判断智能体编码任务的性价比。

  2. The Decoder80

    OpenAI 在 DevDay 扩展 Codex 与 API,新增安全扫描、Decisions API 和 Ultrafast

    OpenAI 在旧金山 DevDay 2026 开发者大会上宣布扩展 Codex 与 API:Codex 新增可复用的云端开发环境和 Codex Security Cloud 仓库漏洞扫描,ChatGPT 桌面端加入代码审查视图,Codex CLI 重做并支持语音启动与操控任务。

    推荐理由:梳理了 Codex 与 API 在安全扫描、决策模型和速度档位上的多项更新,可据此判断开发者工作流与成本的变化。

9月28日周一
  1. Hugging Face Blog74

    H 公司发布 Holo4 系列智能体模型,含 27B 稠密与 35B-A3B MoE 两个版本

    H 公司发布 Holo4 系列智能体模型,包含 27B 稠密版和 35B-A3B MoE 版,两者均已上线 H Models API,权重以 BF16、FP8、NVFP4 和 4-bit GGUF 格式开源在 Hugging Face。

    推荐理由:Holo4 同时开源权重与全部评测轨迹,读者可据此判断通用计算机操作智能体的成本与能力边界。

9月24日周四
  1. Microsoft Research62

    微软研究院:把物理 AI 推理卸载出机器人可提升任务表现与续航

    微软研究院对移动机器人操作负载做了系统测量,发现把物理 AI 推理从机载 GPU 卸载到边缘或云端 GPU 可提升任务表现并延长续航。

    推荐理由:微软研究院对机器人推理负载做了系统测量,给出把推理从机载 GPU 卸载到边缘或云端的性能与续航数据。

9月22日周二
  1. Latent Space76

    TypeSafe AI 创始人 Diogo Almeida 谈 Jev 与 RLCD:为软件而非聊天造 System 1 模型

    TypeSafe AI 创始人 Diogo Almeida 在 Latent Space 访谈中介绍新模型 Jev,称其为面向代码消费的 System 1 模型,按每美元智能而非聊天体验优化,核心创新是未发表的 RLCD(Reinforcement Learning for Calibrated Decisions),用校准概率替代人类评分反馈。

    推荐理由:Diogo Almeida 复盘 RLHF 到 RLCD 的路线分歧,并解释为何把可靠性而非基准分数当作模型目标。

9月17日周四
  1. GitHub Blog · AI & ML78

    GitHub 用 Copilot 把 Copilot 运行时迁移到 Rust

    GitHub 用 GitHub Copilot app 和 Copilot CLI 把 Copilot agent runtime 从 TypeScript 完全重写为超过 80 万行生产级 Rust,代码主要由 AI 智能体编写,分布在 128 个 PR 中增量合入 main,而非一次性切换。

    推荐理由:作者以亲历者身份复盘 80 万行 Rust 重写,给出可迁移的智能体编排与评审方法。

9月16日周三
  1. NVIDIA Blog62

    NVIDIA Vera Rubin NVL72 首次亮相 MLPerf Inference v6.1 并取得领先性能

    NVIDIA 在 MLPerf Inference v6.1 中首次提交 Vera Rubin NVL72 预览结果,在 Qwen3-VL 上吞吐最高达 GB300 NVL72 的 3.7 倍,在 DeepSeek-R1 上最高达 2.5 倍。

    推荐理由:MLPerf Inference v6.1 结果给出 Vera Rubin NVL72 与 GB300 NVL72 的吞吐、扩展效率和软件优化幅度,可用于判断推理基础设施的性价比走向。

  2. NVIDIA Blog62

    NVIDIA 详解 DSX 平台:MaxLPS 让同等电力预算多出 24% token 吞吐

    NVIDIA 在 AI Infra Summit 上介绍其 DSX 平台,其中 DSX MaxLPS 在 Lambda 的五机架 19 节点 HGX B200 集群上验证,在相同电力预算下集群 token 吞吐提升 24%,从约每秒 400 万 token 升至 500 万,每瓦性能提升 23%。

    推荐理由:原文给出 DSX MaxLPS 在 Lambda 集群上的实测数字,读者可据此判断固定电力预算下的吞吐提升空间。

9月5日周六
9月1日周二
  1. Hugging Face Blog62

    Hugging Face 发布 @huggingface/kernels:207 个 WebGPU kernel 与 Fleet 基准工具

    Hugging Face 发布 @huggingface/kernels,一个从 Hub 加载并运行优化 WebGPU kernel 的 JavaScript 库,同时上线 207 个 kernel 的初始集合,均以 Apache-2.0 许可、独立仓库形式发布,包含 manifest、正确性用例、基准用例和 WGSL 着色器模板。

    推荐理由:Hugging Face 把 207 个 WebGPU kernel 连同契约、测试和基准一起发布,读者可据此判断浏览器端推理的底层可复用程度。

8月25日周二
  1. Hugging Face Blog62

    Hugging Face 在 Gradio 中推出 gr.Workflow,把 AI 流水线做成可拖拽画布

    Hugging Face 在 Gradio 中推出 gr.Workflow,把多步 AI 流水线描述为由引用、算子、主体三类节点组成的图,Gradio 直接提供可拖拽画布,每个节点可运行、每个中间结果可见。

    推荐理由:原文给出 gr.Workflow 的节点类型、REST 端点与部署路径,读者可据此判断多步 AI 流水线如何落地。

8月20日周四
  1. Mistral AI71

    Mistral 发布 Agentic Search,检索准确率最高提升约 3 倍

    Mistral 发布 Agentic Search,一种面向企业复杂文档的多步检索层,通过 search、open、navigate、read、grep 五个工具让模型在回答前检查、导航并核实来源。

    推荐理由:原文给出多步检索循环在 FinanceBench 与 OfficeQA Pro 上的准确率、token 与延迟变化,可据此判断传统 RAG 的替代路径。

8月14日周五
  1. Hugging Face Blog62

    用 Strands Agents、LeRobot 和 Hugging Face Storage Buckets 完成录制、训练与部署闭环

    Hugging Face 博客给出 Strands Robots 的流式数据闭环教程:同一个 Robot() 录制 LeRobotDataset 并同步进 Storage Bucket,再通过 stream_dataset() 直接从 Hub 流式读取训练,无需先下载整个数据集,训练好的 checkpoint 只需把 mode 改为 real 即可部署回硬件。

    推荐理由:以 Strands Robots 为例拆解机器人数据闭环,读者可据此理解录制、流式训练与部署如何共用一套 LeRobot 格式。

8月11日周二
  1. Mistral AI62

    Mistral 推出区域推理端点与 Priority Tier,并接入 GLM-5.2 等第三方开源模型

    Mistral 宣布三项推进 AI 主权的举措:Mistral Regional Endpoints 正式可用,客户可选择推理在欧洲或美国运行;Mistral Priority Tier 进入公开预览,为关键业务负载提供自定义速率限制和带 SLA 的正常运行时间承诺。

    推荐理由:Mistral 把区域推理端点、优先级服务层与第三方开源模型接入放在同一套基础设施上,读者可据此判断主权 AI 的落地形态。

  2. Hugging Face Blog62

    NVIDIA 发布 Magpie TTS 多语言开源权重模型,新增阿拉伯语、韩语和巴西葡萄牙语

    NVIDIA 发布 Magpie TTS Multilingual,一个 364M 参数的开源权重语音合成模型,支持 12 种语言,本次新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并通过更新训练数据提升了多个既有语言的质量。

    推荐理由:原文给出 364M 开源 TTS 的多语言扩展与各 GPU 上的 TTFA 实测数据,可据此评估自建语音链路的延迟预算。

8月4日周二
  1. Microsoft Research72

    微软研究院开源 Orchard:面向可扩展智能体 AI 的开放框架

    微软研究院发布开源框架 Orchard,核心是 Kubernetes 环境服务 Orchard Env,可复用地支持软件工程、网页导航和个人助理等不同任务与智能体系统。

    推荐理由:微软研究院开源了可复用的智能体环境服务与三套训练配方,读者可据此了解小模型在真实部署框架内训练的做法。

7月29日周三
  1. Berkeley AI Research62

    从 CUDA 到 MLX:K-Search 如何把内核优化经验带到 Apple Silicon

    Berkeley AI Research 与 IBM Research 将演化式内核搜索框架 K-Search 扩展到 MLX,并加入结构化的 CUDA 到 MLX 翻译层,让已有 CUDA 内核经验自动适配 Apple Silicon。

    推荐理由:原文给出了 CUDA 到 MLX 的翻译层设计与两组内核实测数据,可看到跨平台内核知识迁移的具体做法。