跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

87 条精选近 30 天 47条共收录 371条

更新

精选归档 · 第 2 页

10月13日周二
  1. AWS Machine Learning Blog67

    使用 Amazon Bedrock 全球跨区域推理访问 OpenAI GPT-6 模型指南

    AWS 说明了如何从泰国、马来西亚、新加坡、印度尼西亚和台湾通过 Amazon Bedrock 全球跨区域推理调用 OpenAI GPT-6 Sol 和 GPT-6 Luna,以及如何从新加坡调用 GPT-6 Astra。本指南涵盖 Converse、兼容 OpenAI 的 API、编码客户端、IAM 权限、SCP 例外、配额和监控。计费和配额跟踪仍在源区域进行,而请求则在受支持的目标区域运行;每个输出 token 消耗 10 个配额 token。

    推荐理由:本指南介绍了一种可迁移的方法,用于配置跨区域推理权限:将 SCP 例外限定于推理配置文件,同时保留对其他服务的区域控制。

  2. Perplexity · X67

    Perplexity 如何为智能体构建 Projects 文件系统,将其打造为 Git 锻造平台

    以下介绍 Perplexity 如何构建 Perplexity Projects 背后的文件系统,将其打造为智能体的 Git 锻造平台。 每个智能体都在自己的沙盒中工作,并将更改提交到共享代码仓库,方便人们和其他智能体在不同会话中接着开展工作。 阅读更多:https://t.co/jcrTptb2IW https://t.co/dXnhroO4mg

    推荐理由:这个共享代码仓库具体展示了,如何让不同智能体沙盒中的工作在不同会话中持续可供人们和其他智能体使用。

  3. AWS Machine Learning Blog66

    使用 Ray LLM 深度学习容器运行多节点推理工作负载

    AWS 展示了如何使用 Ray LLM 深度学习容器,在 Amazon EKS 上跨两个 GPU 节点部署 Qwen3.5-9B,并在一个兼容 OpenAI 的端点后配置独立的预填充和解码部署。该演示使用 YAML 配置应用,并通过 EFA 上的 NIXL 在节点间传输 KV 缓存。内容涵盖集群配置、模型调用、传输验证和资源清理。

    推荐理由:本指南提供了一种可迁移的部署模式,用于分离预填充和解码,并说明如何验证传输后端,避免通信悄然回退到 TCP 速度。

  4. AWS Machine Learning Blog61

    在 Amazon SageMaker AI 上使用 llama.cpp 部署决策模型

    AWS 介绍了如何在 Amazon SageMaker AI 上使用其 llama.cpp 深度学习容器部署 GGUF 模型,然后添加 SemIf 适配器,以便针对已声明的选项返回概率,而不生成答案词元。该指南包含 CPU 和 GPU 部署代码。在使用 Qwen3.5-4B Q4_K_M 完成的 231 项 JevBench 任务中,与 CPU 配置相比,GPU 配置的 p50 延迟快 4.9 倍,p95 延迟快 32.2 倍,且准确率相近。

    推荐理由:这种部署模式展示了应用如何为预定义选项评分,而无需解析生成的散文,同时将授权、阈值和回退规则保留在应用控制之下。

10月12日周一
  1. NVIDIA Blog79

    NVIDIA 开放 Vera Rubin 机架设计,并扩展 AI 工厂基础设施

    NVIDIA 通过其开放式 MGX 架构向 OCP 提供了 Vera Rubin 机架和计算托盘设计,并为 DSX AI 工厂推出了开源组件。MGX 1.2 支持最高 250kW 的机架部署,并新增标准化的电源、冷却和互连接口。NVIDIA 及其合作伙伴还公布了设施和电网韧性规范;Meta 宣布采用 Spectrum-6 交换机;NVIDIA 与 Cisco 计划推出 USFP 光模块;NVIDIA 还将与 Google 合作,在未来的 ConnectX-10 SuperNIC 和 BlueField DPU 上支持 Falcon Transport。

    推荐理由:这些规范展示了共享的机架、冷却、电源和软件接口,如何为基础设施建设者提供通用的实施目标,以应对 AI 工厂不断提升的功率密度。

10月9日周五
  1. Sundar Pichai · X78

    Google在Gemini at Work活动上推出Gemini工作智能体

    在NASA Hangar One举行的一场面向700多家Google Cloud客户的Gemini at Work活动上,Sundar Pichai介绍了一款新的Gemini智能体,并将其描述为面向工作的单一通用智能体。他表示,它能在一个提示框中回答问题、处理知识工作、创建图像和媒体内容,以及编写和运行代码;它还能接入个人工作流、记录系统和企业控制机制。Pichai列出了其核心架构原则:统一的智能体、访问权限、持续执行、多智能体编排、上下文,以及灵活选择模型。

    推荐理由:这篇文章阐述了Google全新通用工作智能体背后的架构原则,让读者得以直接了解它如何处理上下文、编排和模型选择。

10月8日周四
  1. NVIDIA Blog78

    NVIDIA 与 Microsoft 发布 RTX Spark 与 Windows 智能体基础设施

    NVIDIA 与 Microsoft 在旧金山 Windows AI and Surface 活动上宣布为 Windows PC 的智能体时代共同设计软硬件,Microsoft 宣布 OS 级基础设施 Microsoft Execution Containers(MXC)正式可用,让智能体在系统控制下安全持久地在后台运行。

    推荐理由:NVIDIA 与 Microsoft 把智能体运行所需的系统级容器和本地算力一起补齐,读者可据此判断本地智能体工作流的落地条件。

  2. Microsoft Research72

    微软研究院开源 Agent Lightning v1.0:3500 行轻量级智能体 RL 框架,支持真实 harness 训练

    微软研究院开源 Agent Lightning v1.0,一个约 3500 行代码的轻量级智能体 RL 框架,提出 Harnessed Agentic RL 范式,让部署时使用的同一 agent harness 直接参与强化学习,无需在训练框架内重新实现智能体。

    推荐理由:原文给出了框架的代码规模、Kubernetes 支持与训练配方,读者可据此判断真实 harness 参与 RL 的落地成本。

10月7日周三
10月6日周二
  1. Mistral AI · X80

    Mistral 发布 Mistral Large 4,1T 参数原生多模态

    Mistral AI 发布 Mistral Large 4(代号 Le Chonk),1T 参数、原生多模态、49B 激活,官方称其是欧美聚合基准上最好的开放权重模型。该模型在网络防御、制造和金融等关键负载上达到 SOTA,并在视觉 grounding 上超过闭源前沿模型;端到端在欧洲打造,可通过 Mistral Cloud 从欧洲部署,今日起 API 可用,开放权重版本将于 10 月底发布。

    推荐理由:Mistral 官方给出 1T 参数、49B 激活的开放权重模型规格与欧洲本地部署路径,可据此判断开放权重阵营的规模与可用性。

  2. AWS Machine Learning Blog62

    GLM 5.3 上线 Amazon Bedrock

    智谱(Z.ai)的 GLM 5.3 已在 Amazon Bedrock 上线,这是一个 753B 参数的 MoE 模型,面向编码和长程智能体任务,通过全托管 API 提供跨区域推理、提示词缓存和服务层级,目前面向符合条件的企业客户开放。

    推荐理由:原文给出 GLM 5.3 在 Bedrock 上的接入方式与提示词缓存用法,读者可据此评估托管推理对编码与长程智能体工作流的成本影响。

10月2日周五
  1. Google Research62

    Google 发布基于 TEE 的新一代联邦学习系统,Gboard 已采用

    Google Research 发布新一代联邦学习系统,利用可信执行环境(TEE)为数据匿名化提供可验证、可审计的保证,Gboard 已采用该系统上线英语和日语下一词预测模型,隐私保证更强且准确率提升。

    推荐理由:Google 公布基于 TEE 的新一代联邦学习系统,并给出 Gboard 已上线的实际部署结果,可了解隐私计算在端侧训练中的工程路径。

  2. NVIDIA Blog60

    NVIDIA DGX Spark 推出 64GB 版本,支持双机集群扩展本地 AI

    NVIDIA 将于本月通过 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 推出 64GB 统一内存版 DGX Spark,10 月 23 日开售,起售价 4,999 美元,保留 GB10 Grace Blackwell 超级芯片、DGX OS 和完整 NVIDIA AI 软件栈,支持最高 1000 亿参数模型在设备本地运行。

    推荐理由:原文给出 64GB 新配置的售价、上市时间和双机集群方式,读者可据此判断本地跑大模型的硬件门槛。

10月1日周四
  1. Hugging Face Blog62

    AI2 发布 Olmo-core 3:面向大型 MoE 的开源可扩展训练基础设施

    AI2 发布 Olmo-core 3,这是其大语言模型开发框架的一次重要升级,重新设计了开放的 MoE 训练系统,目标是把 MoE 训练扩展到万亿参数级别并保持计算效率。

    推荐理由:原文给出了 MoE 训练栈的吞吐与显存对比数据,读者可据此判断大规模 MoE 训练的成本变化。

9月30日周三
  1. NVIDIA Blog62

    NVIDIA 与 CoreWeave 将 Vera Rubin NVL72 投入生产,Cognition 为首家客户

    CoreWeave 宣布在 CoreWeave Cloud 上线 NVIDIA Vera Rubin NVL72 系统与 Spectrum-X 102.4T 以太网,成为首批交付该平台的云厂商之一,Cognition 是首个在生产环境运行 Vera Rubin 的客户。

    推荐理由:CoreWeave 上线 Vera Rubin NVL72 并公布 Devin 实测吞吐数据,可据此判断智能体编码负载的算力成本走向。

  2. 雷锋网80

    DeepSeek 开源算子工具链,TileLang 原生支持华为昇腾 950

    DeepSeek 将 TileLang 算子开发工具链原生支持华为昇腾 950 NPU,并同步推出 DeepGEMM、DeepEP、FlashMLA、TileKernels、DeepSelect 五大计算与通信库的昇腾版本。

    推荐理由:材料梳理了 TileLang 原生支持昇腾及配套算子库的适配范围,读者可据此了解国产算力工具链的当前覆盖情况。

  3. AWS Machine Learning Blog62

    Claude Sonnet 5.5 上线 Amazon Bedrock 与 Claude Platform on AWS

    AWS 宣布 Claude Sonnet 5.5 在 Amazon Bedrock 和 Claude Platform on AWS 上可用,定位为面向编码与知识工作的更高效 Sonnet 模型,多数任务单任务成本更低、速度更快。

    推荐理由:原文交代了 Sonnet 5.5 在编码与文档任务上的改进,并给出与 Opus 5.5 的分工和 Bedrock 接入方式。