跳到正文
2026.10.17 · 周六

#部署/工程

#部署/工程

今天10月17日周六
  1. vLLM · X77

    MOSS-Image 开源发布,支持双语文本渲染和实验性布局控制

    MosiAI 宣布开源发布 MOSS-Image。该模型基于 5B Diffusion Transformer(DiT)构建,支持中文和英文文本渲染、最长 4K token 的提示词,以及使用边界框进行实验性 JSON 布局控制。Hugging Face 上提供基础版和 SFT 检查点,同时开放模型权重和采用 Apache-2.0 许可的推理代码。vLLM 向团队表示祝贺,并宣布通过 vLLM-Omni 提供 Day-0 支持。

    推荐理由:此次发布为如何将双语文本渲染与实验性边界框布局控制相结合提供了一个具体示例,可供需要明确指定文本和物体位置的图像生成工作流开发者参考。

  2. AWS Machine Learning Blog60

    构建对 AI 代理的信任:基于 Amazon Bedrock AgentCore 的生产就绪评估框架

    AWS 介绍了其 SMGS 运营团队如何使用 Amazon Bedrock AgentCore,为内部销售智能系统构建了一个包含九个阶段的评估框架。该框架结合了特定领域的评估器、版本化的黄金数据集、CI/CD 门禁、持续监控,以及基于追踪数据对工具、代理和多代理工作流进行改进。AWS 报告称,自动化评估将质量回归的发现时间从几天或几周缩短到不到四小时。

    推荐理由:该框架提供了一种可迁移的方法,可将特定领域的故障类别与发布门禁和生产监控相结合,覆盖工具、单个代理和多代理工作流。

  3. Google Research76

    让 AI 智能体立足生物学现实:构建自主湿实验室的基石

    Google Research 介绍了三个将 AI 智能体与湿实验相结合的项目:VERD 实验室自动化、闭环适配体发现,以及从头设计蛋白质结合体。经过三轮实验,适配体对肌红蛋白和 α-凝血酶的靶向命中率分别达到 33.5% 和 42.1%;蛋白质设计流程将计算周期加快了八倍以上,并获得了亲和力达到个位数纳摩尔级的结合体。整合这些项目仍是下一步工作,相关保障措施包括序列筛查、机器人执行前进行模拟,以及取得人工授权并由人工监督。

    推荐理由:适配体实验展示了实验反馈如何揭示具有误导性的优化目标,为自动化发现流程提供了一种可迁移的方法,用于区分真正的生物学改进与实验伪象。

  4. The Verge · AI77

    一周使用 Nvidia RTX Spark 笔记本电脑:性能优势与实际取舍

    The Verge 的三位评测人员花了一周测试五款 Nvidia RTX Spark 笔记本电脑,发现它们图形性能出色,Windows on Arm 应用总体上也能正常使用,但价格高昂,CPU 性能弱于 Apple 的竞品,而且运行本地 AI 工作负载要求很高。Sean Hollister 的 Asus ProArt P16 在日常工作中续航约 5 小时至 5 小时 40 分钟。他们进行本地 AI 实验时遇到了明显的电量消耗、发热、响应缓慢和结果不稳定等问题,尽管这些配置提供了最高 128GB 的统一内存。

    推荐理由:这些实测对比展示了大容量统一内存和出色图形性能在本地 AI 工作负载、电池续航和软件兼容性方面带来的日常取舍。

10月16日周五
  1. AWS Machine Learning Blog73

    推出 Reflection Beam:一款面向 AWS 智能体编程的开放权重模型

    Reflection AI 推出了 Beam,这是一款用于智能体编程和多步骤任务的开放权重模型,总参数量为 5010 亿,激活参数量为 230 亿。Reflection 称其有效上下文长度为 100 万个 token,并以 Apache 2.0 许可发布 Beam 1.0,提供 BF16、FP8 和 NVFP4 版本。本指南介绍如何通过 Amazon SageMaker JumpStart,或借助 JumpStart、SGLang 或 vLLM 在 HyperPod Inference 上进行部署,内容包括容量规划、调用、性能测量和清理。

    推荐理由:部署方式的比较说明了何时托管端点已足够,以及何时 Kubernetes 基础设施或自定义运行时能为服务配置、分布式执行和扩缩容提供有用的控制。

  2. vLLM · X75

    Reflection-Beam-1.0 在 vLLM 中获得 Day-0 支持

    @reflection_ai 推出的 Reflection-Beam-1.0 在 vLLM 中获得 Day-0 支持。 总参数量为 501B,每个 token 激活 23B,上下文窗口为 1M token。Beam 将混合注意力与 Harmony 格式的推理和工具使用相结合。 Beam 还在 SkyRL(@NovaSkyAI)中获得 Day-0 RL 支持:https://t.co/3SjWJKKgpH https://t.co/EkmA1L6B3H

    推荐理由:vLLM 和 SkyRL 的 Day-0 支持将 Beam 的发布与推理和 RL 工作流衔接起来,为考虑如何使用该模型进行推理或训练的开发者提供了具体背景。

  3. Ollama · X70

    Ollama 将 Muse Spark Open 的访问范围扩展至 Pro 和按量付费计划

    Muse Spark Open 现已在 Ollama 上向 Pro、Max、按量付费和 Teams 计划推出。https://t.co/OmAFXzZyjm

    推荐理由:此次推出将访问范围扩展至此前公布的 Max 和 Teams 计划之外,使计划资格成为用户考虑在 Ollama 上使用 Muse Spark Open 时的实际变化。

  4. vLLM · X69

    vLLM 新增对 Meta 开放权重模型 Muse Spark Open 的首日支持

    vLLM 现已提供对 Meta 开放权重模型 Muse Spark Open 的首日支持,并已在 NVIDIA 和 AMD GPU 以及 TPU 上完成验证! 该模型拥有 816B 个参数,每个 token 激活 42B 个参数,支持 1M token 的上下文,输入包括图像、视频和音频,专为长周期智能体编程而构建。 我们很高兴能够参与合作 https://t.co/MleWIPrBMD

    推荐理由:在 NVIDIA 和 AMD GPU 以及 TPU 上完成验证,为部署团队提供了通过 vLLM 运行 Meta 开放权重模型时所需的具体硬件兼容性信息。

  5. AWS Machine Learning Blog60

    Meta 的 Muse Spark Open 现已在 Amazon SageMaker JumpStart 上提供

    Meta 针对代码优化的开放权重模型 Muse Spark Open 现已在 Amazon SageMaker JumpStart 上提供,包含 BF16 和 NVFP4 两种版本,支持 100 万 token 的上下文窗口,总参数量为 816B,其中每个 token 激活 42B 参数。AWS 提供了使用 SageMaker Studio 或 SageMaker Python SDK 进行部署的说明,以及推理和清理示例。发布时,该模型可在美国东部(弗吉尼亚北部)和美国东部(俄亥俄州)使用。

    推荐理由:部署指南将 BF16 和 NVFP4 的内存需求与受支持的实例类型对应起来,为团队在代码仓库上评估该模型时规划基础设施提供了具体依据。

  6. Aravind Srinivas · X71

    Perplexity 开源 SPACE:为 Perplexity Computer 提供支持的沙箱平台

    沙箱虽然已是常见商品,但要在生产级流量下运行数百万个沙箱,就需要关注细节,才能为企业和消费者扩展智能体。 Perplexity 正在开源 SPACE(为 Perplexity Computer 提供支持的沙箱平台),以支持生态系统。https://github.com/perplexityai/space

    推荐理由:常见沙箱与在生产流量下运行数百万个沙箱之间的区别,说明了为企业和消费者扩展智能体所需的工程工作。

10月15日周四
  1. AWS Machine Learning Blog64

    AWS 解释如何通过深度信任,在可强制执行的边界内赋予智能体自主权

    AWS 的 Shawn Bice 介绍了深度信任(Trust in Depth),这是一种通过四个层次——范围(Scope)、了解(Know)、约束(Bound)和观察(Observe)——来管理智能体的框架。他介绍了 AWS 工具如何支持策略、智能体身份、外部强制执行和追踪,并以员工离职流程说明依赖顺序的防护措施。自动推理可以在系统定义的假设范围内,证明表述精确的规则;而依赖上下文的预期则需要评估和人工判断。

    推荐理由:员工离职示例提供了一种可迁移的方法,将业务要求转化为强制执行的前置条件,并说明操作顺序的重要性可能不亚于单个工具的权限。

  2. NVIDIA Blog70

    NVIDIA DLSS 4.5 控制选项登陆 GeForce NOW

    NVIDIA 已在 GeForce NOW 中添加 DLSS 4.5 控制选项,让会员可以在支持的游戏中调整画质和性能。这些设置可在 Windows、macOS、Chrome OS 和 Steam OS 应用中使用;搭载 GeForce RTX 5080 的云端设备上的 Ultimate 会员还可选择包括 Dynamic Multi Frame Generation(最高 4X)在内的选项。Enshrouded 1.0 和 Warhammer 40,000: Boltgun 2 也将在发售时支持串流,本周还有 10 款游戏加入该服务。

    推荐理由:会员等级和平台信息说明了不同等级可使用的云端图形控制选项;搭载 RTX 5080 的 Ultimate 云端设备提供最丰富的选项。

10月14日周三
  1. Simon Willison76

    Anthropic 如何重新设计源代码管理系统 Scion

    Simon Willison 着重介绍了 Anthropic 对 Scion 的说明。Scion 是他们自研的 Git 替代方案;合并的代码变更从 2026 年 5 月每天约 2,500 项增至 9 月每天超过 30,000 项。Anthropic 报告称,主分支历史记录近 100 GB,每天约有 2,500 万次 CI 检出;七人团队用五个月完成了系统构建和迁移。Willison 推测,Fable/Mythos 级别的模型促成了编码速度的提升,并将 Anthropic 在对抗式审查方面的经验与自己的经历联系起来,其中包括工程师需要引导模型,避免过度设计。

    推荐理由:Anthropic 的检出量和代码库规模为理解代码活动增加如何给代码审查和 CI 支撑基础设施带来压力,提供了具体背景。

  2. AWS Machine Learning Blog62

    使用 Anchor Browser 和 AgentCore Payments 构建交易型智能体

    本指南介绍 Anchor Browser 如何与 Amazon Bedrock AgentCore payments 集成,在同一浏览器会话中处理受 x402 保护的页面和 API。将 session.x402 设为 true 后,即可自动付款,但须遵守已配置的支出限额和有效期限制;钱包凭据则保留在智能体运行时之外。现有浏览器自动化代码可以保持不变;如果付款被拒绝或遇到不受支持的质询,原始 HTTP 402 响应会保持不变。

    推荐理由:该集成展示了一种可迁移到付费智能体工作流的架构:将付款签名和预算执行置于智能体运行时之外,同时保留浏览器会话上下文。

  3. GitHub Blog · AI & ML68

    GitHub 的秘密检测模型:以更少噪声发现更多秘密

    GitHub 介绍了其秘密扫描流水线如何将正则表达式候选检测与微调后的 ModernBERT 分类器结合,利用周围上下文区分真实凭据与相似字符串。与此前的 LLM 流水线相比,离线评估显示精确率提高了 13%,召回率提高了 19%;客户 A/B 实验显示,按仓库所有者加权的接受率提高了 11.5%。推送后的扫描执行时间中位数缩短了 86%,服务成本降低了 98% 以上,因此将通用秘密检测扩展到推送保护变得切实可行。

    推荐理由:GitHub 的流水线展示了一种可迁移到狭义分类任务的设计模式:将确定性候选生成与基于真实感强负例训练的小型上下文模型结合起来。

  4. AWS Machine Learning Blog63

    Orca Security 使用 Amazon Bedrock 处理自然语言安全查询

    Orca Security 与 AWS 合作,基于 Amazon Bedrock 构建了 Discovery AI,可将自然语言问题转换为经过验证的 Sonar 查询,覆盖 900 多种云基础设施和应用模型。其架构结合了示例检索与重排序、相关架构选择、智能体生成和验证,并由领域专家持续更新示例库。与最初的基线相比,Orca 报告称成本降低了 90%,输入令牌减少了 93%,延迟降低了 75%,响应时间从约 60 秒缩短至 15 秒。

    推荐理由:该架构提供了一种可迁移的方法来查询大型架构:检索经过验证的示例、选择相关架构片段,并将验证错误反馈给生成流程。

  5. 宝玉 · X81

    Anthropic 为何构建 Scion 来替代其单体仓库中的 git

    Baoyu 根据 Anthropic 的工程博客介绍了公司为何用 Scion 替代 git:每天合并的代码变更从 5 月的约 2,500 次增长到 9 月的 30,000 多次。Scion 按需获取文件,将操作移至服务器,并使用命中率超过 99% 的分层缓存。Anthropic 报告称,智能体工作区的启动时间中位数从 7.1 分钟降至 5.1 秒,同时强调 Scion 面向规模极大的单体仓库,并非通用型 git 替代方案。

    推荐理由:这一对比展示了假设服务器始终可访问会如何改变源代码管理架构,并将按需获取文件和服务器端操作与智能体生成代码的基础设施需求联系起来。

10月13日周二
  1. AWS Machine Learning Blog63

    Amazon SageMaker AI 上的混合专家(MoE)内核工程

    AWS 介绍了 Amazon SageMaker AI 中使用的三项融合 MoE 优化,报告吞吐量最高提升 10%,首次生成令牌时间(TTFT)最高缩短 9%。在 H200 上,交换矩阵操作数使吞吐量提升了 2–4%;将 FP8 张量量化模型路由到 Triton,则使吞吐量提升了 10%。消除不必要的 Triton JIT 重新编译,在 8 路张量并行时将 TTFT 缩短了 9%;该帖子指出,这些优化已在 vLLM 和 AWS LMI v28 容器中提供。

    推荐理由:这些优化示例分别考察矩阵布局、后端选择和编译器特化,展示了提升 MoE 服务性能的一种可迁移方法,并说明了它们如何分别影响吞吐量和延迟开销。

  2. AWS Machine Learning Blog75

    使用 Amazon Bedrock 上的 Grok 4.7 构建长周期智能体

    AWS 展示了如何使用 Amazon Bedrock 上的 Grok 4.7 构建和评估工具调用智能体,并在三项合成任务中比较四种推理力度。该智能体在 72 次运行中有 67 次回答正确;xhigh 为 18 次全对,而 low 答对 18 次中的 15 次,输出 token 数约为前者的八分之一。本指南涵盖任务设计、自动评分、生产监控和运维控制,并指出这些小规模结果仅供参考,不足以得出统计学上确凿的结论。

    推荐理由:答案可验证且唯一的任务,加上重复运行,为比较推理力度提供了一种可复用的方法;分别测量正确性和 token 数,则能具体体现两者之间的权衡。

  3. NVIDIA Blog76

    NVIDIA 详解 RTX Spark 笔记本上市前的软件更新

    在 RTX Spark 笔记本于 10 月 16 日(星期五)上市前,NVIDIA 及其合作伙伴正陆续推出软件功能和优化。更新包括简化本地智能体设置、通过 OpenShell 和 Microsoft Execution Containers 实现沙箱隔离,以及本地和云端模型路由。NVIDIA PAIR 结束测试阶段并支持 llama.cpp;Nemotron 3.5 Bolt 74B-A9B 24GB 将于 10 月 15 日(星期四)推出;创意应用、开发者工具和游戏也将获得 RTX Spark 支持和性能更新。

    推荐理由:这些协调推出的更新表明,在 RTX Spark 上采用本地智能体,取决于模型设置、沙箱隔离、路由以及桌面应用访问等环节的软件集成。