跳到正文
2026.10.17 · 周六

#教程/实践

#教程/实践

一手

模型厂商、公司和研究机构自己发布的消息:官网、官方博客和官方账号。

今天10月17日周六
  1. AWS Machine Learning Blog60

    构建对 AI 代理的信任:基于 Amazon Bedrock AgentCore 的生产就绪评估框架

    AWS 介绍了其 SMGS 运营团队如何使用 Amazon Bedrock AgentCore,为内部销售智能系统构建了一个包含九个阶段的评估框架。该框架结合了特定领域的评估器、版本化的黄金数据集、CI/CD 门禁、持续监控,以及基于追踪数据对工具、代理和多代理工作流进行改进。AWS 报告称,自动化评估将质量回归的发现时间从几天或几周缩短到不到四小时。

    推荐理由:该框架提供了一种可迁移的方法,可将特定领域的故障类别与发布门禁和生产监控相结合,覆盖工具、单个代理和多代理工作流。

10月16日周五
  1. AWS Machine Learning Blog73

    推出 Reflection Beam:一款面向 AWS 智能体编程的开放权重模型

    Reflection AI 推出了 Beam,这是一款用于智能体编程和多步骤任务的开放权重模型,总参数量为 5010 亿,激活参数量为 230 亿。Reflection 称其有效上下文长度为 100 万个 token,并以 Apache 2.0 许可发布 Beam 1.0,提供 BF16、FP8 和 NVFP4 版本。本指南介绍如何通过 Amazon SageMaker JumpStart,或借助 JumpStart、SGLang 或 vLLM 在 HyperPod Inference 上进行部署,内容包括容量规划、调用、性能测量和清理。

    推荐理由:部署方式的比较说明了何时托管端点已足够,以及何时 Kubernetes 基础设施或自定义运行时能为服务配置、分布式执行和扩缩容提供有用的控制。

  2. AWS Machine Learning Blog60

    Meta 的 Muse Spark Open 现已在 Amazon SageMaker JumpStart 上提供

    Meta 针对代码优化的开放权重模型 Muse Spark Open 现已在 Amazon SageMaker JumpStart 上提供,包含 BF16 和 NVFP4 两种版本,支持 100 万 token 的上下文窗口,总参数量为 816B,其中每个 token 激活 42B 参数。AWS 提供了使用 SageMaker Studio 或 SageMaker Python SDK 进行部署的说明,以及推理和清理示例。发布时,该模型可在美国东部(弗吉尼亚北部)和美国东部(俄亥俄州)使用。

    推荐理由:部署指南将 BF16 和 NVFP4 的内存需求与受支持的实例类型对应起来,为团队在代码仓库上评估该模型时规划基础设施提供了具体依据。

10月15日周四
  1. AWS Machine Learning Blog64

    AWS 解释如何通过深度信任,在可强制执行的边界内赋予智能体自主权

    AWS 的 Shawn Bice 介绍了深度信任(Trust in Depth),这是一种通过四个层次——范围(Scope)、了解(Know)、约束(Bound)和观察(Observe)——来管理智能体的框架。他介绍了 AWS 工具如何支持策略、智能体身份、外部强制执行和追踪,并以员工离职流程说明依赖顺序的防护措施。自动推理可以在系统定义的假设范围内,证明表述精确的规则;而依赖上下文的预期则需要评估和人工判断。

    推荐理由:员工离职示例提供了一种可迁移的方法,将业务要求转化为强制执行的前置条件,并说明操作顺序的重要性可能不亚于单个工具的权限。

10月14日周三
  1. GitHub Blog · AI & ML68

    GitHub 的秘密检测模型:以更少噪声发现更多秘密

    GitHub 介绍了其秘密扫描流水线如何将正则表达式候选检测与微调后的 ModernBERT 分类器结合,利用周围上下文区分真实凭据与相似字符串。与此前的 LLM 流水线相比,离线评估显示精确率提高了 13%,召回率提高了 19%;客户 A/B 实验显示,按仓库所有者加权的接受率提高了 11.5%。推送后的扫描执行时间中位数缩短了 86%,服务成本降低了 98% 以上,因此将通用秘密检测扩展到推送保护变得切实可行。

    推荐理由:GitHub 的流水线展示了一种可迁移到狭义分类任务的设计模式:将确定性候选生成与基于真实感强负例训练的小型上下文模型结合起来。

  2. AWS Machine Learning Blog63

    Orca Security 使用 Amazon Bedrock 处理自然语言安全查询

    Orca Security 与 AWS 合作,基于 Amazon Bedrock 构建了 Discovery AI,可将自然语言问题转换为经过验证的 Sonar 查询,覆盖 900 多种云基础设施和应用模型。其架构结合了示例检索与重排序、相关架构选择、智能体生成和验证,并由领域专家持续更新示例库。与最初的基线相比,Orca 报告称成本降低了 90%,输入令牌减少了 93%,延迟降低了 75%,响应时间从约 60 秒缩短至 15 秒。

    推荐理由:该架构提供了一种可迁移的方法来查询大型架构:检索经过验证的示例、选择相关架构片段,并将验证错误反馈给生成流程。

10月13日周二
  1. AWS Machine Learning Blog63

    Amazon SageMaker AI 上的混合专家(MoE)内核工程

    AWS 介绍了 Amazon SageMaker AI 中使用的三项融合 MoE 优化,报告吞吐量最高提升 10%,首次生成令牌时间(TTFT)最高缩短 9%。在 H200 上,交换矩阵操作数使吞吐量提升了 2–4%;将 FP8 张量量化模型路由到 Triton,则使吞吐量提升了 10%。消除不必要的 Triton JIT 重新编译,在 8 路张量并行时将 TTFT 缩短了 9%;该帖子指出,这些优化已在 vLLM 和 AWS LMI v28 容器中提供。

    推荐理由:这些优化示例分别考察矩阵布局、后端选择和编译器特化,展示了提升 MoE 服务性能的一种可迁移方法,并说明了它们如何分别影响吞吐量和延迟开销。

  2. AWS Machine Learning Blog75

    使用 Amazon Bedrock 上的 Grok 4.7 构建长周期智能体

    AWS 展示了如何使用 Amazon Bedrock 上的 Grok 4.7 构建和评估工具调用智能体,并在三项合成任务中比较四种推理力度。该智能体在 72 次运行中有 67 次回答正确;xhigh 为 18 次全对,而 low 答对 18 次中的 15 次,输出 token 数约为前者的八分之一。本指南涵盖任务设计、自动评分、生产监控和运维控制,并指出这些小规模结果仅供参考,不足以得出统计学上确凿的结论。

    推荐理由:答案可验证且唯一的任务,加上重复运行,为比较推理力度提供了一种可复用的方法;分别测量正确性和 token 数,则能具体体现两者之间的权衡。

  3. AWS Machine Learning Blog67

    使用 Amazon Bedrock 全球跨区域推理访问 OpenAI GPT-6 模型指南

    AWS 说明了如何从泰国、马来西亚、新加坡、印度尼西亚和台湾通过 Amazon Bedrock 全球跨区域推理调用 OpenAI GPT-6 Sol 和 GPT-6 Luna,以及如何从新加坡调用 GPT-6 Astra。本指南涵盖 Converse、兼容 OpenAI 的 API、编码客户端、IAM 权限、SCP 例外、配额和监控。计费和配额跟踪仍在源区域进行,而请求则在受支持的目标区域运行;每个输出 token 消耗 10 个配额 token。

    推荐理由:本指南介绍了一种可迁移的方法,用于配置跨区域推理权限:将 SCP 例外限定于推理配置文件,同时保留对其他服务的区域控制。

  4. AWS Machine Learning Blog66

    使用 Ray LLM 深度学习容器运行多节点推理工作负载

    AWS 展示了如何使用 Ray LLM 深度学习容器,在 Amazon EKS 上跨两个 GPU 节点部署 Qwen3.5-9B,并在一个兼容 OpenAI 的端点后配置独立的预填充和解码部署。该演示使用 YAML 配置应用,并通过 EFA 上的 NIXL 在节点间传输 KV 缓存。内容涵盖集群配置、模型调用、传输验证和资源清理。

    推荐理由:本指南提供了一种可迁移的部署模式,用于分离预填充和解码,并说明如何验证传输后端,避免通信悄然回退到 TCP 速度。

  5. AWS Machine Learning Blog61

    在 Amazon SageMaker AI 上使用 llama.cpp 部署决策模型

    AWS 介绍了如何在 Amazon SageMaker AI 上使用其 llama.cpp 深度学习容器部署 GGUF 模型,然后添加 SemIf 适配器,以便针对已声明的选项返回概率,而不生成答案词元。该指南包含 CPU 和 GPU 部署代码。在使用 Qwen3.5-4B Q4_K_M 完成的 231 项 JevBench 任务中,与 CPU 配置相比,GPU 配置的 p50 延迟快 4.9 倍,p95 延迟快 32.2 倍,且准确率相近。

    推荐理由:这种部署模式展示了应用如何为预定义选项评分,而无需解析生成的散文,同时将授权、阈值和回退规则保留在应用控制之下。

10月9日周五
  1. Hugging Face Blog73

    作者用 ML-intern 两天训出六个模型,总花费约 103 美元

    作者在 HuggingChat 中开启 ML-intern,用提示词描述需求,两天内做出六个模型并发布到 Hub,总计算花费约 103 美元。其中把 Qwen-Image 2.1 的 9B 提示词改写器蒸馏成 0.8B 版本,可在 CPU 上运行,输出有效率 99.7%,token 用量约为教师模型的四分之一。作者公开了全部七个提示词,并建议在提示中要求基线对比、冒烟测试和预算上限。

    推荐理由:作者用 ML-intern 在两天内做出六个模型,公开了全部提示词与成本明细,可迁移到自己的训练流程。

10月7日周三
  1. AWS Machine Learning Blog60

    如何在 AgentCore 与 OpenClaw 上构建上下文感知 AI 助手

    AWS 官方博客介绍如何在 Amazon Bedrock AgentCore runtime 上运行开源智能体系统 OpenClaw,构建带长期记忆的个人助手 Sprout。

    推荐理由:原文给出可复用的容器包装、命名空间与提示词缓存排序方法,读者可据此搭建带长期记忆的智能体。

9月17日周四
  1. GitHub Blog · AI & ML78

    GitHub 用 Copilot 把 Copilot 运行时迁移到 Rust

    GitHub 用 GitHub Copilot app 和 Copilot CLI 把 Copilot agent runtime 从 TypeScript 完全重写为超过 80 万行生产级 Rust,代码主要由 AI 智能体编写,分布在 128 个 PR 中增量合入 main,而非一次性切换。

    推荐理由:作者以亲历者身份复盘 80 万行 Rust 重写,给出可迁移的智能体编排与评审方法。

8月14日周五
  1. Hugging Face Blog62

    用 Strands Agents、LeRobot 和 Hugging Face Storage Buckets 完成录制、训练与部署闭环

    Hugging Face 博客给出 Strands Robots 的流式数据闭环教程:同一个 Robot() 录制 LeRobotDataset 并同步进 Storage Bucket,再通过 stream_dataset() 直接从 Hub 流式读取训练,无需先下载整个数据集,训练好的 checkpoint 只需把 mode 改为 real 即可部署回硬件。

    推荐理由:以 Strands Robots 为例拆解机器人数据闭环,读者可据此理解录制、流式训练与部署如何共用一套 LeRobot 格式。

3月11日周三
  1. Mistral AI62

    Mistral 用 Vibe 搭建自动写 Rails 测试的智能体

    Mistral 基于其开源编码助手 Vibe 搭建了一个自主智能体,可读取 Rails 源文件、生成或改进 RSpec 测试,并在 CI/CD 流程中无需人工干预运行。

    推荐理由:Mistral 公开了自动写 RSpec 测试的智能体完整搭建方法,包括 AGENTS.md、skills 与自定义工具三层设计。

已经到底了