跳到正文
时光机停在2026年10月23日 周五‹ 前一天后一天 ›加速史回到现在

最新精选

教程

教程、实践经验、使用技巧、提示词与工具用法、深度技术讲解

10月23日周五
  1. Hugging Face Blog73

    将数据库评分转化为 RL 奖励:用 ThinkingBox 对智能体进行后训练

    Microsoft 和 Hugging Face 在 GitHub 上发布了 ThinkingBox-Training,将对数据库最终状态的可执行检查转化为智能体后训练的奖励。在 ThinkingBox-Bench 之外的 187 项任务上进行 50 步 GRPO 训练后,Qwen3.8-27B 的基准测试平均成功率从 51.70% 升至 60.78%,20 次尝试中全部通过的任务从 38 项增至 107 项,而至少成功一次的任务从 453 项降至 446 项。该发布包含任务选择、rollout、奖励和 Verl 集成代码;报告中的训练运行所用私有训练池未包含在内。

    推荐理由

    选择基础策略有时能够成功的任务,提供了一种可迁移的方法来生成对比鲜明的 RL 奖励,同时减少那些无法带来任务奖励优势的 rollout。

  2. AWS Machine Learning Blog72

    使用 Amazon SageMaker AI 上的 Kokoro TTS 流式传输 AI 代理的低延迟语音

    AWS 展示了如何将 AI 代理生成的完整句子流式传输到 Amazon SageMaker AI 上的 Kokoro-82M,从而在完整回复生成之前开始语音合成。在隔离测试中,首次音频字节的平均耗时从 329.3 ms 降至 156.7 ms;通过已部署的 AgentCore 运行时,首次音频速度提升了 3.5 倍。本指南涵盖持久双向会话、二进制 WebSocket 帧,以及涉及 SSE 和 base64 的音频传输权衡。

    推荐理由

    本指南提供了一种可迁移的模式,用于将文本生成与按句进行的语音合成重叠执行,并说明持久会话和音频分帧如何影响延迟与集成复杂度。

  3. AWS Machine Learning Blog60

    停止猜测 Amazon SageMaker AI 上 TTS 的自动扩缩目标

    AWS 工程师 Joseph Cottingham 演示了如何根据实测并发限制和扩容时间,为 Kokoro-82M 推导 Amazon SageMaker AI 自动扩缩设置。该演练测得 Q_max=50,并以 p95 首个音频字节时间 3,000 ms 的 SLO 为目标;扩容规划时间为 320.2 秒,其中包括有上限的策略检测延迟。相关工具可推导阈值和冷却时间、检查部署一致性,并指出突发容量余量有限,以及最小实例数为 1 时缩容存在不稳定性。

    推荐理由

    测量并发限制和扩容时间,提供了一种可迁移的方法来推导对延迟敏感的端点的扩缩阈值和冷却时间,同时揭示了备用容量与服务可靠性之间的权衡。

10月22日周四
  1. AWS Machine Learning Blog70

    使用 torchtitan 在 AWS Trainium 上训练 Qwen3

    AWS 提供了一份指南,介绍如何在单台 trn2.48xlarge 上使用 Transformers v5、torchtitan 原生的 Qwen3 实现和 NKI 混合专家内核训练 Qwen3。各项配置采用相同的 torchrun 启动模式和配置结构,并提供了加载和保存 Hugging Face 检查点的示例。指南还演示了自定义内核注册和 autograd 集成,并明确指出该示例旨在展示集成方式,而非提升性能。

    推荐理由

    本指南提供了一种可复用的模式,通过算子注册、autograd 和配置覆盖来集成自定义训练内核,并在训练前通过数值比较检查正确性。

  2. OpenAI68

    OpenAI 打包了一项 Codex 技能,帮助检查你的网站是否受到已报告的 PHP 安全漏洞影响。 将此代码仓库交给 Codex 参考:https://t.co/XUEbOwXuQC https://t.co/BDaIIaJ4yK

    引用OpenAI@OpenAI

    OpenAI models helped researchers—operating as part of our Patch the Planet initiative—discover critical security flaws in PHP, an open-source programming language used to run an estimated 70% of websites. Over the past two months, we led a coalition of maintainers, researchers,

    推荐理由

    这项技能提供了一种可重复使用的方法,引导网站所有者检查其网站是否受到已报告的 PHP 安全漏洞影响。

10月21日周三
  1. Hugging Face Blog78

    使用 RFD4-Proteina 和 Hugging Face Spaces 进行蛋白质设计

    本指南介绍如何在 Hugging Face Spaces 中使用 RFD4-Proteina 生成蛋白质设计,并通过命令行、Python 或 Diffusers 继续工作流程。该开放模型由 NVIDIA 与华盛顿大学蛋白质设计研究所共同开发,可根据给定约束同时生成蛋白质序列和全原子结构。本指南以 PD-L1 结合蛋白为例,介绍热点注释、思考设置,以及如何确保结果可复现;确认是否结合仍需进行实验验证。

    推荐理由

    记录经过注释的分子输入、模型和软件版本、随机种子、采样设置及硬件信息,可形成一种可迁移的方法,帮助在浏览器和编程工作流中复现随机蛋白质设计。

  2. AWS Machine Learning Blog66

    使用原生 PyTorch 在 AWS Trainium2 上训练和服务 i14 的 Laplace 3B

    i14 和 AWS 介绍了如何通过 TorchNeuron Native 使用原生 PyTorch,将 Laplace 3B 的线性注意力架构适配到 AWS Trainium2 上进行训练和服务。该模型为每个序列维持固定的 29.5 MB 循环状态,训练速度约为每秒 120,000 个 token,报告的结果覆盖约 440 亿个 token。在单个 trn2.48xlarge 实例上,同时处理 1,280 个序列时,推理速度达到每秒 11,544 个输出 token。

    推荐理由

    这篇工程实践指南展示了通信模式、算子调度和批次宽度变化如何主导性能,并提供了一套可迁移的分析方法,用于在加速器上部署自定义架构。

  3. AWS Machine Learning Blog64

    使用 Amazon Quick 和 Amazon Bedrock AgentCore 构建对话式供应链智能系统

    AWS 介绍了如何使用 Amazon Quick 和 Amazon Bedrock AgentCore 构建对话式供应链工作流,通过受治理的 MCP 工具连接运营数据和文档。演示涵盖中断评估、供应商合规检查、紧急询价(RFQ),以及定时或由电子邮件触发的监控,并要求由人工审批变更。内容还包括一个开源部署示例、注册表和连接器配置,以及将经过验证的供应商回复发布到 Activity Feed 以供审核的说明。

    推荐理由

    将对话界面与受治理的 MCP 工具分离,可为跨系统工作流提供可复用的架构,同时让供应商选择和采购订单始终由人工控制。

  4. AWS Machine Learning Blog62

    在运行时使用 AWS Agent Registry 发现工具

    AWS 展示了如何使用 AWS Agent Registry 在运行时发现获批的 MCP 服务器和 A2A 代理,根据其描述信息构建客户端,并通过临时内部代理执行请求。Python 示例涵盖订单状态、定价和退货,同时将调用凭证与发现过程分开获取。指南还介绍了审批工作流、搜索评估,以及目录较小或管道固定时适合在构建时进行连接的情况。

    推荐理由

    该示例提供了一种可复用的模式,可在每次请求时发现获批的能力,同时将调用凭证分开处理;并明确说明了目录稳定或管道固定时,何时更适合采用更简单的连接方式。

  5. AWS Machine Learning Blog60

    Eon 如何基于 Amazon Bedrock AgentCore 和 MCP Gateway 构建多云调查能力

    Eon 使用 Amazon Bedrock AgentCore,将调查工具原先各自的凭证和本地 MCP 进程替换为一个经过身份验证的统一网关,供 AWS、GCP 和 Azure 上的调查工具使用。该实现采用 Cedar 策略区分人员和智能体的权限,并通过 IAM 角色代入实现跨账户访问。Eon 表示,接入时间从约 2 天缩短至约 2 分钟;在 100 多名开发者和约 10,000 个会话的使用中,也暴露了策略大小、工具发现和 OAuth 兼容性方面的取舍。

    推荐理由

    该实现提供了一种可复用的集中式工具访问模式,并具体展现了动态工具列表、策略大小、语义搜索和 OAuth 兼容性之间的取舍。

  6. AWS Machine Learning Blog60

    在 AWS 上使用 X.509 PKI 保障 AI 智能体身份安全

    AWS 和 Keyfactor 介绍了如何使用 X.509 PKI、Keyfactor EJBCA 和 AWS 服务保障 AI 智能体之间的通信安全。本演示结合了签名请求信封、用户签名的委托声明、限定受众的令牌,以及贯穿用户登录、智能体通信和 MCP 工具访问流程的实时 OCSP 检查。演示使用 Amazon Bedrock、AWS Strands Agents SDK 和 FastMCP 展示该架构,并涵盖重放攻击防护以及用户注销时的凭证吊销。

    推荐理由

    本演示提供了一种可复用的方案,通过智能体证书和签名委托,将工具请求绑定到经授权的用户,并在每个信任边界进行吊销检查。

10月20日周二
  1. AWS Machine Learning Blog68

    vLLM 中的双向 KV 传输如何提升多轮智能体工作负载的 TTFT

    AWS 介绍了 vLLM 中的双向 KV 传输如何让预填充节点在不同对话轮次间复用解码节点保留的 KV 块。在 Amazon EC2 P5en 实例上使用 EFA、并禁用预填充前缀缓存进行的 1P1D 基准测试中,Qwen3-32B 的 TTFT 最高提升 1.6 倍,zai-org/GLM-5-FP8 最高提升 3.3 倍。本指南涵盖路由、保留控制、重计算阈值,以及如何使用 vLLM v0.21.0 或更高版本和 NixlConnector 复现实验;结果取决于工作负载和部署配置。

    推荐理由

    本指南说明了保留时长和重计算阈值如何影响跨轮次 KV 复用,并提供具体的控制选项,以平衡传输开销、重复计算和加速器内存使用量。

  2. AWS Machine Learning Blog68

    基于推送的 KV 传输如何改善 vLLM 的 TTFT 和 TPOT

    AWS 介绍了面向 vLLM 的基于推送的 NIXL 连接器。该连接器将目标端注册与预填充并行处理,并将传输准备工作移至后台线程。在一项 Qwen3-32B 基准测试中,测试采用配备 EFA 的 Amazon EC2 P5en 实例进行 1P1D 部署,并禁用了前缀缓存。与拉取模式相比,推送模式的 TTFT 最多提升 3 倍,TPOT 最多提升 30%,具体结果因工作负载和配置而异。文章详细介绍了其架构、基准测试复现方法,以及更早选择解码实例所带来的路由权衡。

    推荐理由

    这项对比说明了将 KV 传输设置与预填充并行处理在何种情况下可以降低延迟,同时指出部署要使用推送模式,就必须接受更早选择解码实例。

10月17日周六
  1. 宝玉80

    Baoyu 分享了 Claude Code 团队的审查方法,并报告称 Claude 编写了约 90% 的代码,从 6 月到 9 月合并的更改数量增加了一倍多,回滚率则下降了 40% 以上。 视频用一叠瑞士奶酪切片来解释相互重叠的检查如何构成安全网。 @ClaudeDevs 发布的引述帖文宣布,Claude Team 和 Enterprise 用户现可使用 Code Review,每个仓库可选择 Quick、Standard 和 Deep 三种审查级别。https://t.co/RO4tDC4U1U

    引用ClaudeDevs@ClaudeDevs

    Code Review is now generally available for Claude Team and Enterprise plans. Reviews are now faster, catch more of the bugs that matter, and admins can pick from Quick, Standard, or Deep review levels for each repo. https://t.co/RO4tDC4U1U

    推荐理由

    分层审查方法提供了一种可迁移的代码检查思路:多个相互重叠的保障措施可以弥补任何单项检查的不足。

  2. AWS Machine Learning Blog60

    构建对 AI 代理的信任:基于 Amazon Bedrock AgentCore 的生产就绪评估框架

    AWS 介绍了其 SMGS 运营团队如何使用 Amazon Bedrock AgentCore,为内部销售智能系统构建了一个包含九个阶段的评估框架。该框架结合了特定领域的评估器、版本化的黄金数据集、CI/CD 门禁、持续监控,以及基于追踪数据对工具、代理和多代理工作流进行改进。AWS 报告称,自动化评估将质量回归的发现时间从几天或几周缩短到不到四小时。

    推荐理由

    该框架提供了一种可迁移的方法,可将特定领域的故障类别与发布门禁和生产监控相结合,覆盖工具、单个代理和多代理工作流。

10月16日周五
  1. AWS Machine Learning Blog73

    推出 Reflection Beam:一款面向 AWS 智能体编程的开放权重模型

    Reflection AI 推出了 Beam,这是一款用于智能体编程和多步骤任务的开放权重模型,总参数量为 5010 亿,激活参数量为 230 亿。Reflection 称其有效上下文长度为 100 万个 token,并以 Apache 2.0 许可发布 Beam 1.0,提供 BF16、FP8 和 NVFP4 版本。本指南介绍如何通过 Amazon SageMaker JumpStart,或借助 JumpStart、SGLang 或 vLLM 在 HyperPod Inference 上进行部署,内容包括容量规划、调用、性能测量和清理。

    推荐理由

    部署方式的比较说明了何时托管端点已足够,以及何时 Kubernetes 基础设施或自定义运行时能为服务配置、分布式执行和扩缩容提供有用的控制。

  2. Hugging Face72

    Hugging Face表示,一场与Reflection团队探讨他们如何构建Beam的直播将在几分钟后开始。 直播:https://t.co/q6OKvCiB9o https://t.co/scNsrfsC3s 在被引用的公告中,Reflection表示,Beam已在多个平台开放,权重采用Apache 2.0许可证,并与40多家合作伙伴协作推出;还提供分词器、参考实现、BF16、FP8和NVFP4权重,以及DFlash2起草模型。

    引用Reflection@reflection_ai

    Beam is now available across platforms, with open weights under the Apache 2.0 license - in collaboration with an ecosystem of 40+ partners. We're releasing: - Weights, tokenizer, and reference implementation - BF16, FP8 and NVFP4 weights and a DFlash2 drafter - The open source https://t.co/tHYv4cuYIh

    推荐理由

    列出的制品和Apache 2.0许可证,为评估Beam如何融入现有模型部署工作流提供了具体背景。

10月15日周四
  1. AWS Machine Learning Blog64

    AWS 解释如何通过深度信任,在可强制执行的边界内赋予智能体自主权

    AWS 的 Shawn Bice 介绍了深度信任(Trust in Depth),这是一种通过四个层次——范围(Scope)、了解(Know)、约束(Bound)和观察(Observe)——来管理智能体的框架。他介绍了 AWS 工具如何支持策略、智能体身份、外部强制执行和追踪,并以员工离职流程说明依赖顺序的防护措施。自动推理可以在系统定义的假设范围内,证明表述精确的规则;而依赖上下文的预期则需要评估和人工判断。

    推荐理由

    员工离职示例提供了一种可迁移的方法,将业务要求转化为强制执行的前置条件,并说明操作顺序的重要性可能不亚于单个工具的权限。

10月14日周三
  1. GitHub Blog · AI & ML68

    GitHub 的秘密检测模型:以更少噪声发现更多秘密

    GitHub 介绍了其秘密扫描流水线如何将正则表达式候选检测与微调后的 ModernBERT 分类器结合,利用周围上下文区分真实凭据与相似字符串。与此前的 LLM 流水线相比,离线评估显示精确率提高了 13%,召回率提高了 19%;客户 A/B 实验显示,按仓库所有者加权的接受率提高了 11.5%。推送后的扫描执行时间中位数缩短了 86%,服务成本降低了 98% 以上,因此将通用秘密检测扩展到推送保护变得切实可行。

    推荐理由

    GitHub 的流水线展示了一种可迁移到狭义分类任务的设计模式:将确定性候选生成与基于真实感强负例训练的小型上下文模型结合起来。