跳到正文
全部动态 · 今日1条

#教程/实践

信源抓到、进了内容池的全部内容,按时间排列;精选只是其中一部分。
一手

模型厂商、公司和研究机构自己发布的消息:官网、官方博客和官方账号。

今天10月17日周六
  1. AWS Machine Learning Blog60

    构建对 AI 代理的信任:基于 Amazon Bedrock AgentCore 的生产就绪评估框架

    AWS 介绍了其 SMGS 运营团队如何使用 Amazon Bedrock AgentCore,为内部销售智能系统构建了一个包含九个阶段的评估框架。该框架结合了特定领域的评估器、版本化的黄金数据集、CI/CD 门禁、持续监控,以及基于追踪数据对工具、代理和多代理工作流进行改进。AWS 报告称,自动化评估将质量回归的发现时间从几天或几周缩短到不到四小时。

    推荐理由:该框架提供了一种可迁移的方法,可将特定领域的故障类别与发布门禁和生产监控相结合,覆盖工具、单个代理和多代理工作流。

10月16日周五
  1. AWS Machine Learning Blog73

    推出 Reflection Beam:一款面向 AWS 智能体编程的开放权重模型

    Reflection AI 推出了 Beam,这是一款用于智能体编程和多步骤任务的开放权重模型,总参数量为 5010 亿,激活参数量为 230 亿。Reflection 称其有效上下文长度为 100 万个 token,并以 Apache 2.0 许可发布 Beam 1.0,提供 BF16、FP8 和 NVFP4 版本。本指南介绍如何通过 Amazon SageMaker JumpStart,或借助 JumpStart、SGLang 或 vLLM 在 HyperPod Inference 上进行部署,内容包括容量规划、调用、性能测量和清理。

    推荐理由:部署方式的比较说明了何时托管端点已足够,以及何时 Kubernetes 基础设施或自定义运行时能为服务配置、分布式执行和扩缩容提供有用的控制。

  2. AWS Machine Learning Blog60

    Meta 的 Muse Spark Open 现已在 Amazon SageMaker JumpStart 上提供

    Meta 针对代码优化的开放权重模型 Muse Spark Open 现已在 Amazon SageMaker JumpStart 上提供,包含 BF16 和 NVFP4 两种版本,支持 100 万 token 的上下文窗口,总参数量为 816B,其中每个 token 激活 42B 参数。AWS 提供了使用 SageMaker Studio 或 SageMaker Python SDK 进行部署的说明,以及推理和清理示例。发布时,该模型可在美国东部(弗吉尼亚北部)和美国东部(俄亥俄州)使用。

    推荐理由:部署指南将 BF16 和 NVFP4 的内存需求与受支持的实例类型对应起来,为团队在代码仓库上评估该模型时规划基础设施提供了具体依据。

  3. Google DeepMind49

    Google Antigravity 演示发现一种候选抗微生物肽

    Google DeepMind 介绍了生物学家如何使用 Google Antigravity,在 *Streptococcus pseudopneumoniae* 中发现一种新型候选抗微生物肽。ProtNLM 帮助扫描数百万种此前未经表征的 UniProt 蛋白质,而智能体则协调数据库检索、结构分析和文献综述。该候选肽预计对参与呼吸道感染的病原体具有活性,目前正在进行湿实验验证。

10月15日周四
  1. AWS Machine Learning Blog64

    AWS 解释如何通过深度信任,在可强制执行的边界内赋予智能体自主权

    AWS 的 Shawn Bice 介绍了深度信任(Trust in Depth),这是一种通过四个层次——范围(Scope)、了解(Know)、约束(Bound)和观察(Observe)——来管理智能体的框架。他介绍了 AWS 工具如何支持策略、智能体身份、外部强制执行和追踪,并以员工离职流程说明依赖顺序的防护措施。自动推理可以在系统定义的假设范围内,证明表述精确的规则;而依赖上下文的预期则需要评估和人工判断。

    推荐理由:员工离职示例提供了一种可迁移的方法,将业务要求转化为强制执行的前置条件,并说明操作顺序的重要性可能不亚于单个工具的权限。

  2. AWS Machine Learning Blog58

    使用 Amazon Bedrock AgentCore 构建自我改进的文档处理系统

    AWS 介绍了如何使用 Amazon Bedrock AgentCore 和八个专用代理构建文档处理系统。这些代理负责对文档分类、提取数据、验证结果,并保存经过优化的提取说明以供重复使用。在其采购订单示例中,处理一种不熟悉的格式需要 3 分 49 秒,而使用已保存说明处理后续文档则需要 1 分 30 秒。本指南还包含部署步骤,并说明如何自定义架构、验证逻辑和提示。

10月14日周三
  1. AWS Machine Learning Blog45

    使用 Amazon SageMaker JumpStart 部署和评估模型

    Amazon SageMaker JumpStart 提供了一套工作流程,用于部署预训练模型、使用 SageMaker Python SDK 运行可重复的性能测试,并在测试后删除端点。该测试使用示例提示词来衡量延迟、估算的输出长度和单请求生成速率。模型中心发现功能和预配置的端点选项简化了浏览与部署流程,而深度链接集成则让用户只需单击一次,即可从 Hugging Face 模型发现页面部署模型。

  2. AWS Machine Learning Blog47

    使用 Amazon Bedrock AgentCore 生成演示文稿

    AWS 的文章介绍了如何使用 Amazon Bedrock AgentCore 构建 AI 智能体系统,从企业文档创建面向客户的 PowerPoint 演示文稿。在内部测试中,该工作流在 90 秒内完成;它使用监督智能体、RAG 以及用于生成演示文稿和摘要的专用工具。文章还提供了包含代码资源的公开代码仓库。

  3. GitHub Blog · AI & ML68

    GitHub 的秘密检测模型:以更少噪声发现更多秘密

    GitHub 介绍了其秘密扫描流水线如何将正则表达式候选检测与微调后的 ModernBERT 分类器结合,利用周围上下文区分真实凭据与相似字符串。与此前的 LLM 流水线相比,离线评估显示精确率提高了 13%,召回率提高了 19%;客户 A/B 实验显示,按仓库所有者加权的接受率提高了 11.5%。推送后的扫描执行时间中位数缩短了 86%,服务成本降低了 98% 以上,因此将通用秘密检测扩展到推送保护变得切实可行。

    推荐理由:GitHub 的流水线展示了一种可迁移到狭义分类任务的设计模式:将确定性候选生成与基于真实感强负例训练的小型上下文模型结合起来。

  4. AWS Machine Learning Blog50

    使用托管授权管理 Amazon Bedrock 私有定价优惠

    AWS 介绍了两种在多个 AWS 账户中为 Amazon Bedrock 私有定价优惠启用托管授权的方法。轻量级脚本可一次性激活已收到且可信的许可证;AWS CDK 自动化则会处理协议事件,根据允许列表验证卖家,并创建和激活分发的授权。只有当授权状态变为 ACTIVE 或 WORKFLOW_COMPLETED 后,协商定价才会生效。本指南还介绍了如何检查授权状态,以及在账单数据出现后如何在 AWS Cost Explorer 中验证费用。

  5. AWS Machine Learning Blog63

    Orca Security 使用 Amazon Bedrock 处理自然语言安全查询

    Orca Security 与 AWS 合作,基于 Amazon Bedrock 构建了 Discovery AI,可将自然语言问题转换为经过验证的 Sonar 查询,覆盖 900 多种云基础设施和应用模型。其架构结合了示例检索与重排序、相关架构选择、智能体生成和验证,并由领域专家持续更新示例库。与最初的基线相比,Orca 报告称成本降低了 90%,输入令牌减少了 93%,延迟降低了 75%,响应时间从约 60 秒缩短至 15 秒。

    推荐理由:该架构提供了一种可迁移的方法来查询大型架构:检索经过验证的示例、选择相关架构片段,并将验证错误反馈给生成流程。

10月13日周二
  1. AWS Machine Learning Blog63

    Amazon SageMaker AI 上的混合专家(MoE)内核工程

    AWS 介绍了 Amazon SageMaker AI 中使用的三项融合 MoE 优化,报告吞吐量最高提升 10%,首次生成令牌时间(TTFT)最高缩短 9%。在 H200 上,交换矩阵操作数使吞吐量提升了 2–4%;将 FP8 张量量化模型路由到 Triton,则使吞吐量提升了 10%。消除不必要的 Triton JIT 重新编译,在 8 路张量并行时将 TTFT 缩短了 9%;该帖子指出,这些优化已在 vLLM 和 AWS LMI v28 容器中提供。

    推荐理由:这些优化示例分别考察矩阵布局、后端选择和编译器特化,展示了提升 MoE 服务性能的一种可迁移方法,并说明了它们如何分别影响吞吐量和延迟开销。

  2. AWS Machine Learning Blog75

    使用 Amazon Bedrock 上的 Grok 4.7 构建长周期智能体

    AWS 展示了如何使用 Amazon Bedrock 上的 Grok 4.7 构建和评估工具调用智能体,并在三项合成任务中比较四种推理力度。该智能体在 72 次运行中有 67 次回答正确;xhigh 为 18 次全对,而 low 答对 18 次中的 15 次,输出 token 数约为前者的八分之一。本指南涵盖任务设计、自动评分、生产监控和运维控制,并指出这些小规模结果仅供参考,不足以得出统计学上确凿的结论。

    推荐理由:答案可验证且唯一的任务,加上重复运行,为比较推理力度提供了一种可复用的方法;分别测量正确性和 token 数,则能具体体现两者之间的权衡。

  3. AWS Machine Learning Blog56

    ShipStation Global 如何在 Amazon Bedrock AgentCore 上构建 AI IT 服务台

    ShipStation Global 构建了 Deckhand,这是一个基于 Amazon Bedrock AgentCore 的 Slack IT 服务台智能体,可回答问题、分析错误截图,并创建或更新 Jira Service Management 工单。该实施指南介绍了其 Strands 智能体、知识检索、MCP 工具,以及如何使用 DSPy 的 Recursive Language Model 提取已解决的 Slack 线程。在最初三个月中,1,221 次智能体对话里有 812 次通过聊天解决,另有 409 次转为工单;正面反馈率从 4 月的 82% 上升到 6 月的 96%。

  4. AWS Machine Learning Blog67

    使用 Amazon Bedrock 全球跨区域推理访问 OpenAI GPT-6 模型指南

    AWS 说明了如何从泰国、马来西亚、新加坡、印度尼西亚和台湾通过 Amazon Bedrock 全球跨区域推理调用 OpenAI GPT-6 Sol 和 GPT-6 Luna,以及如何从新加坡调用 GPT-6 Astra。本指南涵盖 Converse、兼容 OpenAI 的 API、编码客户端、IAM 权限、SCP 例外、配额和监控。计费和配额跟踪仍在源区域进行,而请求则在受支持的目标区域运行;每个输出 token 消耗 10 个配额 token。

    推荐理由:本指南介绍了一种可迁移的方法,用于配置跨区域推理权限:将 SCP 例外限定于推理配置文件,同时保留对其他服务的区域控制。

  5. GitHub Blog · AI & ML49

    如何让 GitHub Copilot 了解你的代码库

    GitHub 的入门指南介绍了四种根据项目定制 Copilot 的方法:用自定义指令说明代码库规范,用代理技能执行可重复的流程,用自定义代理处理范围更广的专业任务,以及用 MCP 服务器连接外部工具和数据。指南建议从一项你经常需要解释的规范入手,并将其添加到 `.github/copilot-instructions.md`。

  6. AWS Machine Learning Blog66

    使用 Ray LLM 深度学习容器运行多节点推理工作负载

    AWS 展示了如何使用 Ray LLM 深度学习容器,在 Amazon EKS 上跨两个 GPU 节点部署 Qwen3.5-9B,并在一个兼容 OpenAI 的端点后配置独立的预填充和解码部署。该演示使用 YAML 配置应用,并通过 EFA 上的 NIXL 在节点间传输 KV 缓存。内容涵盖集群配置、模型调用、传输验证和资源清理。

    推荐理由:本指南提供了一种可迁移的部署模式,用于分离预填充和解码,并说明如何验证传输后端,避免通信悄然回退到 TCP 速度。

  7. AWS Machine Learning Blog61

    在 Amazon SageMaker AI 上使用 llama.cpp 部署决策模型

    AWS 介绍了如何在 Amazon SageMaker AI 上使用其 llama.cpp 深度学习容器部署 GGUF 模型,然后添加 SemIf 适配器,以便针对已声明的选项返回概率,而不生成答案词元。该指南包含 CPU 和 GPU 部署代码。在使用 Qwen3.5-4B Q4_K_M 完成的 231 项 JevBench 任务中,与 CPU 配置相比,GPU 配置的 p50 延迟快 4.9 倍,p95 延迟快 32.2 倍,且准确率相近。

    推荐理由:这种部署模式展示了应用如何为预定义选项评分,而无需解析生成的散文,同时将授权、阈值和回退规则保留在应用控制之下。

10月9日周五
  1. Hugging Face Blog34

    Ai2 如何用 GPU 时间预算重构集群调度

    Ai2 用 GPU 时间预算、分层公平分配和时间切片契约替换了原有的优先级调度器,把各研究项目该分多少 GPU 时间的争论从逐案运维操作变成透明的预算分配流程。其集群管理数千块 NVIDIA H100、B200 和 B300,规模从 88 到 1024 块 GPU,约 150 名内部研究者的需求长期是可用算力的 2-3 倍。

  2. Hugging Face Blog73

    作者用 ML-intern 两天训出六个模型,总花费约 103 美元

    作者在 HuggingChat 中开启 ML-intern,用提示词描述需求,两天内做出六个模型并发布到 Hub,总计算花费约 103 美元。其中把 Qwen-Image 2.1 的 9B 提示词改写器蒸馏成 0.8B 版本,可在 CPU 上运行,输出有效率 99.7%,token 用量约为教师模型的四分之一。作者公开了全部七个提示词,并建议在提示中要求基线对比、冒烟测试和预算上限。

    推荐理由:作者用 ML-intern 在两天内做出六个模型,公开了全部提示词与成本明细,可迁移到自己的训练流程。

  3. NVIDIA Blog59

    进入 Omniverse:开发者如何利用前沿 AI 智能体将创意转化为仿真

    NVIDIA 介绍了其开发者如何将前沿 AI 智能体(包括 GPT-6 Astra)与 Omniverse 库结合,通过自然语言指令、人工审核和迭代测试来构建和完善仿真。示例涵盖仓库规模扩展、电缆布线、机器人资产准备、自动驾驶工作流,以及基于传感器的数字孪生优化。在一次为期两分钟的测试中,一项仓库仿真在包含 80 条传送带、40 条机械臂和 800 个箱子的情况下保持了每秒 30 帧;一个机器人 CAD 示例使用了估算的物理属性,这些属性未经真实机器人校准。

10月8日周四
10月7日周三
  1. AWS Machine Learning Blog36

    Cornerstone OnDemand 如何用 Amazon Bedrock 将数据库诊断时间缩短 78%

    Cornerstone OnDemand 基于 Amazon Bedrock 和开源智能体编排框架 Strands Agents 构建了多智能体系统 Orion AI,将数据库诊断时间从 45 分钟降至 10 分钟,减少 78%。该系统还把手动生命周期操作从 10 多个步骤压缩为 1 次交互(减少 70%),并将冗余告警中位数削减 65%,由三人团队在六个月内完成交付。

  2. AWS Machine Learning Blog22

    Amazon SageMaker HyperPod 管理与治理最佳实践

    Amazon SageMaker HyperPod 可通过 SageMaker Unified Studio 将集群连接到项目,让团队成员在工作区中启动训练与微调工作负载,同时保留底层治理控制。文章提出组织、项目、集群、工作负载四层控制模型,并说明如何跨层设计身份、容量与可观测性策略,使基础设施团队继续掌管集群运维,ML 团队在项目上下文中使用获批算力。

10月6日周二
10月3日周六
  1. AWS Machine Learning Blog38

    用 Amazon Quick 和 Adjudicated Query 模式批量核查数千份租约合规性

    AWS 提出 Adjudicated Query 设计模式,让业务用户在 Amazon Quick 聊天界面提问合规问题,实际判定交由确定性规则引擎完成。该模式通过完整性回执确保合规、违约、模糊、不可读记录之和等于扫描总数,避免记录被静默跳过,适用于租约合规、制裁筛查、保险理赔等高风险场景。

10月2日周五
  1. GitHub Blog · AI & ML22

    AI 正在改变开发者工作方式,GitHub 给出三项需要强化的技能

    GitHub 提出 AI 时代开发者需要强化三项技能:学会指挥 AI 智能体而非仅使用它、不轻信 AI 的首次答案、用 AI 节省的时间去解决更大的问题。文中以 GitHub Copilot 内置的 Rubber Duck agent 为例,说明它用第二个模型对计划、代码和测试进行批判性审查,从而发现首个模型遗漏的问题。