跳到正文
全部动态 · 今日5条

全部 AI 动态

信源抓到、进了内容池的全部内容,按时间排列;精选只是其中一部分。
教程

教程、实践经验、使用技巧、提示词与工具用法、深度技术讲解

10月14日周三
  1. AWS Machine Learning Blog63

    Orca Security 使用 Amazon Bedrock 处理自然语言安全查询

    Orca Security 与 AWS 合作,基于 Amazon Bedrock 构建了 Discovery AI,可将自然语言问题转换为经过验证的 Sonar 查询,覆盖 900 多种云基础设施和应用模型。其架构结合了示例检索与重排序、相关架构选择、智能体生成和验证,并由领域专家持续更新示例库。与最初的基线相比,Orca 报告称成本降低了 90%,输入令牌减少了 93%,延迟降低了 75%,响应时间从约 60 秒缩短至 15 秒。

    推荐理由:该架构提供了一种可迁移的方法来查询大型架构:检索经过验证的示例、选择相关架构片段,并将验证错误反馈给生成流程。

  2. Anthropic · X68

    Anthropic 详解如何构建内部源代码管理系统,并将其单体代码库从 Git 迁移出来

    Anthropic 工程博客介绍了他们如何构建新版本控制系统,并在五个月内将单体代码库完全从 Git 迁移出来。 5 月,他们每天合并约 2,500 项代码变更;9 月,每天合并超过 30,000 项。 这一增长使为人类而非智能体规模设计的开发者基础设施出现瓶颈:https://www.anthropic.com/engineering/redesigning-source-control

    同一新闻,精选展示《Why Anthropic built Scion to replace git for its monorepo》

10月13日周二
  1. AWS Machine Learning Blog63

    Amazon SageMaker AI 上的混合专家(MoE)内核工程

    AWS 介绍了 Amazon SageMaker AI 中使用的三项融合 MoE 优化,报告吞吐量最高提升 10%,首次生成令牌时间(TTFT)最高缩短 9%。在 H200 上,交换矩阵操作数使吞吐量提升了 2–4%;将 FP8 张量量化模型路由到 Triton,则使吞吐量提升了 10%。消除不必要的 Triton JIT 重新编译,在 8 路张量并行时将 TTFT 缩短了 9%;该帖子指出,这些优化已在 vLLM 和 AWS LMI v28 容器中提供。

    推荐理由:这些优化示例分别考察矩阵布局、后端选择和编译器特化,展示了提升 MoE 服务性能的一种可迁移方法,并说明了它们如何分别影响吞吐量和延迟开销。

  2. AWS Machine Learning Blog75

    使用 Amazon Bedrock 上的 Grok 4.7 构建长周期智能体

    AWS 展示了如何使用 Amazon Bedrock 上的 Grok 4.7 构建和评估工具调用智能体,并在三项合成任务中比较四种推理力度。该智能体在 72 次运行中有 67 次回答正确;xhigh 为 18 次全对,而 low 答对 18 次中的 15 次,输出 token 数约为前者的八分之一。本指南涵盖任务设计、自动评分、生产监控和运维控制,并指出这些小规模结果仅供参考,不足以得出统计学上确凿的结论。

    推荐理由:答案可验证且唯一的任务,加上重复运行,为比较推理力度提供了一种可复用的方法;分别测量正确性和 token 数,则能具体体现两者之间的权衡。

  3. AWS Machine Learning Blog56

    ShipStation Global 如何在 Amazon Bedrock AgentCore 上构建 AI IT 服务台

    ShipStation Global 构建了 Deckhand,这是一个基于 Amazon Bedrock AgentCore 的 Slack IT 服务台智能体,可回答问题、分析错误截图,并创建或更新 Jira Service Management 工单。该实施指南介绍了其 Strands 智能体、知识检索、MCP 工具,以及如何使用 DSPy 的 Recursive Language Model 提取已解决的 Slack 线程。在最初三个月中,1,221 次智能体对话里有 812 次通过聊天解决,另有 409 次转为工单;正面反馈率从 4 月的 82% 上升到 6 月的 96%。

  4. 宝玉 · X56

    使用 Codex 和 REA 下载微信视频号视频

    作者介绍了如何使用 Codex + REA,通过一条简单的提示词下载正在微信视频号中播放的视频。 一轮对话并未完成任务;Codex 配置了本地代理服务器,安装证书时需要输入几次密码,并编写脚本来解密下载的视频。 作者将此作为一个案例,指出可能已有更成熟的下载方案,并建议如果这套流程运行可靠,可以将其打包成一个 Skill。

  5. vLLM · X58

    ReplaySSM 报告解码加速和生产应用,vLLM 已提供支持

    vLLM 称赞了 @zwljohnny、@tri_dao 和 @NVIDIA 的 ReplaySSM 工作,并表示 Mamba2 标准解码和基于 FlashInfer 的 MTP 支持已在 vLLM 中提供。 缓存 SSM 输入,并仅在需要时更新检查点,可减少循环状态的内存流量。 在被引用的帖子中,@zwljohnny 报告称,ReplaySSM 已用于 GLM-5.3-Flash 和 Kimi-K3 的生产环境,并已在 TensorRT-LLM、vLLM、FlashInfer 和 SGLang 中提供;标准解码最高提速 1.47x,推测解码最高提速 2.1x;低精度 SSM 状态的舍入误差不会沿递归传播。

  6. AWS Machine Learning Blog67

    使用 Amazon Bedrock 全球跨区域推理访问 OpenAI GPT-6 模型指南

    AWS 说明了如何从泰国、马来西亚、新加坡、印度尼西亚和台湾通过 Amazon Bedrock 全球跨区域推理调用 OpenAI GPT-6 Sol 和 GPT-6 Luna,以及如何从新加坡调用 GPT-6 Astra。本指南涵盖 Converse、兼容 OpenAI 的 API、编码客户端、IAM 权限、SCP 例外、配额和监控。计费和配额跟踪仍在源区域进行,而请求则在受支持的目标区域运行;每个输出 token 消耗 10 个配额 token。

    推荐理由:本指南介绍了一种可迁移的方法,用于配置跨区域推理权限:将 SCP 例外限定于推理配置文件,同时保留对其他服务的区域控制。

  7. Simon Willison64

    Simon Willison 评测 Python 3.15,并采用 Python 3.11 的特性

    Simon Willison 评测 Python 3.15,并解释 Python 3.10 停止支持后,他的开源项目为何能采用 Python 3.11 的特性。重点包括显式惰性导入(可解决其 LLM 命令行插件的启动开销)、推导式中的解包,以及 Tachyon 采样分析器。他提供了 uv 升级命令,并指出现已可用的新特性,例如 tomllib、asyncio TaskGroup 和 SQLite 的改进,其中包括移除 Datasette 的兼容性变通方案。

  8. GitHub Blog · AI & ML49

    如何让 GitHub Copilot 了解你的代码库

    GitHub 的入门指南介绍了四种根据项目定制 Copilot 的方法:用自定义指令说明代码库规范,用代理技能执行可重复的流程,用自定义代理处理范围更广的专业任务,以及用 MCP 服务器连接外部工具和数据。指南建议从一项你经常需要解释的规范入手,并将其添加到 `.github/copilot-instructions.md`。

  9. Perplexity · X67

    Perplexity 如何为智能体构建 Projects 文件系统,将其打造为 Git 锻造平台

    以下介绍 Perplexity 如何构建 Perplexity Projects 背后的文件系统,将其打造为智能体的 Git 锻造平台。 每个智能体都在自己的沙盒中工作,并将更改提交到共享代码仓库,方便人们和其他智能体在不同会话中接着开展工作。 阅读更多:https://t.co/jcrTptb2IW https://t.co/dXnhroO4mg

    推荐理由:这个共享代码仓库具体展示了,如何让不同智能体沙盒中的工作在不同会话中持续可供人们和其他智能体使用。

  10. AWS Machine Learning Blog66

    使用 Ray LLM 深度学习容器运行多节点推理工作负载

    AWS 展示了如何使用 Ray LLM 深度学习容器,在 Amazon EKS 上跨两个 GPU 节点部署 Qwen3.5-9B,并在一个兼容 OpenAI 的端点后配置独立的预填充和解码部署。该演示使用 YAML 配置应用,并通过 EFA 上的 NIXL 在节点间传输 KV 缓存。内容涵盖集群配置、模型调用、传输验证和资源清理。

    推荐理由:本指南提供了一种可迁移的部署模式,用于分离预填充和解码,并说明如何验证传输后端,避免通信悄然回退到 TCP 速度。

  11. AWS Machine Learning Blog61

    在 Amazon SageMaker AI 上使用 llama.cpp 部署决策模型

    AWS 介绍了如何在 Amazon SageMaker AI 上使用其 llama.cpp 深度学习容器部署 GGUF 模型,然后添加 SemIf 适配器,以便针对已声明的选项返回概率,而不生成答案词元。该指南包含 CPU 和 GPU 部署代码。在使用 Qwen3.5-4B Q4_K_M 完成的 231 项 JevBench 任务中,与 CPU 配置相比,GPU 配置的 p50 延迟快 4.9 倍,p95 延迟快 32.2 倍,且准确率相近。

    推荐理由:这种部署模式展示了应用如何为预定义选项评分,而无需解析生成的散文,同时将授权、阈值和回退规则保留在应用控制之下。

10月12日周一
  1. 宝玉 · X51

    BaoCut 在视频编辑之外新增 Claude Design 和 Claude Slides

    Baoyu 将逆向工程还原的 Claude Design 和 Claude Slides 集成到 BaoCut 中。BaoCut 是一款开源 Agent,最初专注于视频编辑。他报告称,GPT-6.1 Sol 使用 Claude Design Skill 时,设计表现有了显著提升,这可能是因为 Claude Design 默认使用 Claude Design System Skill;独立的 Skills 不支持编辑和批注,因此他将它们集成到了 BaoCut 中。用户可以下载 BaoCut 或在本地运行,使用 codex 等本地 Agent CLI,并在会话期间选择设计 Skill。 https://github.com/JimLiu/baocut/commit/7aa049e8 https://baocut.com

  2. 宝玉 · X61

    Baoyu 使用 REA 和 Computer Use 调查 CapCut 字幕模板

    Baoyu 介绍了如何结合使用 REA 和 Computer Use,调查 CapCut 如何渲染动态字幕,而他并不知道这些字幕格式存储在哪里。他让它操作 CapCut、下载模板,并监控网络 URL 和磁盘保存位置。通过点击下载了几十个模板后,Codex 发现点击方式太慢,于是构造 URL 直接下载,最终下载了 2291 个模板。

  3. 宝玉 · X62

    使用 REA 追踪 Codex 如何附加浏览器注释

    Baoyu 介绍了如何使用开源 REA(Reverse Engineer Anything)MCP 服务,了解 Codex 和 ChatGPT 应用如何向撰写框附加浏览器注释,而无需反编译 Codex 本身。REA 追踪了 Electron 应用的代码路径后,Codex 构建了一个测试页面,可通过 document.oai.annotation.request() 打开评论框并预填输入内容。这是作者此前并不知道的 OpenAI API。Cursor 和 Claude Code 不支持类似的 API。

10月11日周日
  1. The Verge · AI22

    在M5 Ultra Mac Studio上使用Hermes Agent和Qwen测试本地AI

    一位Verge作者开始在配备256GB统一内存的M5 Ultra Mac Studio上运行本地LLM,安装了开源Hermes Agent桌面应用和1250亿参数的Qwen 3.8 Flash Next模型,大小约105GB。早期任务包括通过Telegram发送每日简报、重新整理包含400多款游戏的Steam库以及本地数据分析;这位作者目前正在着手实现笔记本电脑基准测试的自动化。

10月9日周五
  1. Hugging Face Blog34

    Ai2 如何用 GPU 时间预算重构集群调度

    Ai2 用 GPU 时间预算、分层公平分配和时间切片契约替换了原有的优先级调度器,把各研究项目该分多少 GPU 时间的争论从逐案运维操作变成透明的预算分配流程。其集群管理数千块 NVIDIA H100、B200 和 B300,规模从 88 到 1024 块 GPU,约 150 名内部研究者的需求长期是可用算力的 2-3 倍。

  2. Hugging Face Blog73

    作者用 ML-intern 两天训出六个模型,总花费约 103 美元

    作者在 HuggingChat 中开启 ML-intern,用提示词描述需求,两天内做出六个模型并发布到 Hub,总计算花费约 103 美元。其中把 Qwen-Image 2.1 的 9B 提示词改写器蒸馏成 0.8B 版本,可在 CPU 上运行,输出有效率 99.7%,token 用量约为教师模型的四分之一。作者公开了全部七个提示词,并建议在提示中要求基线对比、冒烟测试和预算上限。

    推荐理由:作者用 ML-intern 在两天内做出六个模型,公开了全部提示词与成本明细,可迁移到自己的训练流程。

  3. NVIDIA Blog59

    进入 Omniverse:开发者如何利用前沿 AI 智能体将创意转化为仿真

    NVIDIA 介绍了其开发者如何将前沿 AI 智能体(包括 GPT-6 Astra)与 Omniverse 库结合,通过自然语言指令、人工审核和迭代测试来构建和完善仿真。示例涵盖仓库规模扩展、电缆布线、机器人资产准备、自动驾驶工作流,以及基于传感器的数字孪生优化。在一次为期两分钟的测试中,一项仓库仿真在包含 80 条传送带、40 条机械臂和 800 个箱子的情况下保持了每秒 30 帧;一个机器人 CAD 示例使用了估算的物理属性,这些属性未经真实机器人校准。

10月8日周四
10月7日周三
  1. AWS Machine Learning Blog36

    Cornerstone OnDemand 如何用 Amazon Bedrock 将数据库诊断时间缩短 78%

    Cornerstone OnDemand 基于 Amazon Bedrock 和开源智能体编排框架 Strands Agents 构建了多智能体系统 Orion AI,将数据库诊断时间从 45 分钟降至 10 分钟,减少 78%。该系统还把手动生命周期操作从 10 多个步骤压缩为 1 次交互(减少 70%),并将冗余告警中位数削减 65%,由三人团队在六个月内完成交付。

  2. Boris Cherny · X54

    Boris Cherny 讲解如何通过目标、投入程度和验证来提示 Claude

    Boris Cherny 建议像和同事交流那样与 Claude 沟通。他说,对于大多数任务,不需要设计过多框架或给出过于严格的提示;只要告诉 Claude 目标,它就会自行想办法完成。 他说,在 Sonnet 3.5 时代,提示词非常重要。如今,他强调要说明你希望 Claude 做什么、应该投入多少精力,以及应如何验证是否做对了。

  3. Boris Cherny · X24

    我让 Opus 5.5 为 @AcquiredFM 最新一期 Home Depot 节目制作了一个互动式网站配套内容。效果相当不错!水彩插画也全都是 Claude 画的:https://claude.ai/artifact/RdE6uE7WozcP2MLfx3BDky 节目链接:https://www.acquired.fm/episodes/home-depot

    我让 Opus 5.5 为 @AcquiredFM 最新一期 Home Depot 节目制作了一个互动式网站配套内容。效果相当不错! 水彩插画也全都是 Claude 画的:https://claude.ai/artifact/RdE6uE7WozcP2MLfx3BDky 节目链接:https://www.acquired.fm/episodes/home-depot

  4. AWS Machine Learning Blog22

    Amazon SageMaker HyperPod 管理与治理最佳实践

    Amazon SageMaker HyperPod 可通过 SageMaker Unified Studio 将集群连接到项目,让团队成员在工作区中启动训练与微调工作负载,同时保留底层治理控制。文章提出组织、项目、集群、工作负载四层控制模型,并说明如何跨层设计身份、容量与可观测性策略,使基础设施团队继续掌管集群运维,ML 团队在项目上下文中使用获批算力。