在 Amazon Bedrock 上使用 OpenAI 模型的 AI 智能体提示缓存指南

发生了什么

Claudio Mazzoni 介绍了在 Amazon Bedrock 上使用 OpenAI 模型时，如何将适用于不断增长的对话的隐式缓存，与用于共享工具和指令的显式断点结合起来。本指南涵盖如何在工具变更、子智能体和会话之间保持缓存复用，以及如何监控缓存读取和写入。在一个包含六轮的 GPT-6 Astra 工作负载中，隐式缓存将输入成本降低了约 62%，而显式滚动断点节省了约 61%。

接下来读什么

• 今日还有哪些重要变化Nvidia 开源 Flora：机器人视频标注成本预计最高比 GPT-6 Astra 低 125 倍

这件事到目前为止

AWS 发布了关于在 Amazon Bedrock 上使用 OpenAI 模型的智能体如何进行提示缓存的指南。据报告，在包含六轮对话的 GPT-6 Astra 工作负载中，隐式缓存将输入成本降低了约 62%，而显式滚动断点在该工作负载中节省了约 61%。 AWS 的 Claudio Mazzoni 介绍了如何将不断增长的对话所用的隐式缓存，与共享工具和指令所用的显式断点结合起来。指南涵盖了在工具发生变化、智能体生成子智能体或会话发生变化时如何维持缓存复用，以及如何监控缓存读取和写入。要符合缓存条件，可复用前缀必须达到 1,024 个令牌。缓存前缀至少保留 30 分钟；成功复用会刷新这一时长，且缓存可能保留更久。缓存写入的费用是正常输入费率的 1.25 倍。