AWS 详解 Amazon Bedrock 上 OpenAI 智能体的提示缓存

1篇报道 1个报道来源 4 小时前更新

先了解这件事

AI 综述

AWS 发布了关于在 Amazon Bedrock 上使用 OpenAI 模型的智能体如何进行提示缓存的指南。据报告，在包含六轮对话的 GPT-6 Astra 工作负载中，隐式缓存将输入成本降低了约 62%，而显式滚动断点在该工作负载中节省了约 61%。 AWS 的 Claudio Mazzoni 介绍了如何将不断增长的对话所用的隐式缓存，与共享工具和指令所用的显式断点结合起来。指南涵盖了在工具发生变化、智能体生成子智能体或会话发生变化时如何维持缓存复用，以及如何监控缓存读取和写入。要符合缓存条件，可复用前缀必须达到 1,024 个令牌。缓存前缀至少保留 30 分钟；成功复用会刷新这一时长，且缓存可能保留更久。缓存写入的费用是正常输入费率的 1.25 倍。

AI 根据报道生成 · 2 小时前更新

最新进展10月27日 01:27

Amazon Bedrock 上使用 OpenAI 模型的 AI 智能体提示缓存指南 AWS Machine Learning Blog

接下来读什么

今日还有哪些重要变化Nvidia 开源 Flora：机器人视频标注成本预计最高比 GPT-6 Astra 低 125 倍

提到的模型

GPT-6 Astra综合榜第 2每百万 Token 输入 $10 / 输出 $50

全部模型的 API 价格

报道时间线

沿着报道，了解事件的不同侧面。

10月27日

01:27
AWS Machine Learning Blog精选
在 Amazon Bedrock 上使用 OpenAI 模型的 AI 智能体提示缓存指南
Claudio Mazzoni 介绍了在 Amazon Bedrock 上使用 OpenAI 模型时，如何将适用于不断增长的对话的隐式缓存，与用于共享工具和指令的显式断点结合起来。本指南涵盖如何在工具变更、子智能体和会话之间保持缓存复用，以及如何监控缓存读取和写入。在一个包含六轮的 GPT-6 Astra 工作负载中，隐式缓存将输入成本降低了约 62%，而显式滚动断点节省了约 61%。

模型发布、价格变化、算力进展，附原始来源。免费，确认后开始发送，随时一键退订。看一份往期日报

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。