跳到正文

OpenAI 为其 API 增加可选的 12 小时提示词缓存

1篇报道 1个报道来源 3 小时前更新

先了解这件事

AI 综述

OpenAI 为其 API 增加了可选的 12 小时提示词缓存设置,使开发者能够保留共享指令、工具和上下文,以便在相隔数小时的多个请求中重复使用。 OpenAI 表示,重复使用缓存输入的请求可以享受较低的缓存输入费率。该公司称,较长的缓存时长适用于全天持续重复使用上下文的持久型智能体。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月21日
  1. OpenAI 在 API 中新增可选的 12 小时提示缓存

    现在,你可以在 API 中选择使用 12 小时提示缓存。 像 dots 这样的持久化智能体可以在一天中反复使用上下文。 你可以让共享指令、工具和上下文保持缓存更长时间,并按较低的缓存输入费率付费,即使请求间隔数小时也不例外。

明早 08:00 把这样一份日报发到你邮箱

和上面这份一样:几件值得看的事。免费,点确认信之后才会开始发送,每封信都能一键退订。 看一份往期日报

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。

继续阅读

最新日报 · 第 27 期TorchNeuron 为 AWS Trainium 上的 Hugging Face 模型带来原生 PyTorch 支持

正在热议

  1. 1DeepSeek 开源 DeepInfer 和 API 组件,但模型与硬件支持有限
  2. 2Mistral 发布 Voxtral 3 语音模型、语音代理 API 和基于 LiveKit 的 SDK
  3. 3OpenAI 收购 Orchestra Bio,以支持药物开发
  4. 4OpenAI 在 ChatGPT 中推出锁定聊天功能,支持 PIN 码和生物识别访问