Amazon SageMaker AI Introduces KV Cache-Aware Routing for Real-Time Endpoints
中文版本尚未就绪 · 显示原文
先了解这件事
Amazon SageMaker AI has introduced KV cache-aware routing for real-time endpoints, a new strategy that directs incoming requests to the specific instances holding the longest matching cached prompt while balancing current system load. In benchmark tests using Llama 3.1 70B Instruct models across seven ml.p5.48xlarge instances, the AWS Machine Learning Blog reported that this routing method reduced the p50 time-to-first-token by up to 97 percent and increased overall throughput by up to 234 percent when handling long prompts under load. The feature is available at no additional charge in all commercial AWS Regions that support SageMaker AI real-time inference. To utilize it, users must deploy a supported AWS vLLM container with KV cache events enabled.
AI 根据报道生成 · 10 小时前更新
接下来读什么
今日还有哪些重要变化OpenAI 发布 GPT-6.2 Astra 和 Sol报道时间线
沿着报道,了解事件的不同侧面。
- Amazon SageMaker AI 为实时终端节点新增 KV 缓存感知路由功能
Amazon SageMaker AI 为实时终端节点增加了 KV 缓存感知路由,在考虑负载的同时,将请求定向至报告持有最长匹配缓存提示词的实例。在 Llama 3.1 70B Instruct 模型于七个 ml.p5.48xlarge 实例上进行的与随机路由的基准测试对比中,该功能在长提示词和负载环境下,将 p50 首字延迟降低了高达 97%,吞吐量提升了高达 234%。此功能需要使用受支持的 AWS vLLM 容器并启用 KV 缓存事件。
每天一封,跟上 AI 的重要变化
模型发布、价格变化、算力进展,附原始来源。免费,确认后开始发送,随时一键退订。 看一份往期日报
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 1011月18日 06:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。