METASTONE 推出 TokenFleet 推理调度器，称首 token 时间 P95 降低 32.4%

发生了什么

METASTONE 发布了 TokenFleet，这是一套分布式推理调度框架，结合了缓存感知的请求路由、跨数据中心的容量协调以及混合工作负载管理。公司提供的 GLM5.3 调优结果显示，在测试条件下，首 token 时间的 P95 降低了 32.4%，P50 降低了 71.3%。另有一项示例性计算估算，满足服务要求的输出吞吐量约提高 29.4%，而总输出吞吐量约提高 1.5%。

这件事到目前为止

METASTONE 发布了分布式推理调度框架 TokenFleet，并报告称，在公司提供的 GLM5.3 调优结果中，首 token 时间有所缩短。在测试条件下，P95 首 token 时间下降了 32.4%，P50 下降了 71.3%。 TokenFleet 结合了感知缓存的请求路由、跨数据中心的容量协调以及混合工作负载管理，以提升现有计算资源的有效产出。另有一项示例性计算估算，满足服务要求的输出吞吐量约提高 29.4%，而总输出吞吐量约提高 1.5%；这些估算与报告的 GLM5.3 调优结果相互独立。

继续阅读

正在热议

1. 1Mistral 发布 Voxtral 3 语音模型、语音智能体 API 和基于 LiveKit 的 SDK
2. 2DeepSeek 开源 DeepInfer 和 API 组件，但模型与硬件支持有限
3. 3OpenAI收购Orchestra Bio，拓展用于药物研发的AI工具
4. 4谷歌开始向 Android Auto 推出 Gemini 个人智能功能，搭载 Google Built-In 的汽车也将在之后支持