跳到正文

Perplexity Orchestrator API 添加了支持 KV 缓存的决策模型路由

Aravind Srinivas · X转述· @AravSrinivas·· 10 小时前精选

6135 次浏览 · 29 赞 · 1 转发 (收录时)

原文

发生了什么

Aravind Srinivas 强调了 Perplexity Orchestrator API 中基于决策模型的、与 KV 缓存兼容的路由功能。在引用贴中,Denis Yarats 表示该 API 提供了 45 多种开放权重模型和专有模型、自动供应商故障转移以及统一计费功能。Yarats 举例说明了路由过程:将良性安全和生物学任务,以及拒绝响应后的任何后续任务,从 Fable 5.2 路由至 GPT-6.1 Sol;在 Terminal-Bench 4.1 测试中,解决的任务数从 63 个中的 38 个提升至 41 个。

推荐理由

特定任务路由在保留 KV 缓存兼容性的同时,将拒绝响应及选定的安全或生物学任务发送至 GPT-6.1 Sol;引用的 Terminal-Bench 结果显示,已解决任务数从 63 个中的 38 个提升至 41 个。

正文 · 中文版本尚未就绪(原文)

KV-cache compatible decision-model based routing on Perplexity Orchestrator API

引用Denis Yarats@denisyarats

we are launching the Orchestrator API: 45+ open-weight and proprietary models in one api, with automatic provider failover and unified billing.

general model routing doesn't really work in practice: it breaks the kv cache and is usually overfit to a few benchmarks. so we designed our routing api differently: it's kv cache friendly, and you decide which models to use for which tasks.

one example: fable 5.2 often refuses benign security and biology tasks, so we route those (and anything after a refusal) to gpt-6.1 sol. on terminal-bench 4.1 this goes from 38 to 41 solved tasks out of 63.

在 X 查看被引用的帖子

这件事到目前为止

Perplexity 推出了其 Orchestrator API,为开发者提供统一的计费方式以及对超过 45 种开源权重和专有 AI 模型的访问权限。该平台通过平衡能力、容量、延迟和可用性等因素,自动为每项任务选择最佳模型提供商。 Perplexity 首席执行官 Aravind Srinivas 表示,该服务具有兼容 KV 缓存的、基于决策模型的路由功能。据 Denis Yarats 称,该系统包括自动提供商故障转移功能,并允许根据特定任务类型(如处理安全或生物学查询)进行路由。在 Yarats 提供的一个示例中,将任务路由从 Fable 5.2 切换到 GPT-6.1 Sol,使得在 Terminal-Bench 4.1 上 63 个任务中的已解决任务数量从 38 个增加到了 41 个。

接下来读什么

查看这件事的完整进展Perplexity 发布了用于统一模型路由和计费的 Orchestrator API
这条收录于 11月18日 AI 日报看这一期日报的全部内容