发生了什么
Aravind Srinivas 强调了 Perplexity Orchestrator API 中基于决策模型的、与 KV 缓存兼容的路由功能。在引用贴中,Denis Yarats 表示该 API 提供了 45 多种开放权重模型和专有模型、自动供应商故障转移以及统一计费功能。Yarats 举例说明了路由过程:将良性安全和生物学任务,以及拒绝响应后的任何后续任务,从 Fable 5.2 路由至 GPT-6.1 Sol;在 Terminal-Bench 4.1 测试中,解决的任务数从 63 个中的 38 个提升至 41 个。
推荐理由
特定任务路由在保留 KV 缓存兼容性的同时,将拒绝响应及选定的安全或生物学任务发送至 GPT-6.1 Sol;引用的 Terminal-Bench 结果显示,已解决任务数从 63 个中的 38 个提升至 41 个。
KV-cache compatible decision-model based routing on Perplexity Orchestrator API
在 X 查看被引用的帖子we are launching the Orchestrator API: 45+ open-weight and proprietary models in one api, with automatic provider failover and unified billing.
general model routing doesn't really work in practice: it breaks the kv cache and is usually overfit to a few benchmarks. so we designed our routing api differently: it's kv cache friendly, and you decide which models to use for which tasks.
one example: fable 5.2 often refuses benign security and biology tasks, so we route those (and anything after a refusal) to gpt-6.1 sol. on terminal-bench 4.1 this goes from 38 to 41 solved tasks out of 63.
这件事到目前为止
Perplexity 推出了其 Orchestrator API,为开发者提供统一的计费方式以及对超过 45 种开源权重和专有 AI 模型的访问权限。该平台通过平衡能力、容量、延迟和可用性等因素,自动为每项任务选择最佳模型提供商。 Perplexity 首席执行官 Aravind Srinivas 表示,该服务具有兼容 KV 缓存的、基于决策模型的路由功能。据 Denis Yarats 称,该系统包括自动提供商故障转移功能,并允许根据特定任务类型(如处理安全或生物学查询)进行路由。在 Yarats 提供的一个示例中,将任务路由从 Fable 5.2 切换到 GPT-6.1 Sol,使得在 Terminal-Bench 4.1 上 63 个任务中的已解决任务数量从 38 个增加到了 41 个。
