Artificial Analysis Makes Time per Task Its Headline API Benchmark Metric

1篇报道 1个报道来源 3 小时前更新

中文版本尚未就绪 · 显示原文

先了解这件事

AI 综述

Artificial Analysis updated its API performance benchmark to make Time per Task the headline metric, measuring how long a model takes to complete a task rather than how quickly it streams tokens. The benchmark covers about 1,000 serverless endpoints and now includes agentic workloads. Artificial Analysis reports that default effort settings reduce task time and cost for several models while lowering their scores on the Intelligence Index.

AI 根据报道生成 · 2 小时前更新

接下来读什么

今日还有哪些重要变化Hugging Face 提议为 Transformers 制定模型集成契约

报道时间线

沿着报道，了解事件的不同侧面。

11月5日

01:34
Artificial Analysis · X
Artificial Analysis 将每项任务耗时作为其 API 基准测试的头条指标
Artificial Analysis 更新了其 API 性能基准测试，将每项任务耗时设为头条指标，衡量模型完成一项任务所需的时间，而非模型流式输出 token 的速度。该基准测试涵盖约 1,000 个无服务器端点，现已纳入智能体工作负载。Artificial Analysis 报告称，对若干模型而言，默认的努力程度设置可缩短任务耗时并降低成本，但这些模型在 Intelligence Index 上的得分也更低。

模型发布、价格变化、算力进展，附原始来源。免费，确认后开始发送，随时一键退订。看一份往期日报

本事件热度走势

可比范围当前: 9
可比范围峰值: 1011月5日 02:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。