Artificial Analysis 推出决策指数,用于对比决策模型与语言模型的基准表现
Artificial Analysis 推出了 Decision Index v1.0,用于比较决策模型在分类、工具调用、知识和推理方面的能力、成本与速度。Jev 1.13 以 58 分领跑决策模型;Claude Haiku 5.5 (Low) 得分为 61,但每项任务耗时 1.4 秒,而决策模型耗时 0.13 秒;每百万项任务的成本为 184 美元,而决策模型为 42 美元。领先的决策模型在分类和工具调用方面表现与语言模型相当,但在知识和推理方面落后;在这两项任务中,它们给出的答案概率通常高于其准确率。
