跳到正文
K = 0.731订阅

Artificial Analysis发布AA-Omniscience v1.1，更新题目并推出公开测试集

1篇报道 1个报道来源 3 小时前更新

先了解这件事

AI 综述

Artificial Analysis发布了AA-Omniscience v1.1，更新了其知识与推理基准测试；该公司表示，模型排名与v1版大体一致，但在更新后的数据集上，平均Net Score低了1.9分。 此次更新移除了已趋于饱和的题目，并修正了3,000道题数据集中的歧义。此外，Artificial Analysis在Hugging Face上推出了一个经过重新校准的300题公开测试集，并表示其难度与私有测试集相当。该公司报告称，公开与私有测试集Net Score之间的Pearson和Spearman相关系数均为0.99。

AI 根据报道生成 · 2 小时前更新

最新进展10月31日 08:01
Artificial Analysis发布AA-Omniscience v1.1基准测试更新Artificial Analysis · X

接下来读什么

今日还有哪些重要变化在 AWS GovCloud（美国）中使用 Amazon Bedrock 配置 ChatGPT 桌面应用

报道时间线

沿着报道，了解事件的不同侧面。

10月31日
  1. Artificial Analysis · X
    Artificial Analysis 发布 AA-Omniscience v1.1 基准测试更新

    Artificial Analysis 发布了 AA-Omniscience v1.1，更新了其知识与推理基准测试，采用包含 3,000 道题的数据集，并新增经过校准的 300 道公开题集。公开集与私有集的净得分之间，皮尔逊相关系数和斯皮尔曼相关系数均为 0.99。模型排名与 v1 大体一致，但在更新后的题集上，平均净得分低了 1.9 分。

每天一封，跟上 AI 的重要变化

模型发布、价格变化、算力进展，附原始来源。免费，确认后开始发送，随时一键退订。 看一份往期日报

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。