跳到正文

Science Prediction Universe 基准测试将 AI 预测结果与湿实验室结果进行比较

量子位转述· 鹭羽·· 2 天前「史上最严」湿实验预测基准发布!推理拉满、算力翻5倍也白搭
打开原文
原文
谁
UniPat AI
引文
UniPat AI牵头推出的新基准 Science Prediction Universe (简称SPU),便敏锐地察觉到这一点。

发生了什么

UniPat AI 推出了 Science Prediction Universe(SPU),这是一个基准测试,用于检验 AI 模型能否预测化学、材料科学、生物学和医学领域的湿实验室结果。它包含从 85 篇论文中选取的 100 项公开任务和 16 项私有任务,涵盖 4,207 项实验。在对 12 个模型的 13 种配置进行的初步评估中,最高平均得分为 0.486;提高 GPT-6 Astra 的推理强度增加了中位运行时间和 API 成本,但未实质性改变其得分。数据集和代码均已开源。

接下来读什么

查看这件事的完整进展UniPat AI 推出用于预测湿实验结果的基准测试

这件事到目前为止

UniPat AI 推出了科学预测宇宙(SPU),这是一项用于测试 AI 模型能否预测化学、材料科学、生物学和医学领域湿实验结果的基准测试。其数据集和代码均为开源;计划将 100 项公开任务作为 Harbor 任务包发布,另有 16 项私有任务保留用于受控评估。 SPU 的任务取自 85 篇论文,涵盖 4,207 项实验。在首次评估中,对 12 个模型的 13 种配置进行了测试,最高平均得分为 0.486。提高 GPT-6 Astra 的推理强度增加了中位运行时间和 API 成本,但其得分并未发生实质性变化。

这条收录于 11月15日 AI 日报 · 头条看这一期日报的全部内容