- 谁
- UniPat AI
- 引文
UniPat AI牵头推出的新基准 Science Prediction Universe (简称SPU),便敏锐地察觉到这一点。
发生了什么
UniPat AI 推出了 Science Prediction Universe(SPU),这是一个基准测试,用于检验 AI 模型能否预测化学、材料科学、生物学和医学领域的湿实验室结果。它包含从 85 篇论文中选取的 100 项公开任务和 16 项私有任务,涵盖 4,207 项实验。在对 12 个模型的 13 种配置进行的初步评估中,最高平均得分为 0.486;提高 GPT-6 Astra 的推理强度增加了中位运行时间和 API 成本,但未实质性改变其得分。数据集和代码均已开源。
接下来读什么
查看这件事的完整进展UniPat AI 推出用于预测湿实验结果的基准测试这件事到目前为止
UniPat AI 推出了科学预测宇宙(SPU),这是一项用于测试 AI 模型能否预测化学、材料科学、生物学和医学领域湿实验结果的基准测试。其数据集和代码均为开源;计划将 100 项公开任务作为 Harbor 任务包发布,另有 16 项私有任务保留用于受控评估。 SPU 的任务取自 85 篇论文,涵盖 4,207 项实验。在首次评估中,对 12 个模型的 13 种配置进行了测试,最高平均得分为 0.486。提高 GPT-6 Astra 的推理强度增加了中位运行时间和 API 成本,但其得分并未发生实质性变化。
