跳到正文

TCSExam 评测 AI 智能体完成 100 项理论计算机科学研究任务的能力

雷锋网转述·· 17 小时前精选姚期智杨植麟首次联手给 AI 出的博士级题目,Kimi 多画出了「关键一条边」
打开原文
原文
谁
TCSExam research team
引文
为回答这个问题,他们提出 TCSExam,用 100 项理论计算机科学科研任务,测试前沿 AI Agent 能否证明定理、开发 Solver、构造数学对象,甚至挑战长期未解决的猜想。

发生了什么

一个联合研究团队推出了 TCSExam,这是一个包含 100 项理论计算机科学任务的基准,用于测试 AI 智能体在定理证明、求解器开发、数学构造和开放猜想方面的能力。该框架使用 Lean 4、程序检查器和检查点来验证结果,并区分部分进展与完整证明。文章还报告称,GPT-6 Astra 将关于 Alon–Jaeger–Tarsi 猜想的一个结果从五元素有限域上的 8 维扩展到了 9 维,而一般情形下的猜想仍未解决。

推荐理由

TCSExam 通过可独立检查的证书区分部分进展与完整结果;实验则显示当前智能体在证明规划和推广方面仍面临困难。

接下来读什么

查看这件事的完整进展Researchers Introduce TCSExam to Test AI on 100 Theoretical Computer Science Tasks

这件事到目前为止

A joint research team introduced TCSExam, a benchmark of 100 theoretical computer science tasks for evaluating AI agents. It tests theorem proving, solver development, mathematical constructions, and attempts at open conjectures, using Lean 4, program checkers, and checkpoints to verify results and distinguish partial progress from completed proofs. The report says GPT-6 Astra extended a result for the Alon–Jaeger–Tarsi conjecture from 8 to 9 dimensions over a five-element finite field. The general conjecture remains unresolved.

这条收录于 11月13日 AI 日报看这一期日报的全部内容