跳到正文

Ethan Mollick 呼吁设置人类基线,并质疑 GDPx 评分

1篇报道 1个报道来源 2 小时前更新

先了解这件事

AI 综述

Ethan Mollick 呼吁在 GDPx 基准测试中设置人类基线,并指出评分存在问题,同时仍称其为评估 AI 工作的一种有价值的方式。他欢迎 GDPx 接替 GDPval,但表示它需要像 GDPval 那样设置人类基线。 Mollick 表示,GPT-6 Pro 发现了评分中的错误。他还认为,GDPx 的 0% 分数掩盖了成功率之间具有经济意义的差异。

AI 根据报道生成 · 2 小时前更新

接下来读什么

今日还有哪些重要变化TypeSafe AI 与 Treg 发布由 Jev 驱动的开源人物搜索工具

报道时间线

沿着报道,了解事件的不同侧面。

11月2日
  1. Ethan Mollick 表示,GDPx 需要人类基准,并指出评分错误

    很高兴看到 GDPval 的后续版本可用于评估 AI 的工作,但它确实需要像 GDPval 那样的人类基准。 有意思的是,GPT-6 Pro 发现了评分中的一些错误。我也认为,0% 的分数掩盖了成功率上具有经济意义的差异。但它仍然是一个有价值的基准!https://t.co/mfKfsKzcpM https://t.co/DBqS9czZ8t

每天一封,跟上 AI 的重要变化

模型发布、价格变化、算力进展,附原始来源。免费,确认后开始发送,随时一键退订。 看一份往期日报

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。