阅读
工具
关于
Nathan Lambert 为 AAv5 指数和开放模型辩护。他认为,关于开放模型已走向衰落的说法被大大夸大了,同时承认此前的 AA 指数对它们有所偏袒。 Lambert 表示,基准测试比通常认为的更杂乱、更带主观判断,也更棘手。他呼吁推出更具体的智能指数,因为 LLM 被用于截然不同的任务。
AI 根据报道生成 · 5 分钟前更新
2 个进展
沿着报道,了解事件的不同侧面。
开放模型的消亡被大大夸大了,但之前的 AA 指数确实对它们有所美化。作为一个行业,我们需要更具体的智能指数,因为 LLM 被用于差异极大的任务。 我对基准测试行业的元评述。 https://t.co/7lT09ijAqj
我觉得有必要同时为 AAv5 指数和开放模型辩护。基准测试比大多数人所认为的更复杂、更带有主观判断,也更棘手。
模型发布、价格变化、算力进展,附原始来源。免费,确认后开始发送,随时一键退订。 看一份往期日报
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。