Nathan Lambert 表示，开放模型的消亡被大大夸大了

发生了什么

开放模型的消亡被大大夸大了，但之前的 AA 指数确实对它们有所美化。作为一个行业，我们需要更具体的智能指数，因为 LLM 被用于差异极大的任务。 我对基准测试行业的元评述。

接下来读什么

• 今日还有哪些重要变化Google DeepMind 发布 Genie 4，支持带原生音频的实时世界模拟

这件事到目前为止

Nathan Lambert 为 AAv5 指数和开放模型辩护。他认为，关于开放模型已走向衰落的说法被大大夸大了，同时承认此前的 AA 指数对它们有所偏袒。 Lambert 表示，基准测试比通常认为的更杂乱、更带主观判断，也更棘手。他呼吁推出更具体的智能指数，因为 LLM 被用于截然不同的任务。