Nathan Lambert 为 AAv5 指数和开放模型辩护

发生了什么

我觉得有必要同时为 AAv5 指数和开放模型辩护。基准测试比大多数人所认为的更复杂、更带有主观判断，也更棘手。

接下来读什么

• 今日还有哪些重要变化Google DeepMind 发布 Genie 4，支持带原生音频的实时世界模拟

这件事到目前为止

Nathan Lambert 为 AAv5 指数和开放模型辩护。他认为，关于开放模型已走向衰落的说法被大大夸大了，同时承认此前的 AA 指数对它们有所偏袒。 Lambert 表示，基准测试比通常认为的更杂乱、更带主观判断，也更棘手。他呼吁推出更具体的智能指数，因为 LLM 被用于截然不同的任务。