Nathan Lambert 权衡私有基准测试与开源

发生了什么

私有基准测试往往显示，开放模型落后得更多，但私有基准测试的问题在于，社区无法帮你解决那些不可避免的漏洞。我对私有还是开源哪种方式更好，持五五开的态度。

接下来读什么

• 今日还有哪些重要变化Google DeepMind 发布 Genie 4，支持带原生音频的实时世界模拟

这件事到目前为止

Nathan Lambert表示，私有基准测试通常显示开源模型落后更多，但对于私有基准测试和开源基准测试哪种方法更好，他仍然各占一半。 他对私有基准测试的担忧是，缺少社区帮助发现并修复他认为不可避免的漏洞。他在评估中权衡了这些测试对模型性能的发现，以及社区审查带来的益处。