Property Finder 如何修正评估偏差，以便在 Amazon Bedrock 上比较模型

发生了什么

Property Finder 发现，其 96.8% 的评估标签来自现用模型，导致与其他模型的比较存在偏差。团队制作了专家标注并优化提示词，最终选定了 Amazon Bedrock 上的 Llama 4 Maverick 17B Instruct，预计成本降低 86%。在 356 张图像上，Micro F1 达到 0.80，高于现用模型的 0.56；但评估纳入了开发集图像，且各模型的调优投入不同，因此这些分数可能偏乐观。

接下来读什么

• 今日还有哪些重要变化GPT-6.1 Terra 正式发布

这件事到目前为止

据AWS Machine Learning Blog报道，Property Finder将模型生成的评估标签替换为专家标注，并优化提示词，随后在Amazon Bedrock上选择了Llama 4 Maverick 17B Instruct，预计成本降低86%。 团队发现，96.8%的评估标签来自其现有模型，这使与其他模型的比较产生偏差。Property Finder与AWS Generative AI Innovation Center合作，构建了由专家标注的真实数据集，并采用进化式提示词优化，为其视觉模型选择提供支持。 在一项包含356张图像的评估中，所选模型的Micro F1分数为0.80，而现有模型为0.56。不过，评估包含了开发期间使用过的图像，而且各模型投入的调优工作量不同，因此报告的分数可能偏高。