Ai2 推出了 FairStress，这是一项基准测试，用于检验语言模型在维持决策、解释决策以及在内部激活中表征决策时是否存在人口群体差异；对 15 个模型的评估发现，它们放弃正确答案的倾向存在差异。该基准采用以平等为中心的公平性定义，并将 300 个场景扩展为 1,300 多万个测试用例，其中包括一个包含 50,000 个条目的 FairStress-Core 子集。
Ai2 报告称，在放弃正确答案方面，当身份信息是隐含的时，群体差距平均为 6.9 个百分点；当身份标签明确给出时，平均为 9.3 个百分点，这些差异更有利于被编码为少数群体的候选者。在涵盖三个模型系列的实验中，反事实思维链——一种考虑其他人口群体身份的推理方法——缩小了稳健性差距，同时在很大程度上保持了准确率，但并未消除所有不对称现象。
AI 根据报道生成 · 2 小时前更新
