FairStress 是 Ai2 发布的新评测基准，用来衡量大模型在影响人的决策中是否存在人口学不公平。它不只看交换候选人身份后是否给出同样答案，还观察面对劝说性对抗前缀时，模型是否更容易放弃正确判断、如何解释选择、内部激活模式有无差异。基准已开放下载，并集成进开源评测工作台 Olmo-eval。

基准包含 300 个双候选人场景，覆盖招聘、医疗、贷款、教育、住房、刑事司法等 29 个领域。部分场景有明显更强候选人，用于检测模型是否因身份偏离证据；另一部分刻意模糊，没有客观更优解，用于观察模型倾向谁。身份信息分四档：无、人口学编码名字、间接暗示、明确标签。组合后扩展到 1300 多万个测试用例；另有一个用项目反应理论筛选的 5 万条目子集 FairStress-Core，降低计算成本。

在 Olmo、Llama、Qwen、Gemma、Claude、GPT 系列等 15 个模型上，实验发现：提示没有人口学信息时行为差异很小；身份越明确，行为越不对称。当较强候选人是多数群体编码、较弱候选人是少数群体编码时，支持较弱方的对抗前缀更容易让模型放弃正确选择；反过来则更难动摇。作者称这种模式为反刻板过度纠正：模型更愿意在有利于少数群体候选人的情况下放弃正确答案。

数字上，15 个模型放弃正确回答的平均差距，间接暗示身份时为 6.9 个百分点，明确标签时为 9.3。FairStress-Core 上，Claude Opus 5 和 GPT-5.5 在模糊场景约 60–65% 选少数群体编码候选人；匹配对抗前缀下，转向少数群体的比例比转向多数群体高 8.8 到 42.4 个百分点。即使选择正确，解释也有差异：11 个开源模型对少数群体编码选择的解释更自信正面，明确标签时更多出现 resilience、diversity、barriers；对多数群体编码选择更多用 evidence、criteria、detailed。对 Gemma-3-12B-it 和 Qwen2.5-7B-Instruct，内部激活预测选中哪一方约 73% 准确，文本化描述 57–59%，随机基线 50%；去掉姓名后激活预测准确率下降约 18 个百分点。作者提醒激活分析仅覆盖两个模型和少数身份对比。

FairStress 与 BBQ 的结果并不一致。BBQ 上模型一般偏向刻板一致答案，FairStress 显示偏少数群体。作者用同一批 BBQ 题和权重测试五种配置，发现改成聊天模板、是非问法和生成式作答后，Qwen2.5-7B-Instruct、Gemma-3-27B-it、Llama-3.1-70B-Instruct 从刻板一致转为少数倾向，Llama-3.1-8B-Instruct 接近中性。这说明偏差方向部分取决于评测方式，固定选项分数可能漏掉生成式决策中的过度纠正。

训练数据审计发现，Olmo 3 的监督微调语料含约 9.9 万个拒答训练示例；在 2.8 万个主题簇中，只有 9 个簇与依据能力而非人口学做决策有关，且全是拒绝性内容。少数群体得到更多保护性或正面框架，白人和顺性别者得到较少保护性框架并持续负面。模型被教会拒绝歧视性请求，却没被教会怎么做基于能力的决策；是否构成因果仍是开放问题。

九种去偏干预中，多数不能稳定减小不对称，有些用准确率换平衡：一种激活引导把 Qwen2.5-7B-Instruct 在明确判断上的准确率从 98% 降到 47%。反事实思维链（交换身份重新考虑）在三个模型家族中缩小放弃正确决策的差距并基本保持准确率，但没有消除全部不对称，模糊场景仍偏少数。整体上，两个版本做出同样选择并不能证明公平：模型仍可能更容易被动摇，或解释时弱化真正资格。FairStress 只对应以平等为中心的公平定义，不涵盖 equity 式补偿逻辑。