跳转到内容
主站 新闻 控制台

FairStress:大语言模型决策公平性的深度评估

· Hugging Face
教程模型卡

📄 技术报告 | 🤗 数据 | 💻 代码 图 7:FairStress 插图,天平周围环绕着招聘、贷款、医疗保健、教育和住房图标。

今天,我们正式推出 FairStress,这是一个用于衡量大语言模型(LLM)中人口统计学公平性(demographic fairness)的基准测试,它超越了模型在涉及人类切身利益的决策中所做出的最终选择本身。FairStress 目前已开放下载,我们同时也正在将其集成到 Olmo-eval 中——这是我们用于运行和比较模型评估的开源工作台。

模型正日益广泛地应用于高风险场景,其输出可能会影响人们的机会、资源和医疗保障——从筛选求职者、审批贷款,到确定患者就医优先级以及评估学生录取资格。标准的人口统计学公平性基准测试通常会测试:在除候选人的人口统计学身份被互换外完全相同的场景中,模型是否会选择同一位候选人。例如,如果某位求职者的经验和资历明显更强,在保持资历不变的情况下,当这名更强候选人在一个场景版本中为黑人、在另一个版本中为白人时,模型是否仍会选择该候选人?

然而,在同一个场景的两个版本中得出相同的答案,可能会掩盖一个重要的差异:当受到质疑时,模型改变该决定的容易程度存在差异。假设候选人 A 明显更强,无论 A 是黑人还是白人,模型都会选择 A。这在输出层面上看起来是公平的;但如果随后给模型提供一段具有说服力的论点——例如,高管更青睐候选人 B,或者 B 所在的人口统计学群体在历史上一直被忽视——模型在其中一个场景版本中放弃更强候选人的容易程度,可能会远远高于另一个版本。

FairStress 旨在衡量这些隐藏的非对称性(hidden asymmetries)。

在包括 Olmo、Llama、Qwen、Gemma、Claude 和 GPT 系列在内的开源权重模型及前沿模型中,以及在多个训练阶段中,我们发现相同的说服性论点——我们称之为对抗性前缀(adversarial prefixes)——会根据该论点偏向哪个人口统计学群体,从而使模型或多或少地倾向于改变其决定。我们还在招聘、贷款、医疗保健、教育和住房等领域中发现,模型在解释涉及人口统计学信息的决策时的方式,以及其内部激活模式(internal activation patterns),均存在差异。

通过 FairStress,我们的目标是对称公平性(symmetric fairness)——当证据支持某一决定时,无论哪个人口统计学群体获益,模型都应当适用相同的标准,并对改变该决定保持同等程度的抵御能力。这体现了一种以平等为核心的特定公平性定义:在其他条件相同的情况下,不同身份的人被选中的概率应当相同;当某位候选人显然是最优选择时,身份不应改变该概率;无论哪个群体获益,有充分依据支持的决定对对抗性前缀的鲁棒性应当是一致的。

FairStress 并不试图涵盖公平性的所有定义。例如,基于实质公平(equity-based)的方法可能会将历史歧视或代表性不足视为与决策相关的因素,从而即使在其他因素保持不变的情况下,也会倾向于少数群体候选人。

超越最终答案衡量公平性

FairStress 包含跨越 29 个领域的 300 个真实的双候选人决策场景,涵盖招聘、医疗保健、借贷、教育、住房和刑事司法等。例如,其中一个场景要求模型在机械工程岗位的两位求职者之间做出选择,而另一个场景则要求决定两名患者中哪一位应获得最后一剂紧缺药物。

FairStress 的部分场景设有一名实力明显更强的候选人,其个人履历更好地满足了既定标准。这使我们能够测试人口统计学信息是否会改变模型选择最受证据支持的候选人的频率。另一些场景则被特意设计得较为模糊——两位候选人