ACM通信

机器学习中公平前沿的快照

在过去的十年里，机器学习应用的多样性以及这些应用的导入都有了巨大的增长。机器学习不再只是广告植入和垃圾邮件过滤器背后的引擎;它现在被用于筛选贷款申请人、部署警察、通知保释和假释决定等。其结果是一个主要问题，因为数据驱动的方法可能会引入和延续歧视性做法，并在其他方面是不公平的。这种担忧并不是没有理由的:一系列实证研究表明，数据驱动的方法可能在无意中既编码了现有的人类偏见，又引入了新的偏见。^{7，9，11，60}

回到顶部

关键的见解

与此同时，在过去两年里，学术界对研究公平和机器学习的兴趣出现了前所未有的激增。“公平与透明”从一个小众话题转变为每年都有少量论文发表(至少从佩德雷什的工作开始)⁵⁶到机器学习的一个主要子领域，完成一个专门的档案会议- acm FAT^*)．但是，尽管已经发表的工作数量和速度很快，我们对公平和机器学习相关的基本问题的理解仍处于起步阶段。公平应该意味着什么?在机器学习中引入不公平的原因是什么?我们应该如何修改我们的算法来避免不公平?我们必须要解决的相应的权衡是什么?

2018年3月，我们在费城召集了大约50名专家，他们来自学术界、工业界和政府部门，评估我们对机器学习中新兴的公平科学基础的理解状况，并确定那些似乎最紧迫的尚未解决的问题。当然，研讨会的目的并不是全面覆盖广阔的种植领域，其中很多都是经验之谈。相反，重点是理论工作，旨在为理解算法偏差提供科学基础。本文档抓住了所讨论的几个关键思想和方向。它并不是对该领域工作的详尽描述。

回到顶部

我们所知道的

甚至在我们精确指定“公平”的含义之前，我们就可以识别出常见的扭曲，这些扭曲会导致现成的机器学习技术产生直观上不公平的行为。这些包括:

1. 数据中编码的偏差。通常，我们手头的训练数据已经包含了人类的偏见。例如，在用于保释和假释决定的累犯预测问题中，目标是预测囚犯如果获释，是否会在固定的时间内继续犯下另一项罪行。但是我们没有谁犯罪的数据——我们有谁被捕的数据。我们有理由相信，逮捕数据——尤其是毒品犯罪的数据——偏向于少数族裔，而这些族裔的犯罪率更高。⁵⁹当然，机器学习技术是为了拟合数据而设计的，因此会自然地复制数据中已经存在的任何偏差。没有理由期望他们消除现有的偏见。
2. 最小化平均误差适合大多数人群。不同的人群在特征上有不同的分布，这些特征与我们试图预测的标签有不同的关系。例如，考虑基于高中数据预测大学表现的任务。假设有一个多数人口和一个少数人口。大多数人雇佣SAT导师，参加多次考试，只报最高分。少数民族则不然。我们自然会认为，大多数人的SAT分数更高，与少数族裔相比，他们与大学成绩的关系是不同的。但是如果我们训练一个群体盲分类器来最小化总体误差，如果它不能同时最优地拟合两个种群，它就会拟合大多数种群。这是因为——仅仅因为它们的数量——对于总体误差来说，与多数群体的拟合性比与少数群体的拟合性更重要。这导致了在少数群体中错误的分布不同(而且更高)。这种影响是可以量化的，并且可以通过协调一致的数据收集工作部分减轻。¹⁴
3. 探索的需要。在许多重要的问题中，包括累犯预测和药物试验，输入预测算法的数据取决于算法在过去所采取的行动。我们只观察犯人释放后是否会再犯。我们只观察药物在指定病人身上的疗效。学习理论告诉我们，为了在这种情况下有效地学习，我们需要探索——也就是说，有时为了收集更多的数据，我们需要采取我们认为是次优的行动。这至少导致了两个截然不同的伦理问题。首先，在什么情况下，个别勘探成本会不成比例地由特定的亚群体承担?其次，如果在某些情况下(例如，医疗)，我们认为对任何特定的患者采取我们认为是次优的行动是不道德的，这种学习速度会有多大，这会导致其他类型的不公平吗?

公平的定义。除了少数例外，迄今为止，机器学习中关于公平性的绝大多数工作都集中在批量分类任务上。在较高的水平上，这篇文献主要关注两个主要的定义家族:^一个统计的公平概念和个人的公平概念。我们简要回顾了关于这些公平方法的已知情况，它们的优点和缺点。

公平的统计定义。大多数关于公平分类的文献都集中在公平的统计定义上。这个定义系列固定了一小部分受保护的人口统计学群体G(如种族群体)，然后要求在所有这些群体之间的一些统计度量(近似)相等。常用的测量方法包括原始阳性分类率，在Calders等工作中考虑，¹⁰Dwork,¹⁹费尔德曼²⁵Kamishima,³⁶(有时也被称为统计平价，¹⁹假阳性和假阴性率^{15，29，46，63}(有时也被称为均等几率²⁹)和正预测值^15，46(与使用真实风险值评分时的均衡校准密切相关)。还有其他的，比如博克岛⁴以获得更详尽的枚举。

考虑到现有公平概念的局限性，有没有一种方法可以“两全其美”?

这个公平定义系列很有吸引力，因为它简单，并且可以在不对数据做任何假设的情况下实现该系列的定义，并且很容易验证。然而，公平的统计定义本身并不能为受保护人口群体中的个人或结构化子群体提供有意义的保证。相反，他们为受保护群体中的“普通”成员提供担保。(见Dwork¹⁹因为统计上的均等和类似的概念无法提供有意义的保证的一连串方式，以及卡恩斯⁴⁰例如，这些弱点如何延续到平衡假阳性和假阴性率的定义。)衡量公平的不同统计方法可能彼此不一致。例如，Chouldechova¹⁵和jonkleinberg⁴⁶证明一个基本的不可能结果:除非在琐碎的设置中，不可能同时在受保护的组中平衡假阳性率、假阴性率和阳性预测值。受统计公平性约束的学习在计算上也很困难，⁶¹尽管人们已经知道了各种各样的实用算法。^1，29，63

公平的个人定义。另一方面，个人的公平概念要求约束特定的个人对，而不是在群体中平均的数量。例如，Dwork¹⁹给出了一个大致对应于“相似个体应被相似对待”约束的定义，其中相似性是根据特定于任务的度量标准定义的，必须根据具体情况确定。约瑟夫³⁵提出了一个大致对应于“不太合格的个体不应该比更合格的个体更受青睐”的定义，其中质量是根据真实的底层标签(算法未知)定义的。然而，尽管这些定义的语义可能比统计方法更有意义，但主要的障碍是它们似乎需要做出重大假设。例如Dwork的方法¹⁹假设存在一个公认的相似度度量，其定义本身似乎需要在公平中解决一个非平凡的问题，以及约瑟夫的方法³⁵似乎需要对特征和标签之间关系的函数形式进行强有力的假设，以便有效地付诸实践。这些障碍非常严重，目前还不清楚个人的公平观念是否可以付诸实践——尽管试图弥合这一差距是一项重要的、正在进行的研究议程。

回到顶部

研究前沿的问题

考虑到现有公平概念的局限性，有没有一种方法可以“两全其美”?换句话说，这些约束实际上是可以实现的，不需要对数据或算法设计者的知识做出强有力的假设，但却为个人提供了更有意义的保证?卡恩斯最近的两篇论文⁴⁰和Hebert-Johnson^30.(参见卡恩斯⁴²和金⁴⁴对于这些论文中提出的算法的经验评估)，尝试通过要求统计公平性定义不仅适用于少数受保护群体，而且适用于由某一类有限复杂性函数定义的指数级或无限级群体。这种方法看起来很有希望——因为，最终，他们要求的是公平的统计概念——这些论文提出的方法享受了统计公平的好处:不需要对数据进行假设，也不需要任何外部知识(如公平指标)。它还更好地解决了对“跨部门性”(intersectionality)的担忧，这个术语用来描述处于几个受保护阶层交汇处的个人，不同种类的歧视如何叠加和相互作用。

同时，该方法还提出了许多其他问题:哪些函数类是合理的，一旦决定了一个函数类(例如，受保护属性的连接)，应该“保护”哪些特性?这些属性应该仅仅是它们本身敏感的属性，比如种族和性别，还是那些本身无害的属性对应于我们希望保护的群体，一旦我们考虑到它们与受保护属性的交叉(例如服装风格与种族或性别交叉)?最后，这一系列方法极大地缓解了统计公平概念的一些弱点，因为它要求约束不仅适用于少数粗略定义的群体，而且适用于非常精确定义的群体。然而，最终，它也继承了统计公平的弱点，只是在更有限的范围内。

最近的另一项工作旨在削弱Dwork中个人公平概念所需的最强假设:¹⁹也就是说，算法设计者对“公平性度量”有充分的了解。金⁴⁵假设该算法可以访问一个oracle，该oracle可以根据未知的公平性度量返回两个随机抽取的个体之间的距离的无偏估计量，并展示如何使用它来确保与Hèbert-Johnson相关的公平性统计概念^30.卡恩斯,⁴⁰非正式地说，“平均而言，如果两个群体中的个体平均而言是相似的，那么两个群体中的个体应该受到相似的对待”，这可以在指数级或无限大的群体集上实现。同样,Gillen²⁸假设存在一个oracle，它可以识别在线环境中的公平性违规行为，但不能量化违规的程度(相对于未知的度量)。结果表明，当度量来自一个特定的可学习族时，这种反馈足以在只有有限数量的违反公平性度量的情况下获得绑定到最佳公平分类器的最优遗憾。Rothblum⁵⁸考虑了指标已知的情况，并表明pac启发的指标公平性近似变体可以推广到从相同底层分布中提取的新数据。然而，最终，这些方法都假设公平是根据某些指标完美定义的，并且存在某种直接访问它的方式。这些方法是否可以推广到一个更“不可知论”的环境中，在这种环境中，公平反馈是由可能没有以任何指标一致的方式回应的人给出的?

数据演化与公平性动态。计算机科学中关于算法公平性的绝大多数工作都集中在一次性分类任务上。但真正的算法系统是由许多不同的组件组合在一起组成的，并且在动态变化的复杂环境中运行，有时是因为学习算法本身的动作。为了在这一领域取得进展，我们需要了解在更复杂的系统中公平的动态。

也许动力学最简单的方面仍然不为人所知，那就是如何以及何时可以单独满足公平概念的组件组合成更大的结构，仍然满足公平保证。例如，如果广告拍卖中的竞标者在各自的投标决定方面是公平的，那么什么时候广告的分配是公平的，什么时候不是?鲍尔⁸和Dwork^20.已经在这个方向上做了初步的尝试。这些论文对组合条件下的公平性进行了系统研究，发现多个公平成分的组合往往不满足任何公平约束。同样，一个公平制度的各个组成部分单独来看可能是不公平的。有一些特殊的设置，例如，Bower的“过滤管道”场景⁸-模拟一个场景，在这个场景中，应聘者只有在流水线的每个阶段都被选中才会被选中，其中统计公平概念(乘法近似)以一种良好的方式组成。但这些作品传达出的高层次信息是，我们目前对公平的概念并不完善。差异化隐私体验^21，22这表明组合下的优雅退化是设计复杂算法的关键，因为它允许算法设计和分析是模块化的。因此，找到令人满意的公平定义和在组合下表现良好的更丰富的框架似乎很重要。

在处理社会技术系统时，理解算法如何动态地影响它们的环境，以及人类参与者的激励也是很重要的。例如，如果对一群人来说，标准(例如大学录取)降低了，随着时间的推移，这可能会增加这群人的平均资格，因为至少有两个影响:下一代中更大比例的孩子成长在父母受过大学教育的家庭中(以及这提供的机会)，大学教育是可以实现的，这一事实可以激励他们努力学习。在一次性学习环境中，当考虑统计或个人公平概念时，不会考虑这些影响。

关于平权法案的经济学文献长期以来一直在考虑这种影响——尽管没有考虑到机器学习的具体细节:例如，看看贝克尔，^3.外套,¹⁶福斯特。²⁶最近，已经有了一些初步的尝试，在机器学习环境中建模这些类型的影响，例如，通过将环境建模为马尔可夫决策过程，³²考虑到在劳动力市场模型中强加公平的统计定义的均衡效应，³¹指定分类结果与质量之间的函数关系，⁴⁹或者通过考虑分类器对下游贝叶斯决策者的影响。³⁹然而，大多数这类模型的具体预测对于所做的具体建模假设是脆弱的——它们指出需要考虑长期动态，但没有为如何驾驭它们提供强有力的指导。这里需要做更多的工作。

最后，决策通常是由许多拥有不同目标的参与者共同做出的，这些参与者不一定相互协调。在这样的情况下，我们不能直接控制决策过程，考虑如何激励理性的代理人以我们认为公平的方式行事是很重要的。Kannan³⁷在这个任务中进行了初步的尝试，展示了如何在一个简单的、程式化的设置中激励个人公平的特定概念，使用小额货币支付。但对于其他公平概念，以及更复杂的环境，这应该如何发挥作用呢?这是否可以通过控制信息的流动，而不是通过货币支付来实现(在各种与公平相关的环境中，货币支付可能令人反感)?这里也需要更多的工作。最后,Corbett-Davies¹⁷从福利最大化的角度看待分类的公平性，并描述强加额外统计公平性约束的成本。但这是在静态环境中完成的。在动态模型下，结论会如何变化?

建模和纠正数据中的偏差。在可用的训练数据已经受到偏见污染的情况下，公平性问题通常会浮出水面。数据本身往往是对某些群体不利的社会和历史过程的产物。当在这些数据中进行训练时，现成的机器学习技术可能会重现、加强并可能加剧现有的偏见。理解偏见是如何在数据中产生的，以及如何纠正它，是机器学习公平性研究的基本挑战。

Bolukbasi⁷演示了机器学习如何在对谷歌新闻文本语料库训练的流行词2vec嵌入的分析中重现偏见(Caliskan独立地发现了类似的效果¹¹)．作者表明，经过训练的嵌入者表现出女性/男性的性别刻板印象，学习“医生”与男性更相似，而不是女性，以及诸如“男人与计算机程序员，就像女人与家庭主妇”之类的类比。即使这种学习关联准确地反映了源文本语料库中的模式，在自动化系统中使用它们可能会加剧现有的偏见。例如，在嵌入识别为与男性相关的职位相关的查询中，它可能会导致男性求职者的排名高于同等资格的女性求职者。

只要存在反馈循环的可能性，就会出现类似的风险。在这些情况下，经过训练的机器学习模型为决策提供信息，然后影响为训练过程的未来迭代收集的数据。亮度⁵¹演示如果使用逮捕数据来训练模型，在预测警务中可能出现的反馈循环。^b简而言之，由于警察可能会在警力更密集的地区逮捕更多的人，因此使用逮捕数据来预测犯罪热点将不成比例地将警务工作集中在已经警力过多的社区。继续分析，少尉²⁴发现结合社区驱动的数据，如犯罪报告，有助于减弱偏见反馈效应。作者还提出了一种通过根据警务强度调整逮捕次数来计算反馈的策略。当然，缓解策略的成功取决于这个简单的理论模型在多大程度上反映了犯罪强度、警务和逮捕之间的真实关系。有问题的是，这种关系通常是未知的，而且很难从数据中推断出来。这种情况绝不是预见性治安所特有的。

纠正数据偏见通常似乎需要了解测量过程是如何有偏见的，或者需要判断数据在“无偏见”的世界中会满足哪些属性。fiedl的用于检查电子邮件地址²⁷将此形式化为观察到的空间-在数据中观察到的特征，如SAT分数和不可观察到的特征构建空间-构成决策所需基础的特征，如智力。在这个框架内，数据校正工作试图消除导致这些空间之间差异的偏置机制的影响。由于无法凭经验推断出偏倚机制，任何校正工作都必须明确其对这一机制的基本假设。对于构造空间，我们究竟假设了什么?建构空间与观测空间之间的映射什么时候可以学习并反转?这种修正促进了何种形式的公平，其代价又是什么?成本往往是立竿见影的，而收益则不那么明显。我们将直接观察到预测精度的降低，但任何提高都取决于这样一种信念，即我们所观察到的世界不是我们首先应该寻求准确复制的世界。在这个领域，因果关系的工具可能提供了一种有原则的方法，可以在未观察到的反事实的“公平”世界中得出有效的推理。

在可用的训练数据已经受到偏见污染的情况下，公平性问题通常会浮出水面。

公平的表征。公平表示学习是一种数据去偏过程，它产生原始数据的转换(中间表示)，尽可能多地保留与任务相关的信息，同时删除有关敏感或受保护属性的信息。这是一种将有偏见的观测数据(其中组成员关系可以从其他特征推断出来)转换为构造空间的方法，其中受保护的属性在统计上独立于其他特征。

首先在泽梅尔的著作中介绍⁶⁴公平表示学习产生一个去偏见的数据集，原则上其他各方可以使用该数据集，而不会产生任何不同结果的风险。费尔德曼²⁵和麦克纳马拉⁵⁴通过展示决策规则的不同影响是如何以其平衡错误率作为敏感属性的预测因子来限定的，从而形式化这一思想。

最近的几篇论文介绍了构建公平陈述的新方法。费尔德曼²⁵提出修复特征的秩保持程序，以减少或消除与受保护属性的成对依赖关系。Johndrow³³在此基础上，引入一种基于可能性的方法，该方法还可以处理连续的受保护属性、离散的特征，并促进转换后的特征和受保护属性之间的联合独立性。也有越来越多的文献使用对抗学习来实现群体公平，以统计对等或假阳性/假阴性率平衡的形式。^{5，23，52，65}

现有理论表明，公平表征学习的公平促进效益严重依赖于转换后的特征和受保护的特征之间的现有联系被去除的程度。如果对抗性下游用户的模型比最初用于混淆数据的模型更强大，则他们可能能够恢复受保护的属性信息。这对公平陈述的产生者以及负责证明所得数据可公平使用的审计师和监管机构都提出了挑战。需要做更多的工作来理解公平代表学习对促进现实世界公平的影响。

除了分类。尽管机器学习中关于公平性的大部分工作都集中在批量分类上，但这只是机器学习如何使用的一个方面。大部分机器学习——例如，在线学习、强盗学习和强化学习——都集中在动态设置上，在这种设置中，算法的动作会反馈到它观察到的数据中。这些动态设置捕捉到了许多需要考虑公平性的问题。例如，贷款、犯罪再犯预测和连续药物试验都是所谓的强盗学习问题，在这些问题中，算法无法观察到与反事实对应的数据。我们看不出没有获得贷款的人是否会偿还贷款。我们看不出一个没有假释的犯人是否会继续犯罪。我们无法看到病人对不同的药物会有什么反应。

大部分机器学习都专注于动态设置，在这种设置中，算法的动作会反馈到它观察到的数据中。这些动态设置捕捉到了许多需要考虑公平性的问题。

强盗环境下的学习理论很好理解，它的特点是需要权衡探索与剥削。当无法观察到反事实时，算法有时有必要采取看似次优的行动，以收集更多的数据，而不是总是做出短视的最优决策。但在决策与个人相关的环境中，这意味着为了未来个人的潜在利益而牺牲某个人的福祉。这有时是不道德的，是不公平的来源。⁶最近的几篇论文探讨了这个问题。比如巴斯塔尼²和Kannan³⁸给出线性学习者在强盗环境中根本不需要探索的条件，从而允许为每个到达的人提供最大努力的服务，消除个人道德对待和学习之间的紧张关系。Raghavan⁵⁷与探索相关的成本可能会被一个结构化的子群体不公平地承担，而且与直觉相反，当这些成本被包括在大多数人群中时，实际上会增加，即使更多的数据会提高整体学习速度。然而，这些结果都是初步的:它们局限于学习者学习线性策略的设置，而数据实际上是由线性模型控制的。虽然只是说明，但还需要做更多的工作来理解在线环境下的真实世界学习，以及探索的伦理。

还有一些关于机器学习在其他环境中的公平性的工作，例如，排名，¹²选择,^42，47个性化、¹³班迪特学习,^34，50人分类混合决策系统，⁵³还有强化学习。^18，32但在分类之外，相关文献相对稀少。这应该得到纠正，因为在其他环境中出现了有趣而重要的公平问题——特别是当可以选择执行一项任务的个体集存在组合约束时，或者当学习存在时间方面时。

回到顶部

致谢

本材料是基于美国国家科学基金会在1136993号资助下所设想的工作。这里表达的任何观点、发现、结论或建议都是作者的观点，并不一定反映美国国家科学基金会的观点。

我们非常感谢CCC愿景研讨会的所有参与者;那次会议的讨论决定了这份文件的各个方面。同时，我们还要感谢Helen Wright, Ann Drobnis, Cynthia Dwork, Sampath Kannan, Michael Kearns, Toni Pitassi和Suresh Venkatasubramanian。

数字请在独家报道中观看作者对这项工作的讨论通信视频。//www.eqigeno.com/videos/frontiers-of-fairness

回到顶部

回到顶部

回到顶部

数字图书馆是由计算机协会出版的。版权所有©2020 ACM, Inc.

没有找到条目