ACM通信
计算伦理
在实践中运用数据科学伦理
来源:盖蒂图片社
对数据科学的评论集中在一个令人担忧的想法上:数据科学家没有认识到他们的力量，因此漫不经心地使用它。这些批评将对数据科学的合理担忧转化为对其从业者伦理意识的怀疑。对这些批评者来说，粗心大意和漠不关心解释了很多只有他们才能提供解决方案的问题。
这样的批评并不新鲜。在20世纪90年代，科学与技术研究(STS)的学者们对人工智能研究人员在软件中复制人类行为和组织功能的努力提出了挑战(例如，Collins3.)．当时的学术研究是可恶的:专家系统经常失败，批判性的研究人员认为，因为开发人员对他们打算引入工具的社会世界缺乏理解。6然而，在20世纪末，马克·阿克曼将其重新定义为“我们所知道的自己”之间的社会技术鸿沟必须支持社会和我们可以技术上的支持。”1他认为，人工智能的缺陷并不反映出研究人员缺乏关心，而是反映出如何应对社会世界的全部复杂性所面临的深刻挑战。然而，我们又回到了这里。
我们对数据科学家的采访让我们有理由认为，我们可以避免这种重复。尽管从业者很快指出，对数据科学的常见批评往往缺乏技术专一性，或依赖于对相关技术的错误理解，但他们也对批评者未能考虑到数据科学家已经作为日常工作的一部分进行的仔细思考和批判性反思表示了失望。这不仅仅是对受非专家的外部判断的怨恨。相反，这些数据科学家认为，简单的批评忽视了局外人在谈论道德时似乎想到的那种例行的审议活动。
道德规范在实践中
在试图让机器学习有用、有价值和可靠的东西的同时，数据科学家进行了无数的隐性伦理思考。例如，处理脏的和不完整的数据既是一个道德问题，也是一个实际问题。它需要做出一系列小的决定，这些决定往往令人担忧，每一步都要进行反思。这些数据是如何收集的?它是否捕捉到了所有的群体和所有感兴趣的行为?验证一个模型并确定一个可接受的错误率也是如此。数据科学家必须做什么才能向自己证明一个模型在部署时确实会表现良好?数据科学家如何确定报告的错误率是可容忍和可防御的?在对学习算法的选择做出更基本的决定时，伦理方面的考虑也出现了，在这种情况下，从业者经常努力寻找一种方法，使结果模型的性能最大化，同时也提供某种程度的可解释性。什么时候对模型进行有意义的查询的能力足够重要，足以证明某些性能成本的合理性? What kinds of decisionsand real-world effectsdrive data scientists to develop a model that they can explain, even if its decisions might be less accurate as a result?
这些都是困难的决定，数据科学家必须进行精心培养的判断。然而，许多数据科学家并不使用伦理的语言来谈论这些实践。他们可能会说到权衡，但他们主要谈论的是如何成为这样的人好他们所做的。在被直接问及“伦理”问题时，许多数据科学家表示，“这不是我的领域”，尽管他们利用广泛的价值观来解决棘手的矛盾。
对数据科学实践的广泛批评不能解释数据科学家之间实践、关注或努力的多样性。
对数据科学实践的广泛批评不能解释数据科学家之间实践、关注或努力的多样性。相反，他们经常假定无知或腐败的意图。我们经常遇到的数据科学家对他们听到的批评背后的情绪非常同情，但他们感到被诽谤和误解，他们的努力没有得到承认，并对不可行的模糊建议感到沮丧。外人对“伦理”一词的使用表明，规范问题必须独立处理，或置于技术实践之上，而没有注意到伦理考量嵌入了数据科学家的日常工作中。
即使在试图更明确地解决伦理问题时，从业者也面临着艰难的权衡。一位受访者描述了一个两难的选择，是否“知道”模型中个体的性别，有了这些信息，他可以检查他的模型是否可能表现出某种性别偏见;如果没有它，他可以声称这个敏感属性没有计入模型。其他关注数据中的性别偏见的研究人员试图建立技术干预措施来解决这些问题，5但这种方法需要牺牲隐私，以构建一个可行的公平补救措施，这一决定本身就存在挑战。4
道德是不够的
批评人士强调数据科学影响的严重性是正确的。正如凯西·奥尼尔所指出的数学毁灭武器，8强大的组织正在利用数据科学来实现可能扩大不平等和破坏民主决策的目标。她呼吁数据科学家认识到他们是如何被使用的，并阻止他们的技能被滥用。
不幸的是，某些问题可能源于真正的价值冲突，而不仅仅是对所涉价值缺乏关注。在过去的一年里，一场关于数据科学在刑事司法中的应用的辩论展开了。在刑事司法中，法院依靠风险评分来决定谁应该在候审期间被释放。风险很高:被保释的人更有可能保住他们的工作、房子、孩子和配偶;那些不认罪的人更有可能认罪，即使他们是无辜的。
一组数据科学家ProPublica在佛罗里达州布劳沃德县，没有再犯的黑人被告被错误贴上再犯高风险标签的可能性是白人被告的两倍。2他们认为，该系统表现出明显的种族偏见，因为错误给黑人被告带来的代价要大得多，他们更有可能被错误地监禁，而白人被告更有可能被释放，但仍会再犯。进行风险评估的公司Northpointe(现在的Equivant)反驳说，他们的工具在预测黑人和白人被告的再犯方面同样准确。从那时起，计算机科学家和统计学家就直觉公平感可能暗示的不同品质展开了争论:风险评分在预测不同种族成员的再犯可能性方面是同样准确的;不同群体的成员被错误预测再犯的几率是一样的;或者在不同群体中，预测再犯的失败发生率是一样的。虽然这些对公平分数的期望似乎都是互补的要求，但最近的研究表明，在大多数情况下，同时满足这三个要求是不可能的;第二次会议意味着不能遵守第三次会议。4，7即使Northpointe对假阳性和假阴性率的差异更加敏感，处理这种情况的适当方法可能也并不明显。对某些公平属性的偏爱可能只是反映了价值观的差异，而不是未能认识到所涉价值。有一件事是肯定的:数据科学的这种使用已经引发了一场激烈的辩论，表明我们的规范承诺没有很好地表达，模糊值将很难通过计算解决，现有的伦理框架可能无法为数据科学挑战提供明确的答案。
走向建设性的合作
关于数据科学的批评文章采取了一种自相矛盾的立场，坚持认为规范问题贯穿于所有与数据有关的工作，而没有解决数据科学家的道德代理问题。批评者需要考虑数据科学家如何学习思考和处理这些权衡，而实践数据科学家需要更加坦诚地面对影响他们决策和系统的所有小选择。
技术执行者在理解其分析的局限性方面往往比批评家要复杂得多。在很多方面，数据科学家的工作是一种定性实践:他们被要求解析一个无定形的问题，整理一堆乱七八糟的数据，并使其易于系统分析。为了做好这项工作，他们必须不断努力理解数据及其分析的轮廓和局限性。从业者希望他们的分析是准确的，他们深受有效性测试的限制、可重复性问题和他们方法的缺点的困扰。
许多数据科学家也对那些没有经过严格训练就进入该领域的人，以及那些通过不负技术或社会责任的有前景的分析来参与炒作的人深感不安。这样，他们就应该成为批评者的盟友。两者都看到了这个领域内细微差别的必要性。不幸的是，将批评普遍化可能会破坏批评者与数据科学家合作的机会，从而有意义地解决一些最紧迫的问题。
当然，即使数据科学家在他们的工作中很小心，并寻求与批评者打交道，他们也可能没有做好充分的准备来考虑这类工作所引发的全部伦理问题。事实上，很少有人是这样的。我们的研究表明，数据科学家所依赖的非正式网络是容易出错的、不完整的和不充分的，这常常让数据科学家自己感到沮丧。
技术执行者在理解其分析的局限性方面往往比批评家要复杂得多。
为了弥补Ackerman 20年前警告的社会技术差距，数据科学家和评论家需要学会欣赏彼此的知识、实践和限制。不幸的是，很少有地方可以进行这样的学习。许多数据科学家觉得批评者只是说说而已在他们。当我们问一名线人为什么他不试图反驳时，他解释说，社会科学家和人文学家被教导要辩论，而他不是。他说，评论家因公开发表言论而获得奖励，因写面向普通读者的文章而获得奖励。这不是他的技能，也不是他的同龄人所认可的高效率。
数据科学家和批评者之间的差距很大，但脱离实践的批评只会增加差距。数据科学家，作为最接近工作的人，通常是解决伦理问题的最佳人选，但他们通常需要那些愿意花时间了解他们在做什么以及他们的实践面临的挑战的人的帮助。我们必须共同努力，让已经是数据科学重要组成部分的审议公开化。这样做将揭示数据科学家和他们的批评者之间更多的共同点，并为阐明共同价值观提供一个有意义的基础。
参考文献
1.CSCW的智力挑战:社会需求和技术可行性之间的差距。人机交互15，(23)， 2000, 179203。
2.Angwin, J.等。机器的偏见。ProPublica。(2016年5月23日);https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
3.柯林斯,莫莱森人工专家:社会知识和智能机器。麻省理工学院出版社,1993年。
4.Corbett-Davies, S.等。一个用于保释和量刑决定的电脑程序被贴上了歧视黑人的标签。其实不是很清楚。华盛顿邮报》(2016年10月17日);https://www.washingtonpost.com/news/monkey-cage/wp/2016/10/17/can-an-algorithm-be-racist-our-analysis-is-more-cautious-than-propublicas/
5.费尔德曼等人。验证和消除不同的影响。在廿一年会议记录圣ACM SIGKDD知识发现和数据挖掘国际会议,(2015), 259268。
6.赫斯，D.J.编辑简介，《研究那些研究我们的人:人工智能世界中的人类学家》。斯坦福大学出版社，2001年。
7.Kleinberg, J.， Mullainathan, S.和Raghavan, S.风险分数公平确定中的内在权衡。Arxiv.org．2016;https://arxiv.org/abs/1609.05807
8.奥尼尔,C。数学毁灭的武器:大数据如何增加不平等和威胁民主。皇冠,2016年。
9.liobaité I.和Custers, B.使用敏感的个人数据对于避免数据驱动决策模型中的歧视可能是必要的。人工智能与法律， 2(2016年2月)，183201。
数字图书馆是由计算机协会出版的。版权所有©2017 ACM, Inc.
没有发现记录