ACM通信
的观点
可辩解的人工智能
来源:盖蒂图片社
人工智能的进步，特别是基于机器学习的进步，提供了从大型异构数据源提取有用模式的强大方法。海量数据的增长，加上强大的计算能力，使得解决以前难以解决的现实世界问题成为可能。医学、商业、政府和科学都在使用机器学习快速实现决策和流程自动化。与基于表达领域知识的显式规则的传统人工智能方法不同，机器学习通常缺乏产生模型输出的人类可理解的规则规范。随着对自动化决策的依赖日益加深，人们最关心的问题是理解“黑匣子”人工智能技术做出决策的过程。这就是所谓的可解释AI问题。2然而，打开黑盒子可能会导致意想不到的后果，就像打开潘多拉的盒子一样。
机器学习的黑箱
先进的机器学习算法，如深度学习神经网络或支持向量机，不容易被人类理解。它们的能力和成功源于生成高度复杂的决策模型的能力，该模型建立在对训练数据进行数百次迭代的基础上。5这些模型的性能取决于许多因素，包括培训数据的可用性和质量，以及数据科学家的技能和领域专业知识。机器学习模型的复杂性可能是如此之大，以至于连数据科学家都难以理解其底层算法。例如，深度学习被用于打败当时的围棋世界冠军的程序中，6然而，负责的数据科学家并不总是能理解算法是如何或为什么会这样运行的。
打开黑匣子需要提供人类可以理解的解释，解释模型为什么会做出决定以及它是如何工作的。
打开黑匣子需要提供人类可以理解的解释，解释模型为什么会做出决定以及它是如何工作的。其动机是确保决策是合理的、公平的和合乎道德的，并将“解释权”作为一项基本人权。7值得注意的是，欧盟的通用数据保护条例要求公司提供有关其程序逻辑的“有意义的信息”(第13.2(f)条)。目标是确保作为机器学习模型基础的规则、数据、假设和开发过程是可理解的、透明的，并且对尽可能多或必要的人(包括经理、用户、客户、审核员和公民)可访问。
可解释的AI挑战通常专注于如何打开AI的黑盒子;例如，通过考虑不同的特征如何对模型的输出做出贡献，或者通过使用反事实的解释来衡量如果一个特征缺失，模型输出会发生多大程度的变化。7我们提出一个很少被问到但很重要的问题:一旦有了打开黑匣子的机制，作为一个社会，我们该如何准备应对暴露AI模型产生输出的推理的后果呢?
可解释AI的潘多拉盒子
在希腊神话中，潘多拉的盒子指的是一个被释放出来的邪恶的容器，一旦盒子被打开就无法被控制。我们之所以采用这种类比，是因为尽管打开AI的黑箱可能会让机器学习模型变得透明，但这并不意味着模型底层的过程没有问题。就像在潘多拉的盒子里一样，当我们从AI的黑盒子移动到白盒子时，这些问题就会暴露出来。机器学习的可解释性是一个有价值的目标;然而，我们必须为结果做好准备。打开黑盒子可以隐喻地打开潘多拉的盒子，如图所示数字．
数字可解释AI的潘多拉盒子。
可解释AI的潘多拉盒子与关注可解释性的组织、客户、政府和公民以及机器学习开发团队相关。这些问题可能源于有缺陷的数据或模型设计，不透明或定义不清的组织过程，秘密或敏感信息，以及令人不安的组织真相。
有缺陷的数据或模型设计。机器学习模型的好坏取决于它们的训练数据。使用的训练数据的规模可能会阻止数据科学家充分评估其质量。随着组织越来越多地寻求将内部数据与来自外部来源(如社交媒体)的数据集成，评估这些数据的质量变得更加具有挑战性。此外，模型取决于数据科学家的许多决策，如果由缺乏经验的团队或缺乏深入领域知识的团队开发，这些决策可能是有缺陷的。然后，错误可能会潜入模型，并在公众监督下意外地暴露出来。4
这些问题甚至困扰着人工智能行业的领导者。例如，MD安德森公司测试了IBM沃森的根除癌症的使命。3.IBM的作用是使临床医生能够从丰富的患者和研究数据库中“发现有价值的见解”。然而，IBM的工程师训练软件的对象是假设的癌症患者，而不是真实的癌症患者。医学专家发现了不安全和不正确的治疗建议，包括给患有严重出血的癌症患者服用一种可能使其恶化的药物。
通过打开人工智能的黑箱，企业必须准备好为机器学习模型中的错误后果承担责任。一种令人不安的可能性是，客户或审计人员可能最先发现缺陷。暴露这些缺陷可能会令人尴尬，损害组织的声誉，甚至引发制裁和诉讼。增加对数据管理和机器学习模型开发质量的关注是势在必行的。
不透明或定义不清的组织过程。即使完美的数据也不能解决潘多拉的盒子问题。数据的好坏取决于产生数据的过程。准确而完整的数据可能会捕捉到组织的实际情况，但是制定决策的过程可能会有问题。一些组织过程被很好地指定和管理;另一些则可能是基于默契的规范和越轨或即兴的员工行为。组织可能并不完全了解生成机器学习模型所依据的培训数据的确切实践。
旨在打开机器学习黑盒子的可解释AI也可能是一个潘多拉的盒子。
人工智能的解释可能会揭示决策受到与明确的组织政策不一致的因素的影响。亚马逊取消了一项使用人工智能识别技术职位最佳求职者的计划，因为它发现模型对女性有偏见，因为培训数据主要由男性组成，反映了历史上的招聘实践。一个如果决策过程仍然是一个谜，那么在自动化决策过程时就需要谨慎。可解释的人工智能可能揭示令人不舒服或无法接受的现实。总的挑战是，考虑到要自动化的组织实践的种类，机器学习是否是一个合适的解决方案。对于现代机器学习来说，有些任务仍然很困难，比如自动化不寻常或特殊的情况。这对小型组织的影响尤其大，尽管数据丰富、日常工作稳定的大型公司也不能完全幸免，正如亚马逊招聘案例所表明的那样。
企业不能认为机器学习可以解决所有问题。在白盒(或透明)AI时代，明确表述的程序与机器学习实际执行的程序之间的任何偏差都将受到公众监督。企业必须理解并为这种可能性做好准备，这很可能是打开AI的潘多拉盒子最重要的后果。
秘密或敏感的信息。打开机器学习模型黑箱的动力，应该受到与敏感信息泄漏相关的风险的影响。可解释的人工智能可能会暴露知识产权或专有知识，或违反隐私和保密。透明度还可能导致更大的安全漏洞暴露，要求组织加强对机器学习过程的监督，并不断反思其操作的哪些部分可以自动化。
与此同时，政府和政策制定者应该考虑是否所有机器学习模型，或者只是其中的特定部分，都可以接受透明度和审查。这就需要研究如何确保机器学习模型在处理敏感信息时保持有效和透明。在白盒AI的世界中，组织必须从接收者的角度考虑透明度。差分隐私等方法可能是有用的，这种方法分享一般见解，但引入噪音来隐藏个人细节。1
企业不能认为机器学习可以解决所有问题。
不舒服的组织的真理。即使一个模型正确地捕获了组织的实际情况，并且基于准确的数据，内部组织逻辑的未经编辑的表示可能与那些受决策影响的人的期望和需求不一致。例如，可解释的人工智能可能会提供技术上正确的解释，但这可能会造成严重的心理伤害。从机器学习输出中，一个重病患者的会诊可能会解释:你会在30天内死去。我通过分析哈佛大学的研究图书馆、EBSCO搜索引擎和制药行业提交的专利文件来总结这一点。这个结论有98%的置信度。
可能需要中介来翻译和传递信息，使其更容易被人类接受并适应个人需求。组织应考虑潜在接受者的心理、需求和价值观，并使技术解释与最适合某一情况或背景的解释相协调。这可能需要向机器学习开发团队添加相关领域的专家(如医生、心理学家)。
影响
旨在打开机器学习黑盒子的可解释AI也可能是一个潘多拉的盒子。打开黑盒可能会破坏对组织及其决策过程的信任，因为它揭示了过程实际是如何运行的、组织数据的局限性或模型缺陷的真相。企业应该为可解释的人工智能做好准备。他们必须培养良好的数据管理和机器学习实践，以确保高质量的数据和模型。他们应该仔细审查他们的内部流程，并确保它们得到很好的理解和管理。组织必须准备好改变法律和沟通策略，并对操作实践的意外和不可预见的披露做出反应。
尽管完全打开人工智能的黑匣子可能还需要很多年，但谨慎的做法是为潜在的挑战做好准备。随着世界继续面临巨大而复杂的问题，计算机解决方案将继续是解决这些问题的有效手段。因此，我们需要付出大量努力去理解对可解释AI的需求，如何正确地进行AI，以及如何避免其潘多拉盒子效应。
参考文献
1.具有不同隐私的深度学习。在2016年计算机与通信安全ACM SIGSAC会议论文集(2016), 308 - 318。
2.Castelvecchi, d，我们能打开AI的黑匣子吗?自然新闻538， 7623(2016)， 1-20。
3.达文波特，T.H.和罗南基，r。现实世界的人工智能。哈佛商业评论96地球物理学报，1(2018)，108-116。
4.McCradden博士等人。医疗机器学习算法公平解决方案的伦理局限性。《柳叶刀数字健康》2， 5 (2020)， e221-e223。
5.Mnih, V.等。通过深度强化学习实现人类水平的控制。大自然518年， 7540(2015)， 529-533。
6.Silver, D.等人。掌握深度神经网络和树搜索下围棋。大自然529年， 7587(2016)， 484。
7.Wachter, S.， Mittelstadt, B.和Russell, C.不打开黑盒子的反事实解释:自动决策和GDPR。哈里。JL & Tech(2017), 841。
脚注
一个。“亚马逊废弃了显示出对女性偏见的秘密人工智能招聘工具。”路透社2018年10月9日;https://reut.rs/3I3tkzy
这项研究得到了乔治亚州立大学J. Mack Robinson商学院Veda C. Storey和加拿大自然科学与工程研究委员会Jeffrey Parsons的资助。
数字图书馆是由计算机协会出版的。版权所有©2022 ACM, Inc.
没有发现记录