ACM通信gydF4y2Ba

欧洲地区专题:大趋势gydF4y2Ba

信任、监管和人工智能:在欧洲地区gydF4y2Ba

作者:Stuart E. Middleton, Emmanuel Letouzé， Ali Hossaini, Adriane ChapmangydF4y2Ba
ACM通讯，2022年4月，第65卷第4期，64-68页gydF4y2Ba
10.1145 / 3511597gydF4y2Ba
评论gydF4y2Ba

人工智能(AI)系统采用适应用户和环境的学习算法，学习可以预先训练，也可以在部署期间进行调整。因为AI可以优化其行为，单位的工厂模型行为在发布后可能会发生分歧，通常以牺牲安全性、可靠性和人类可控性为代价。自工业革命以来，信任最终取决于政府和标准机构建立的监管体系。对人类与自主机器互动的研究表明，信任的核心发生了转变:我们必须这样做gydF4y2Ba信任gydF4y2Ba人工智能等非确定性系统能够自我调节，尽管是在边界之内。这种根本性的转变是人工智能在欧洲地区部署面临的最大问题之一。gydF4y2Ba

信任没有公认的定义，但是卢梭gydF4y2Ba^28gydF4y2Ba将其定义为“一种基于对他人意图或行为的积极预期而接受脆弱的心理状态。”信任是一种态度，认为一个代理会按照预期行事，并且可以依靠它来达到目标。在代理人和信任人之间发生错误或误解后，信任就会瓦解。对AI的信任心理状态是一个复杂系统的突发属性，通常涉及许多设计、培训、部署、性能测量、监管、再设计和再培训的周期。gydF4y2Ba

信任很重要，特别是在医疗、国防和安全等关键部门，这些部门的注意义务是最重要的。可信度必须经过计划，而不是事后才考虑。我们可以gydF4y2Ba相信人工智能gydF4y2Ba例如，医生使用算法来筛选医学图像。gydF4y2Ba^20.gydF4y2Ba我们也可以gydF4y2Ba信任与人工智能gydF4y2Ba例如，当记者引用社交网络算法来分析新闻故事的来源时。gydF4y2Ba^37gydF4y2Ba人工智能越来越多地应用于制度系统，这依赖于公民对这些系统的信任，以及对这些系统的设计和监管方式的信心。gydF4y2Ba

最近出现了不同地区的人工智能信任管理方法，导致美国、欧洲地区和中国的监管制度不同。我们回顾这些监管分歧。在欧洲地区，研究项目正在研究信任如何影响用户对人工智能的接受程度。例子包括UKRI值得信赖的自治系统中心，gydF4y2Ba^{一个gydF4y2Ba}法国Confiance。人工智能项目,gydF4y2Ba^bgydF4y2Ba德国人工智能突破中心。gydF4y2Ba^cgydF4y2Ba欧洲似乎正在与美国和中国一起发展“第三条道路”。gydF4y2Ba^19gydF4y2Ba

医疗保健包含许多AI应用的例子，包括在线危害风险识别，gydF4y2Ba^24gydF4y2Ba心理健康行为分类，gydF4y2Ba^29gydF4y2Ba以及自动血液检测。gydF4y2Ba^22gydF4y2Ba在防御和安全领域，例如战斗管理系统gydF4y2Ba^9gydF4y2Ba并使用机器学习来识别化学和生物污染。gydF4y2Ba^1gydF4y2Ba在关键部门，人们越来越意识到这一点gydF4y2Ba^{15gydF4y2Ba，gydF4y2Ba33gydF4y2Ba}人工智能系统需要通过增加人工智能感知的可靠性来解决“公众信任赤字”。在接下来的两个部分中，我们将讨论围绕构建更安全、更可靠的AI系统的关键趋势的研究重点，以产生信任，并将人类置于AI系统和团队的循环中。最后，我们讨论了该领域的应用，并考虑了该领域的未来前景。gydF4y2Ba

回到顶部gydF4y2Ba

人工智能监管领域的最新变化gydF4y2Ba

欧盟在监管人工智能的竞赛中走得比较早，通过《欧盟人工智能法案》草案，gydF4y2Ba^dgydF4y2Ba它采用了一种gydF4y2Baassurance-based监管环境gydF4y2Ba使用尚未定义的人工智能保障标准。这些法规建立在GDPR数据治理的基础上，并将AI系统划分为四类风险。风险最低的类别有透明度义务的自我监管。风险最高的类别需要由国家主管部门进行第一方或第三方评估。一些应用被完全禁止，以保护个人权利和弱势群体。gydF4y2Ba

英国AI委员会AI路线图gydF4y2Ba^egydF4y2Ba轮廓是一份专业gydF4y2Baaudit-led监管环境gydF4y2Ba，以及人工智能系统治理原则，包括开放数据、人工智能审计和公平(可查找、可访问、互操作、可重用)原则。具体部门治理的一个例子是英国的在线安全法案，gydF4y2Ba^fgydF4y2Ba该法案赋予在线服务提供商注意义务，并要求英国电信监管机构OFCOM进行正式的风险评估。gydF4y2Ba

在欧洲以外地区，美国国家安全委员会发布了《2021年AI报告》gydF4y2Ba^ggydF4y2Ba概述了gydF4y2Ba市场监管环境gydF4y2Ba政府关注的领域包括健壮可靠的人工智能、人工智能团队以及标准主导的方法gydF4y2Ba^hgydF4y2Ba测试、评估和验证。中国的人工智能发展计划gydF4y2Ba^27gydF4y2Ba强调社会责任;中国政府选择的人工智能冠军企业遵循国家战略目标，国家机构决定围绕人工智能的道德、隐私和信任框架。gydF4y2Ba

在英国和欧盟人工智能监管的推动下，欧洲地区正在与美国和中国的人工智能监管一道，开辟“第三条道路”。这种“第三条道路”的特点是欧洲对人工智能应用的强烈道德立场，例如限制军事人工智能系统的自主权，这与中国形成了直接对比，在中国，作为其军民融合战略的一部分，积极鼓励人工智能导向武器的自主权。gydF4y2Ba^14gydF4y2Ba它的另一个特点是，欧洲非常关注公民的数据隐私权，以及对人工智能应用程序进行二次数据处理的限制，这与中国和美国形成鲜明对比，在中国和美国，国家支持的战略目标或对人工智能应用程序薄弱的商业自律常常凌驾于数据隐私担忧之上。“第三条道路”的一个例子是欧洲城市维也纳成为世界上第一个获得IEEE AI道德认证标志的城市，gydF4y2Ba^30.gydF4y2Ba该组织为人工智能产品的透明度、问责制、算法偏见和隐私制定了标准。在激烈的地缘政治人工智能竞争中，不同的区域人工智能监管方法如何发挥作用，可能会影响未来多年区域人工智能研究的开展方式。gydF4y2Ba

回到顶部gydF4y2Ba

构建安全可靠的人工智能以产生信任gydF4y2Ba

确保安全、可靠的人工智能系统可以提供一条信任的途径。然而，非确定性人工智能系统需要的不仅仅是为欧洲等监管良好的地区的传统软件系统设计的质量保证协议。从数据管理到模型学习和部署，新的方法正在出现，以确保机器学习的生命周期。gydF4y2Ba^2gydF4y2Ba

探索性数据分析gydF4y2Ba而且gydF4y2Ba敌对的生成网络gydF4y2Ba帮助确保训练数据来自一个可信的来源，适合的目的，是公正的。gydF4y2Ba内置的测试gydF4y2Ba（gydF4y2Ba位gydF4y2Ba)技术支持模型部署，如看门狗计时器或行为监视器，以及“最后安全”gydF4y2Ba模型检查点gydF4y2Ba而且gydF4y2Ba可辩解的人工智能gydF4y2Ba方法。活跃的研究集中在可解释机器学习上。gydF4y2Ba^5gydF4y2Ba方法包括gydF4y2Ba用简化的方法解释gydF4y2Ba，例如局部可解释的模型不可知论解释(LIME)和反事实解释;gydF4y2Ba功能相关性技术gydF4y2Ba，如Shapley加性解释(Shapley Additive explanation, SHAP)和随机特征排列分析;gydF4y2Ba上下文和视觉解释gydF4y2Ba敏感性分析、偏依赖图等方法;以及全生命周期的方法，例如使用来源记录。确保机器学习的研究挑战包括在关键故障前检测问题，持续保证自适应模型，以及在公共数据上训练多个模型时评估独立性水平。gydF4y2Ba

---

欧盟在监管人工智能的竞赛中走得较早，通过《欧盟人工智能法案》草案，欧盟采用了一种基于保障的监管环境，使用了尚未定义的人工智能保障标准。gydF4y2Ba

---

制造业和智能城市部署越来越多地使用数字双胞胎，gydF4y2Ba^36gydF4y2Ba操作环境模拟，提供部署前保证。数字双胞胎也被用于医疗保健，gydF4y2Ba^8gydF4y2Ba例如，确保术前实践和其他关键部门。最近由英国主办的RUSI-TAS会议gydF4y2Ba^35gydF4y2Ba讨论了数字双胞胎如何为人工智能模型提供一个安全的失败空间。其他研究趋势包括探索人工智能对事故或恶意使用的脆弱性。这包括研究恶意行为者如何利用人工智能。gydF4y2Ba^11gydF4y2Ba攻击向量包括对抗性输入、数据中毒和模型窃取。可能的解决方案包括安全检查清单gydF4y2Ba^12gydF4y2Ba以及分析使用人工智能颠覆民主的敌对势力。gydF4y2Ba^31gydF4y2Ba

与美国和中国相比，安全可靠的人工智能最近在欧洲地区受到了很多关注，这不是巧合，本部分所引用的每一部作品都来自该地区的作者。这种程度的活动可能是受保证和以审计为基础的欧洲监管立场的推动。我们对人工智能的漏洞和保证协议了解得越多，人工智能系统就会变得越安全、越可靠。安全、透明的系统能够解决用户关注的问题，这将促进公众的信任。gydF4y2Ba

回到顶部gydF4y2Ba

循环中的人类与社会gydF4y2Ba

HITL (human- in-the- loop)系统基于这样一种信念:人机团队可以提供卓越的结果，通过在人工智能生命周期中插入人类监督来建立信任。一个例子是人们在电子邮件垃圾邮件过滤器中标记误报。HITL通过优化性能、增强数据和提高安全性来增强对AI的信任。它通过提供透明度和问责性来增强信任:与许多深度学习系统不同，人类可以用自然语言解释他们的决定。gydF4y2Ba

然而，人工智能驱动的社交媒体、商业和其他活动可能会侵蚀信任，甚至引发不和。gydF4y2Ba^4gydF4y2Ba如果被认为是专家自上而下的监督，HITL不太可能解决公众信任赤字问题。环内社会(SITL)通过将HITL方法扩展到更大的人口群体，寻求更广泛的共识，gydF4y2Ba^{16gydF4y2Ba，gydF4y2Ba25gydF4y2Ba}例如，通过将自动驾驶汽车的道德规范众包给数十万人。另一种方法是与边缘化的利益相关者共同设计。发展中国家人工智能和数据驱动项目的准则(发展和道德导向委员会)也是出于同样的需要，gydF4y2Ba^我gydF4y2Ba当地涉众小组的代表在项目生命周期中提供反馈。SITL与大规模数据素养相结合gydF4y2Ba^7gydF4y2Ba可能重新编织人类对人工智能的信任。gydF4y2Ba

越来越多的趋势是将人类纳入深度学习开发和训练周期。人类的利益相关者gydF4y2Ba合作设计gydF4y2Ba人工智能算法鼓励负责任的研究创新(RRI)，嵌入终端用户价值，并考虑滥用的可能性。在人工智能训练中，传统的方法如gydF4y2Ba对抗训练gydF4y2Ba而且gydF4y2Ba主动学习gydF4y2Ba应用于深度学习模型gydF4y2Ba^{13gydF4y2Ba，gydF4y2Ba21gydF4y2Ba}在训练周期中使用人工标记不确定或主观的数据点。gydF4y2Ba互动意义上使gydF4y2Ba^17gydF4y2Ba而且gydF4y2Ba可辩解的人工智能gydF4y2Ba^5gydF4y2Ba还可以通过可视化AI输出来揭示训练偏差、模型误差和不确定性，从而增强信任。gydF4y2Ba

与安全可靠的人工智能研究相比，HITL研究在欧洲、美国和中国地区的分布要均匀得多，本节中大约一半的研究来自欧洲地区的作者。与美国和中国不同的是，欧洲地区更注重HITL来促进合乎道德的人工智能和负责任的创新，而美国和中国更注重使用HITL来提高人工智能性能。gydF4y2Ba

回到顶部gydF4y2Ba

关键部门的应用gydF4y2Ba

人工智能在以下领域提供了相当大的前景。每一个例子都说明了在高风险、高回报的情况下，信任对公众的接受至关重要。gydF4y2Ba

防御。gydF4y2Ba英国战略司令部司令帕特里克·桑德斯(Patrick Sanders)将军最近强调，“即使是最优秀的人类操作员，也无法抵御多台机器在高超声速和人工智能跨领域协调下每秒数千次的机动。”gydF4y2Ba^18gydF4y2Ba虽然人机合作主导了当前的军事思维，但它以人类为主体gydF4y2Ba出gydF4y2Ba人工智能改变了战争的节奏，超越了人类的能力。从战略导弹打击到对士兵的战术支持，人工智能影响到每个军事领域，如果对手对错误的容忍度很高，它将提供不可阻挡的优势。除非受到条约的约束，否则未来的战士和他们的领袖很可能会信任人工智能，这是必要的。gydF4y2Ba

执法和安全。gydF4y2Ba执法则更为微妙。虽然只用于警告，但新加坡的警察机器人已经引起了欧洲媒体的反感，gydF4y2Ba^34gydF4y2Ba《欧盟AI法案》也反映了这种态度，它将执法工作归类为高风险。一些组织声称，《欧盟AI法案》的模糊性为偏见、不受限制的监控和其他滥用行为敞开了大门，gydF4y2Ba^32gydF4y2Ba但它至少为知情的进展提供了一个框架，同时维护欧洲地区的核心价值观。gydF4y2Ba

医疗保健。gydF4y2Ba保健干预措施直接影响生活。对诊断准确性的研究表明，人工智能可以改善医疗结果。gydF4y2Ba^{6gydF4y2Ba，gydF4y2Ba10gydF4y2Ba，gydF4y2Ba23gydF4y2Ba，gydF4y2Ba26gydF4y2Ba}然而，信任从患者和医生开始向上蔓延，正如Covid所示，信任最终是政治性的，因此需要谨慎培养。gydF4y2Ba

交通工具。gydF4y2Ba自动驾驶汽车可能是最受关注的，但人工智能也被应用于公共交通、航运和卡车运输。交通运输涉及生死抉择，人工智能的引入正在改变责任和保障的性质。这些问题反映了当今争论的一个基本问题:公众信任谁来安全操作车辆?gydF4y2Ba

回到顶部gydF4y2Ba

未来的前景gydF4y2Ba

我们认为未来的保障标准需要解决自主系统的不确定性。无论是机器人还是分布式，AI都是一个有效的实体，监管、管理和营销都需要考虑到它的变化能力。gydF4y2Ba

目前，许多项目都在探索如何将人类引入人工智能系统的协同设计和培训，以及人机协作。我们认为这一趋势将会持续下去，如果再加上真正的透明度，特别是承认人工智能的错误，并为这些错误发生的原因提供可以理解的解释，就会提供一条可信的途径，改善公众对部署到社会中的人工智能系统的信任状态。gydF4y2Ba

我们认为，gydF4y2Ba信任与人工智能gydF4y2Ba将影响公民对信息的信任程度，从而有可能减少试图传播虚假信息的负面影响。如果公民对社会内部使用的人工智能结构的信任降低，那么gydF4y2Ba相信人工智能gydF4y2Ba本身就会削弱。这可能是我们这一代人面临的一个重大挑战。gydF4y2Ba

创造监管环境，让民族国家在全球AI竞赛中获得商业、军事和社会优势，可能是本世纪决定性的地缘政治挑战。围绕人工智能的监管在全球范围内都在发展，从自我评估指南开始gydF4y2Ba^3.gydF4y2Ba国家或跨国监管框架。我们注意到，欧洲地区与其他具有强大人工智能能力的地区之间存在明显差异，尤其是对公众接受的需求。未来将是一个高度竞争的环境，监管必须在快速部署的好处、个人信任人工智能的意愿和建立信任的价值体系之间取得平衡。gydF4y2Ba

致谢gydF4y2Ba这项工作得到了工程与物理科学研究委员会(EP/V00784X/1)、自然环境研究委员会(NE/S015604/1)和经济与社会研究委员会(ES/V011278/1;ES / R003254/1)。gydF4y2Ba

回到顶部gydF4y2Ba

回到顶部gydF4y2Ba

回到顶部gydF4y2Ba

数字图书馆是由计算机协会出版的。版权所有©2022 ACM股份有限公司gydF4y2Ba

---

没有发现记录gydF4y2Ba