ACM通信

欧洲地区专题:大趋势

欧洲人工智能法规下的推荐系统

作者:Tommaso Di Noia, Nava Tintarev, Panagiota Fatourou, Markus Schedl
ACM通信，2022年4月，第65卷第4期，第69-73页
10.1145 / 3512728
评论

欧盟委员会(EC)承认人工智能(AI)在形成欧洲未来方面的重要性，认为AI是21世纪最具战略意义的技术^圣世纪。^一个最近的一个提议监管制定和谐的人工智能规则^b(欧盟AI监管框架)，欧盟委员会旨在引入第一个关于AI的全面法律框架，该框架将识别AI的特定风险，提供高风险应用领域的集合，提出AI系统在这些领域使用时应满足的具体要求，并定义用户和提供商的义务(美国与AI相关的监管发展)^c)．从这些努力中可以清楚地看到，我们需要一个负责任的人工智能。一个清晰的、全球公认的人工智能系统责任定义仍在开发中，但可能包括公平、安全和隐私、可解释性、安全性和可重复性等概念。虽然安全性和可重复性是人工智能研究及其工业应用的基本问题，但由于它们是许多技术领域的要求，因此不是人工智能特有的，所以我们在这里不涉及它们。

根据欧共体规定，人工智能的使用应符合欧盟《基本权利宪章》，^d包括不受歧视的权利、对私人生活的尊重、对个人数据的保护。该规定还强调“人工智能系统的事前测试、风险管理和人工监督义务，以最大限度地降低在教育和培训、就业、重要服务、执法和司法等关键领域人工智能辅助决策错误或有偏见的风险。”高风险AI系统应满足与数据管理、文档、人工监督、透明度、健壮性、准确性和安全性相关的特定法律要求。根据第10条，培训、验证和测试数据集应遵循适当的数据治理和管理实践尤其涉及到，考虑到可能的偏差而进行的检查而且“确定任何可能的数据差距或缺点，以及如何解决这些差距和缺点。”另一方面，第15条致力于准确性、鲁棒性和网络安全:高风险AI系统必须在最先进的安全和隐私保护措施的基础上，在其整个生命周期内实现所有这三项，达到令人满意的程度。该规定还明确指出“人工智能系统应该足够透明、可解释和充分记录”(第13条)。

---

虽然已经有很多研究致力于发现和减轻推荐系统中的偏见，但仍然存在许多研究空白。

---

在接下来的文章中，我们试图在推荐系统(RSs)的镜头下，为公平、安全和隐私以及可解释性提供欧洲场景。由于RSs以用户为中心的特性，它完全遵循了前面提到的EC文档中阐述的原则和规则，因此它是研究其应用程序的一个有趣的工作台。与公平、安全和隐私以及可解释性相关的问题可能会在培训和运行时影响RS。

回到顶部

公平的推荐系统

尽管ec提出了许多关于AI公平性的条款，但在现实中，RSs已经被证明可以根据不同的特征(如性别、年龄、种族或个性)为不同的用户提供不同的推荐质量。^{3.，7，8，10，11，12}这种行为与前面提到的目标相冲突，并可能产生不公平。

定义。区分两者是很常见的个人公平而且组织公平。前者意味着相似的用户会受到相似的对待(例如，具有相似技能的用户会收到相同薪酬等级内的工作推荐)。后者意味着以相同的方式对待某些敏感或受保护属性(例如，性别或种族)定义的不同用户组。因此，不公平被定义为“系统地、不公平地歧视某些个人或群体，偏袒其他人。”⁵

类别的偏见。不公平通常是由社会或统计偏见造成的，前者指的是世界应该是什么样子和它实际是什么样子之间的分歧，后者指的是世界是什么样子和它在系统中编码的方式之间的差异。这种偏差可能在不同的推荐管道中出现(见图1)．他们可能已经出现在数据这些算法经过训练(例如，一个不平衡的数据集，关于不同性别的表示)，它们可以被放大算法或创建模型(例如，强化刻板印象)，或者它们可以来自用户，认知偏见(例如，序列位置、锚定和诱饵效果)。⁸

图1。不同类别的偏见及其相互作用。

偏见缓解策略。为了减轻现有的偏见，可以采用几种技术。关注数据和算法/模型偏差，最常见的方法是数据重新平衡(例如，上采样数据集中的少数用户组)，正则化(例如，在机器/深度学习算法的损失函数中包括偏差校正项)，以及敌对的学习(例如，训练一个分类器，尝试从用户-项目交互数据中预测敏感属性，并修改数据或推荐算法以最小化分类器的准确性)。

尽管欧盟内外有很多研究致力于揭示和减轻RSs中的偏见，但许多研究差距，最紧迫的包括:

• 已经提出了几个公平性指标。然而，对其优点和局限性的全面(正式和比较)研究仍然缺失。^e甚至它们是否反映了人类认为的公平或不公平——可能取决于他们的文化背景、价值观和信仰——还没有深入研究。
• 同样，对现有技术通过系统评估来减轻偏见的能力和局限性的全面理解也缺失。
• 从算法的角度来看，需要新颖的方法来消除最先进的RS算法的偏见，这些算法主要基于深度学习。
• 有必要调查在高风险地区(例如在征聘中)使用RSs所造成的偏见可能造成的经济和社会后果。^3.，4
• 公平性通常从系统的最终用户的角度来解决，但我们需要考虑多个RS利益相关者，包括内容生产者、内容消费者和平台提供者。
• 从法律的角度来看，我们需要数据质量方面的规定，不违反欧盟非歧视法的义务适用的具体规范，以及有效的法律合规审计RSs的机制。这需要跨学科的视角，包括具有技术专长的研究人员和法律专家之间的合作。

回到顶部

推荐系统的安全和隐私

在欧盟，人工智能领域的隐私是一个主要问题。为了遵守GDPR，必须应用AI策略，考虑到可能限制这些应用的吸收的新的隐私挑战。当我们想到RSs的应用程序时，隐私相关的风险就更加明显了，因为RSs的用户模型是围绕个人数据构建的。

问题。在遵守GDPR的情况下，数据碎片化和隔离是RS研究人员面临的主要挑战。实际上，保护用户隐私并不像限制数据收集那么容易，因为在数据循环的任何阶段都可能发生隐私威胁。模型本身储存了宝贵的信息，能够预测未来用户的偏好和行为。RS中隐私攻击的主要目标是用户敏感数据的保密性。隐私保护ML的目的是为ML提供保护用户隐私和数据安全的防御措施。它应该与安全ML区分开来，后者试图保护ML系统的完整性和可用性，避免受到故意(对抗性或中毒)攻击。

联合学习。从隐私的角度来看，联邦学习(FL)⁹完全解决了集中收集、数据最小化、数据所有权和数据局部性的原则，从而大大降低了集中学习的隐私风险(参见图2)．在处理用户隐私问题时，FL面临着通信成本、数据分布不平衡和设备可靠性等挑战，以及安全问题(如模型中毒、间接信息泄漏和拜占庭对手)。在Yang等人中，¹⁵FL的概念被扩展到一个更全面的隐私保护分散协作ML技术的思想，既适用于水平联合(不同数据集共享相同的特征空间，但训练样本不同)，也适用于垂直联合(不同数据集共享训练样本，但特征空间不同)。由于推荐场景中的可调联合方法，用户可以更清楚地知道并决定共享哪些数据。¹

图2。信息在四种ML架构的网络中流动。实线表示训练数据流，虚线表示模型参数流。

不幸的是，虽然FL比集中式方法提供了显著的实际隐私改善，但仍然没有正式的隐私保障。这也是其他技术(如差分隐私、安全多方计算和同态加密)在推荐场景中执行隐私保护机制的地方。

---

除了攻击策略外，近年来还发展了针对对抗性攻击的防御机制。

---

对抗性攻击和防御尽管机器/深度学习模型取得了巨大的成功，但最近的研究表明，它们不能幸免于人工智能对抗性使用带来的安全威胁，RSs也是如此。²对手可以在学习管道的两个主要阶段(训练或生产)攻击ML模型。这两类攻击分别被称为训练时间攻击(又称病因攻击或中毒攻击)和推理时间攻击(又称探索性攻击或逃避攻击)。

• 中毒攻击。数据中毒攻击是通过在训练数据中注入虚假数据点来实现的，目的是破坏/降级模型(例如分类器)。
• 逃避攻击。规避攻击不会干扰训练数据，而是在推理阶段调整恶意样本。这些攻击也被命名做决定的时间攻击指他们在测试时试图逃避被学习模型所做的决策。

为图像分类任务创建的对抗性示例基于像素的连续实值表示，但在RSs中，原始值是离散的用户/物品标识符和评级。因此，对抗性扰动被直接添加到:用户档案(即用户评级档案)，用户和项目模型参数在一个潜在因素模型;以及分别表示用户和物品侧信息的嵌入。

---

如果解释不能被人们理解，人类的监督是不可行的。

---

除了攻击策略外，近年来还发展了针对对抗性攻击的防御机制。它们可以分为检测方法和寻求增加学习模型的鲁棒性的方法。鲁棒优化方法的核心是假设训练数据中的每个样本都可以是对抗行为的来源。它适用于预测对手和攻击对手之间的零和博弈。鲁棒优化的最终目标是，预测模型在对抗性和干净的输入下也能表现得同样好。

回到顶部

可辩解的推荐系统

虽然RSs的作用是人为的建议提供者，但使用该系统的人可能不理解结论是如何得出的，以及何时采用建议是合适的，或者相反地，何时批评它。的欧盟人工智能监管框架因此，解释需要提供人类对高风险系统的监督。

在合规成为可能之前，有三个主要的科学挑战需要克服，即:如何确保解释是人类可以理解的，并支持适当的信任;如何构建可解释AI(解释置信度和模型复杂性);以及如何验证解释的好处。

可理解性。如果解释不能被人们理解，那么人类的监督是不可行的“可解释性”已经被限定为一个人能够理解一个决定的原因的程度。¹³理解本身很少是最终目标，通常更有用的是根据一个特定的有用概念或解释性目标(如改进的决策支持或(适当的)用户信任)来衡量解释的有效性¹⁴-尽量减少对系统建议的过度和不充分依赖。此外，人的特征(例如，专业知识、认知能力)和情境(例如，哪些其他人受到影响，或哪些变量具有影响力)对哪些解释是有用的以及对不同的呈现选择(例如，关于形式、互动程度、细节水平)提出了不同的要求。简单地说:一个尺码就可以不适合所有人。

构建可解释AI (XAI)。针对广泛的模型和数据类型，已经开发了大量的XAI方法。然而，它们中的许多(在设计上)没有以支持适当信任的方式支持用户充分理解能力和限制。我们确定了两个特别有限的障碍:有限的模型置信度和高模型复杂性。

• 的信心。为了进行充分的人工监督，RSs必须意识到他们的知识限制，不仅在预测(全局和实例)级别上，而且在解释级别上。因此，RSs必须为每个预测和解释提供置信度信息;他们必须澄清这些信息是如何获得或计算的。
• 的复杂性。虽然人们普遍(但错误地)认为在准确性和可解释性之间存在权衡，但这并不是严格意义上的正确。在许多情况下，一些模型可以提供类似的精度性能，但有些更容易被人类理解。复杂性可以通过选择更简单的模型，并通过开发交互界面(如我们在工作中开发的那些界面)来减轻，即:使生成的解释适应不同的因素，并允许人们使用系统来查看因素如何影响解释(透明度)，以及修改因素的贡献(控制)。⁶

评价的解释。用户研究对于评估人类的表现和理解是不可或缺的。然而，到目前为止，它们在文献中相对少见，可能是由于它们的成本。解释也受到了自动化评估的影响，被建模为优化问题中的惩罚和约束，模型的稀疏性，关于变量的单调性，或可分解为子模型，等等。然而，到目前为止，还没有开发出标准化的度量标准。至于ML (Precision, Recall, F-measure, AUC)，也许这也是因为没有单一的理想目标(例如，准确性vs .简洁)。尽管如此，我们希望在未来几年看到这些指标的基准化，就像我们在Kaggle、CLEF和SemEval等挑战中看到的那样。

回到顶部

结论

人工智能算法和系统的广泛采用要求定义和实现一种负责任的人工智能方法。在这方面，按照欧共体过去几年提出的文件和法律框架，出现了一些技术问题和趋势。我们要求人工智能系统公平、安全、保护隐私，并具有可解释性。在这篇文章中，我们概述了在这个方向上已经采取的步骤，并指出了我们所看到的挑战，然后我们才能实现欧洲的人工智能方法的精神。我们希望这将成为一个有用的路线图，为从业者和研究人员。

致谢这项工作得到了欧盟“Horizon 2020”研究和创新计划(Marie Skodowska-Curie授权协议编号860621和101031688)、林茨理工学院“缓解工作推荐系统中的性别偏见:机器学习-法律协同”(及时)项目、“Casa delle technologie Emergenti della Città di Matera”、H2020-ICT-2018-20“Passepartout”和“Safe and Secure Apulia”项目的支持。T. Di Noia感谢V.W. Anelli、Y. Deldjoo、A. Ferrara和F. Merra。

回到顶部

回到顶部

回到顶部

数字图书馆是由计算机协会出版的。版权所有©2022 ACM股份有限公司

---

没有发现记录