acm-header
登录

ACM通信

实践

联邦学习与隐私


云计算概念、说明

信贷:Vladgrin

回到顶部

机器学习和数据科学是科学、公共政策以及产品和服务设计的关键工具,这得益于收集、存储和处理大量数据的成本越来越低。但是,如果数据管理不当,集中式收集可能会使个人面临隐私风险,组织也可能面临法律风险。从2016年的早期工作开始,1315一个不断扩大的研究社区已经探索了数据所有权和来源如何在学习和分析系统中成为一流的概念,在现在被称为联合学习(FL)和联合分析(FA)。

随着社区的不断扩大,人们对移动设备联盟的兴趣已经从最初的工作扩展到跨组织竖井的FL、物联网(IoT)设备等。有鉴于此,Kairouz等人。10提出更广泛的定义:

联合学习是一种机器学习设置,在中央服务器或服务提供商的协调下,多个实体(客户端)协作解决机器学习问题。每个客户端的原始数据存储在本地,不进行交换或传输;相反,用于即时聚合的集中更新被用来实现学习目标。

这是一种在原理和实现上都非常相似的方法,联邦分析17可以使数据科学家从分散数据集中的组合信息中产生分析洞察。虽然这里的重点是FL,但很多关于技术和隐私的讨论同样适用于FA的用例。

本文简要介绍了联邦学习和分析中的关键概念,重点介绍了隐私技术如何在现实世界的系统中结合,以及它们的使用如何从新领域的汇总统计数据中获得社会效益,并将对个人和作为数据保管人的组织的风险降至最低。

回到顶部

学习和分析的隐私原则

为了更详细地讨论FL,让我们首先澄清隐私的相关概念。隐私本质上是一个多面性的概念,即使局限于技术公司提供的产品和服务领域,这也是本文的重点。在此背景下强调了隐私的三个关键组成部分:透明度和同意;数据最小化;以及发布总量的匿名化。

透明度和同意是隐私的基础:它们是产品/服务用户理解和批准其数据将被使用的方式的基础。隐私技术不能取代透明度和同意,但基于强大隐私技术的数据管理方法使所有相关方更容易推断哪些类型的数据使用是可能的(以及哪些被设计排除),从而使更清晰的隐私声明更容易理解、验证和执行。

当考虑到可以通过对隐私敏感的用户数据进行计算来推进的特定目标时,隐私技术的作用变得更加清晰;例如,根据用户对虚拟键盘的输入,改进移动键盘的建议。如何以尽可能少的方式改进键盘?

计算目标主要是训练机器学习(ML)模型(FL)和计算指标或用户数据的其他汇总统计(FA)。正如我们将看到的,分析和机器学习都可以通过对(可能是预处理的)用户数据进行适当选择的聚合来完成。在这方面,适用两大隐私原则的专门化:

数据最小化的原理,包括只收集特定计算所需的数据(集中收集),限制所有阶段对数据的访问,尽早处理个人数据(早期收集),以及尽快丢弃收集和处理的数据(最小保留)。也就是说,数据最小化意味着将所有数据的访问限制在尽可能少的人的范围内,这通常是通过安全机制来实现的,比如在静止状态和在线状态下的加密、访问控制列表,以及更新兴的技术,比如安全多方计算和可信的执行环境,这些将在后面讨论。

数据匿名化的原理捕捉到这样一个目标:计算的最终释放输出不揭示任何个人独有的东西。当这个原则专门用于匿名的聚合,其目标是,任何个人用户贡献给计算的数据对最终总输出只有很小的(有限的、可测量的和/或减轻的)影响。例如,聚合统计数据(包括模型参数)在发布给工程师(或其他工程师)时,不应该根据聚合中是否包含任何特定用户的数据而发生显著变化。这里展示的XKCD漫画展示了一个不尊重这一原则的幽默例子,但这种记忆现象已被证明是现代深度网络的一个真实问题。78

另一种看待这些原则的方式是数据最小化如何计算执行和数据处理,而数据匿名化属于什么计算并释放。

通过设计,FL在结构上体现了数据最小化。图1将联邦方法与更标准的集中式技术进行比较。重要的是,数据收集和聚合在联邦方法中是不可分割的——收集客户端数据的特定于目的的转换是为了立即聚合,分析师无法访问每个客户端的消息。FL和FA是包含数据最小化实践的通用联邦计算模式的实例。集中式处理的更典型的方法是用数据收集取代设备上的预处理和聚合,在处理日志数据期间,主要是在服务器上最小化。

f1.jpg
图1。联邦与集中式方法中的数据最小化。

这里考虑的ML和分析目标与匿名聚合目标是兼容的。使用ML,目标是训练一个模型,为所有用户准确预测,而不过度拟合(记忆)用于训练的数据。类似地,使用统计查询的目标是估计人口统计数据,这同样不应受到任何单个用户数据的太大影响。

FL可以与其他技术相结合(特别是差分隐私和隐私/记忆审计,稍后将进行更深入的讨论),以确保发布的聚合足够匿名。这种情况与您与银行或医疗保健提供商可能存在的隐私关系形成对比,在这些情况下,数据匿名化原则可能不适用,因为提供商无法避免直接访问个人敏感数据;在这些交互中,信任提供者只将数据用于预期目的是基本原则。

回到顶部

联邦学习设置和应用程序

如前所述,FL的定义特征包括保持原始数据的分散和通过聚合进行学习。这种本地生成数据的假设——通常在分布和数量上是异构的——将FL与更典型的基于数据中心的分布式学习设置区分开来,在后者中,数据可以任意分布和洗选,计算中的任何工作节点都可以访问任何数据。

中央协调器的角色实际上是有用的,而且通常是必要的,例如在缺乏固定IP地址的移动设备的情况下,需要中央服务器来协调设备到设备的通信。它进一步限制了相关算法的空间,并有助于将FL与更一般的分散学习形式(包括对等方法)区分开来。

从基本定义来看,两种FL设置受到了特别的关注:

  • 跨设备FL,客户端是大量的移动或物联网设备。
  • 跨竖井FL,这里的客户通常是数量较少的组织、机构或其他数据竖井。

伴随表格,改编自Kairouz等人,10总结了FL设置的关键特征,并强调了跨设备和跨竖井设置之间的一些关键差异,以及与数据中心分布式学习的对比。

ut1.jpg
表格典型的FL设置和传统的分布式学习。

跨设备FL现在被两个谷歌使用6和苹果16分别适用于Android和iOS手机,用于移动键盘预测等众多应用;正在探索跨竖井FA的问题,如健康研究(例如谷歌健康研究)一个).

跨竖井FL也受到了相当多的关注。健康和医疗应用是主要的动机,英伟达、IBM和英特尔以及许多创业公司都对其进行了大量投资。另一个正在崛起的应用是金融,有微众银行、瑞士信贷、英特尔等公司的投资。

回到顶部

跨设备联合学习算法

现代的ML方法,尤其是深度学习,通常需要大量的数据和大量的计算,因此对生产质量模型进行联合训练的可行性还远没有定论。我们的很多早期工作,尤其是2017年的论文《从去中心化数据中学习深度网络的通信效率》,13专注于建立概念的证明。这项工作引入了联邦平均算法,该算法继续得到广泛使用,尽管后来提出了许多变体和改进。

其核心思想建立在经典的随机梯度下降(SGD)算法的基础上,该算法被广泛应用于更传统设置下的ML模型的训练。该模型是一个从训练示例到预测的函数,由模型权重向量和测量预测和真实输出(标签)之间的误差的损失函数参数化。SGD首先对一批训练示例(通常从数万到数千)进行采样,计算损失函数相对于模型权重的平均梯度,然后在梯度的相反方向调整模型权重。通过适当地调整每次迭代所采取的步骤的大小,SGD可以被证明具有理想的收敛特性,即使对非凸函数也是如此。

对联邦设置的SGD最简单的扩展是将当前模型权重广播给一组随机的客户机,让它们各自计算其本地数据上的损失梯度,在服务器上跨客户机平均这些梯度,然后更新全局模型权重。然而,SGD通常需要10个5或者更多的迭代来产生高精度的模型。粗略计算表明,在联邦设置中,一次迭代可能需要几分钟,这意味着联邦训练可能需要一个月到一年的时间,这超出了实际范围。

联邦平均的关键思想是直观的:通过在每个设备上本地执行多个SGD步骤来降低通信和启动成本,然后降低产生的模型(或模型更新)的平均频率。如果在每个局部步骤之后平均模型,这将减少到SGD(可能太慢);如果模型被平均的频率太低,它们可能会发散,平均会产生一个更糟糕的模型。两者之间是否存在一个最佳点?根据经验,2017年的论文13结果显示,答案是肯定的,这表明中等规模的语言模型(例如,下一个单词的预测)和图像分类模型可以在不到1000轮的交流中训练出来。这将预期的训练时间减少到几天—仍然比使用集中数据的高性能计算集群可能慢得多,但在实际生产使用的可行性范围内。

该算法还演示了前面提到的关键隐私点—可以将模型训练简化为(重复的)联邦聚合应用(模型梯度或更新的平均),如图1

回到顶部

跨设备联合学习的工作流和系统

拥有一个可行的fll算法是一个必要的起点,但让跨设备fll成为ml驱动的产品团队的高效方法需要更多。根据谷歌在多个谷歌产品上部署跨设备FL的经验,典型的工作流程通常包括以下步骤:

  1. 确定一个非常适合FL的问题。通常这意味着需要一个中等大小(1MB-50MB)的设备上模型;设备上可能可用的训练数据比数据中心可用的数据更丰富或更具代表性;出于隐私或其他原因,我们不希望将数据集中;训练模型所需的反馈信号(标签)在设备上很容易获得(例如,如果用户忽略了预测的下一个单词,那么预测下一个单词的模型可以自然地根据用户输入的内容进行训练;图像分类模型将更难训练,除非与应用程序的交互自然地导致标记图像)。
  2. 模型开发和评估。与任何ML任务一样,选择正确的模型架构和超参数(学习率、批处理大小、正则化)对FL的成功至关重要。在联邦设置中,挑战可能更大,它引入了许多新的超参数(例如,每轮参与的客户端数量,在平均之前采取多少局部步骤)。通常的出发点是使用一个粗糙的模型选择和调优模拟基于数据中心可用的代理数据。最后的调优和评估必须在真实设备上使用联邦训练进行,然而,由于数据分布的差异、真实设备舰队特征和许多其他因素不可能在模拟中完全捕获。评估还必须以联合的方式进行:独立于训练过程,候选全局模型被发送到(被拒绝的)设备,以便准确性指标可以在这些设备的本地数据集上计算,并由服务器聚合(每个客户机性能的简单平均值和直方图都很重要)。综上所述,这些需求产生了两个关键的基础设施需求:提供高性能FL模拟基础设施,允许平稳过渡到在真实设备上运行;以及一个跨设备的基础设施,可以轻松管理多个同时进行的培训和评估任务。
  3. 部署。一旦在步骤2中选择了一个高质量的候选模型,该模型的部署(例如,在移动键盘上做出用户可见的下一个单词的预测)通常遵循与数据中心训练模型相同的程序:额外的验证和测试(可能包括手动质量保证),实时A/B测试以与之前的生产模型进行比较,并分阶段向整个设备群推出(可能比实际参与模型培训的设备多几个数量级)。

值得强调的是,步骤2中的所有工作对参与培训和评估的设备的用户体验没有影响;使用FL训练的模型不会让用户看到预测,除非它们通过部署步骤。确保此处理不会对设备造成负面影响是基础设施的一个关键挑战。例如,重量级计算可能只在设备空闲、插入和未计量的Wi-Fi网络上执行。

图2说明模型开发和部署工作流程。为这些工作流构建一个可伸缩的基础设施和引人注目的开发人员api是一个重大的挑战。Bonawitz等人的一篇论文。6提供了截至2019年谷歌生产系统的概述。

f2.jpg
图2。跨器件FL系统的组成和相位。

回到顶部

联邦计算的隐私

FL提供了多种开箱即用的隐私优势。本着数据最小化的精神,原始数据保存在设备上,发送到服务器的更新专注于一个特定的目的,短暂且尽可能快地聚合。未聚合的数据不会持久化在服务器上,端到端加密保护传输中的数据,解密密钥和解密值都只是临时保存在RAM中。ML工程师和分析师与系统交互时只能访问聚合的数据。聚合在联邦方法中的基本作用使其可以自然地限制任何单个客户机对输出的影响,但如果目标是提供更正式的保证(如差分隐私),则需要仔细设计算法。

谷歌及其他网站的研究人员正在加强FL系统所能提供的隐私保障。虽然基本的FL方法已经被证明是可行的,并获得了大量的采用,但它与本节中描述的其他技术的结合还远远没有“在FL的大多数使用中默认启用”。即使在最先进的技术进步的同时,与其他目标(包括公平、准确性、开发速度和计算成本)的内在紧张关系可能会阻止数据最小化和匿名化的一刀切方法。因此,从业人员受益于可组合隐私增强技术的研究思路和软件实现的持续发展。最终,关于隐私技术部署的决定是由产品或服务团队在咨询特定领域的隐私、政策和法律专家后做出的。作为隐私技术专家,我们有两方面的义务:让产品通过可用的FL系统提供更多的隐私,也许更重要的是,帮助政策专家随着时间的推移加强隐私定义和要求。

在分析联邦系统的隐私属性时,考虑访问点和威胁模型是有用的。基础上图2,可以询问参与者通过访问系统的各个部分可以了解哪些私人信息。可以访问物理设备或网络?通过root或物理访问提供FL服务的服务器?向ML工程师发布的模型和指标?到最终部署的模型?

随着信息流经这个系统,潜在恶意团体的数量变化很大。例如,一小部分人应该具有对协调服务器的物理或根访问权,但几乎所有人都可以访问发送到大量智能手机的最终模型。

因此,必须对完整的端到端系统进行隐私声明评估。如果不采取适当的安全预防措施来保护设备上的原始数据或传输中的中间计算状态,那么最终部署的模型没有存储用户数据的保证可能无关紧要。其他技术可以提供更强有力的保证。

图3展示了端到端FL系统的威胁模型,以及数据最小化和匿名聚合的作用。数据最小化可以通过提高安全性、最小化数据和中间结果的保留来解决对设备、网络和服务器的潜在威胁。当模型和度量标准发布给模型工程师或部署到生产环境时,匿名聚合保护个人数据不受访问这些发布输出的各方的影响。

f3.jpg
图3。FL系统的威胁模型。

回到顶部

聚合的数据最小化

在联邦计算中的几个点上,参与者期望彼此采取适当的操作,而且只采取这些操作。例如,服务器期望客户端准确地执行预处理步骤;客户端希望服务器对他们的个人更新保密,直到他们被聚合;客户端和服务器都希望数据分析师和部署的ML模型用户都不能提取个人数据;等等。

隐私保护技术支持从结构上强制执行这些跨党期望,防止参与者偏离,即使他们碰巧是恶意的或妥协。实际上,FL系统本身可以被视为一种保护隐私的技术,它从结构上阻止服务器访问客户机提交的更新中没有包含的任何有关客户机数据的内容。

以FL的聚合阶段为例,一个理想的系统可能会想象一个完全可信的第三方,它聚合客户端的更新,只向服务器显示最终的聚合。在现实中,通常不存在这样的相互信任的第三方来扮演这个角色,但是各种技术允许FL系统这样做模拟这样的第三方条件五花八门。

例如,服务器可以在安全的飞地-一个特殊构造的硬件,它不仅可以向客户端证明它在运行什么代码,而且还可以确保没有人(即使是硬件的所有者)可以观察或篡改代码的执行。然而,目前,安全飞地的可用性是有限的,无论是在云中还是在消费设备上,可用飞地可能只实现一些所需的飞地属性(安全度量、机密性和完整性)19).此外,即使可用且功能齐全,安全飞地也可能会有额外的限制,包括非常有限的内存或速度;通过侧通道暴露数据的漏洞(例如,缓存计时攻击);难以验证正确性(因为专有的实现细节);依赖于制造商提供的认证服务(和密钥保密);等等。

可以协作地使用用于安全多方计算的分布式加密协议来模拟可信的第三方,而不需要专门的硬件,只要有足够多的参与者诚实地行为。虽然在大多数情况下,对任意函数的安全多方计算在计算上仍然是禁止的,但是已经开发出了专门的安全聚合算法,用于在联邦设置中进行向量和,这种算法可以有效地保护隐私,即使对手观察服务器并控制了相当一部分客户机,同时还可以保持健壮性,防止客户机退出计算。5这样的算法有两种:

  • 沟通高效- Oo (log n)+)每个客户的通信,其中n是用户数和是矢量长度,小常数产生小于两倍的通信聚集在清晰的广泛的实际设置;而且
  • 计算效率- O日志2n+ℓo (log n))每个客户端计算。3.

加密安全聚合协议已在商业联邦计算系统中部署多年。617

除了私有聚合,隐私保护技术还可以用于保护FL系统的其他部分。例如,安全飞地或加密技术(例如零知识证明)都可以确保服务器可以信任客户端已经忠实地进行了预处理。甚至模型广播阶段也可以受益:对于许多学习任务,单个客户端可能只拥有与模型的一小部分相关的数据;在这种情况下,客户机可以只私有地检索用于训练的模型的那一部分,同样使用安全飞地或加密技术(例如,私有信息检索)来确保服务器不了解客户机拥有相关训练数据的模型的那一部分。

回到顶部

计算和验证匿名聚合

虽然安全飞地和私有聚合技术可以加强数据最小化,但它们并不是专门为产生匿名聚合而设计的——例如,限制用户对正在训练的模型的影响。事实上,越来越多的研究表明,习得的模型(在某些情况下)可能泄露敏感信息。8

数据匿名化的黄金标准方法是差分隐私(DP)。9用于聚合的通用过程记录在一个数据库, DP要求限定任何记录对总集的贡献,然后添加一个适当比例的随机扰动。例如,在DP-SGD(差分私有随机梯度下降)中,您剪辑ℓ2在每一轮训练中,对梯度的范数进行加聚,并加入高斯噪声。1

差分私有算法必须是随机的,因此你可以考虑分布在特定数据集上由算法产生的模型。直观地说,差分隐私表示,当算法运行在只有一条记录不同的输入数据集上时,模型上的这种分布是相似的。形式上,DP被隐私损失参数(ε, δ)量化,其中较小的(ε, δ)对对应增加的隐私。随机化算法一个对于所有可能的输出(例如模型)是否(ε, δ)-差分私有,以及所有数据集D而且D '最多只有一条记录不同

ueq01.gif

这不仅仅是通过添加与任何记录的影响成比例的噪声来限制模型对每个记录的敏感性,因此确保了足够的随机性来掩盖任何一个记录对输出的贡献。

在跨设备FL的情况下,a记录被定义为所有单个用户/客户机的训练示例。14DP的这个概念被称为用户级DP,它比示例级DP更强,在示例级DP中,一个记录对应一个训练示例,因为通常一个用户可以提供许多训练示例。即使在集中设置中,FL算法也非常适合使用用户级DP保证进行训练,因为它们从用户的所有数据中计算对模型的一次更新,这使得绑定每个用户对模型更新的总体影响(从而对最终模型)更加容易。

在跨设备FL系统的环境中提供正式的(ε, δ)保证是特别具有挑战性的,因为所有合格用户的集合是动态的,并且事先不知道,参与用户可能在协议中的任何一点退出。而Balle等人最近的工作。2这些挑战在理论上是可以克服的,构建一个适用于生产FL系统的端到端协议仍然是一个需要解决的重要问题。

在跨竖井FL的背景下,隐私单元可以有不同的含义。例如,如果参与机构希望确保能够访问模型迭代或最终模型的对手无法确定在该模型的训练中是否使用了特定机构的数据集,则可以将记录定义为数据竖井中的所有示例。用户级DP在跨竖井设置(每个竖井保存多个用户的数据)中仍然有意义。但是,如果多个机构都有来自同一用户的记录,执行用户级隐私可能更具挑战性。

在过去的十年中,开发了一套广泛的技术,用于不同程度的私有数据分析,特别是用于中央或可信聚合器设置,其中原始(或最小化)数据由实现DP算法的可信服务提供商收集。最近,DP的局部模型引起了很大的兴趣,12在服务提供者收集数据之前,客户端会对数据进行干扰。本地DP避免了对完全可信的聚合器的需要,但是现在已经确定的是,本地DP会导致准确度的急剧下降。

为了在不依赖完全可信的中心服务器的情况下恢复中心DP的效用,可以使用一组新兴的方法,通常称为分布式DP。411我们的目标是在输出变为对服务器可见(明文)之前将其呈现为完全私有的。在分布式DP中,客户端首先计算最小的特定于应用程序的报告,用随机噪声稍微干扰这些报告,然后执行一个私有聚合协议。然后,服务器只能访问私有聚合协议的输出。单个客户添加的噪声通常不足以单独提供有意义的本地DP保证。然而,在私有聚合之后,私有聚合协议的输出基于添加在所有客户端的噪声总和提供了更强的DP保证。这甚至适用于在私有聚合协议所需的安全假设下访问服务器的人。

对于一个提供正式的用户级DP保证的算法,它不仅必须将模型的灵敏度与每个用户的数据绑定,而且还必须添加与灵敏度成比例的噪声。虽然需要添加足够的随机噪声来确保DP定义本身提供一个强有力的保证的足够小的ε,但经验上已经观察到,即使有少量噪声(或根本没有噪声)限制灵敏度可以显著降低记忆。18这种差距是意料之中的,因为DP假设有一个“最坏情况的对手”,具有无限的计算和访问任意边信息的能力。这些假设在实践中往往是不切实际的。因此,使用限制每个用户影响的DP算法进行训练有很大的优势,即使引入到训练过程中的显式随机噪声不足以确保小的ε。然而,设计实现小ε保证的实用的FL和FA算法是一个正在进行的重要研究领域。

模型审计技术可以用来进一步量化DP训练的优势。7818这些技术在本质上是经验的,可以在培训期间或之后应用。它们广泛地包括量化模型过度学习(或记忆)独特或罕见的训练示例的技术,以及量化在何种程度上可以推断用户的示例在训练过程中是否被使用的技术。这些审计技术即使在使用较大的ε时也是有用的,因为它们可以用有限的计算能力和附加信息来量化DP最坏情况下的对手和现实对手之间的差距。它们还可以作为压力测试DP实现的补充技术:与正式的DP数学声明不同,这些审计技术应用于完整的端到端系统,潜在地捕捉软件bug或错误选择的参数。

回到顶部

联合分析

到目前为止,这篇文章的重点主要集中在FL上。除了学习ML模型,数据分析师通常对应用数据科学方法分析存储在本地用户设备上的原始数据感兴趣。例如,分析人员可能对学习聚合模型度量、流行趋势和活动,或者地理空间位置热图感兴趣。所有这些都可以使用FA完成。17与FL类似,FA的工作原理是对每个设备的数据进行本地计算,只将汇总的结果提供给产品工程师。然而,与FL不同的是,FA旨在支持基本的数据科学需求,如计数、平均值、直方图、分位数和其他类似sql的查询。

假设有一个应用程序,分析师想要使用FA来学习许多用户共享的音乐库中最常播放的10首歌曲。可以使用前面描述的相同的联邦和隐私技术来执行此任务。例如,客户端可以将他们听过的歌曲编码到一个长度等于库大小的二进制向量中,并使用分布式DP来确保服务器只看到这些向量的一个不同的私有和,给出一个DP直方图,显示每首歌有多少用户播放过。然而,正如这个例子所示,FA任务与FL任务在以下几个方面有所不同:

  1. FA算法通常是非交互式的,涉及到大量客户的轮询。换句话说,与FL应用程序不同,在一轮中拥有更多客户不会减少回报。因此,在FA中使用DP挑战较小,因为每一轮都可以包含大量的客户,需要的轮数较少。
  2. 相同的客户不需要在以后的回合中再次参与。事实上,再次参与的客户可能会对算法的结果产生偏差。因此,FA任务最好是通过限制个人参与次数的基础设施来完成。
  3. FA任务通常是稀疏的,使得高效的私有稀疏聚合成为一个特别重要的话题;在这一领域存在许多开放性的研究问题。

值得注意的是,虽然限制客户参与和稀疏聚集与FA特别相关,但它们也适用于FL问题。

回到顶部

结论

我们乐观地认为,FL将继续作为一个研究领域,并作为一套实用工具和软件系统,允许更多的人应用到更多类型的数据和问题领域。

对于那些有兴趣了解更多积极的研究方向,最近更新联邦学习的进展与开放问题提供广泛的调查,涵盖本文未涉及的重要主题,包括个性化、健壮性、公平性和系统挑战。10如果您对FL的更实际的介绍感兴趣,比如在自己的数据或标准数据集上的模拟环境中尝试算法,那么可以阅读TensorFlow Federated教程b是一个很好的开始的地方——可以使用谷歌Colab在浏览器中动态地执行和修改。

回到顶部

致谢

作者感谢Alex Ingerman和Marco Gruteser提供的有益反馈,以及谷歌上帮助开发这些想法并将其付诸实践的许多人。

回到顶部

参考文献

1.Abadi, M., Chu, A., Goodfellow, I., McMahan, H.B., Mironov, I., Talwar, K., Zhang, L.基于差分隐私的深度学习。在2016年ACM SIGSAC会议论文集,计算机与通信安全, 308 - 318;https://dl.acm.org/doi/10.1145/2976749.2978318

2.Balle, B., Kairouz, P., McMahan, H.B., Thakkar, O., Thakurta, A.通过随机签到扩大隐私。出来了,2020分;https://arxiv.org/pdf/2007.06605.pdf

3.贝尔,j.h.等人。使用(poly)对数开销的安全单服务器聚合。在2020年ACM SIGSAC会议论文集,计算机与通信安全, 1253 - 1269;https://dl.acm.org/doi/10.1145/3372297.3417885

4.Bittau, A.等人。普罗克罗:在人群中进行分析的强大隐私性。在26年的会议记录th计算机协会。操作系统原理, 2017, 441 - 459;https://dl.acm.org/doi/10.1145/3132747.3132769

5.Bonawitz, K.等。用于保护隐私的机器学习的实用安全聚合。在2017年ACM SIGSAC会议论文集,计算机与通信安全, 1175 - 1191;https://dl.acm.org/doi/10.1145/3133956.3133982

6.Bonawitz, K.等。面向大规模联邦学习:系统设计。在2年的会议记录ndSysML会议2019年,美国加州帕洛阿尔托;https://arxiv.org/pdf/1902.01046.pdf

7.Carlini, N., Liu, C., Erlingsson, U., Kos, J., Song, D.秘密分享者:评估和测试意外记忆神经网络。在28年的会议记录thUsenix Security Symp. 2019, 267 - 284;https://dl.acm.org/doi/10.5555/3361338.3361358

8.Carlini, N.等。从大型语言模型中提取训练数据。出来了,2020分;https://arxiv.org/abs/2012.07805

9.Dwork, C., McSherry, F., Nissim, K., Smith, ad .校准私人数据分析中的噪声敏感度。在《实习生录》。Assoc。密码学研究理论。, 2006, 265 - 284。斯普林格出版社;https://iacr.org/archive/tcc2006/38760266/38760266.pdf

10.Kairouz, P.等人。联邦学习的进展与开放问题。机器学习的基础和趋势1 - 2 (2021);https://arxiv.org/abs/1912.04977

11.刘振宇,刘振宇,刘振宇。一种具有安全聚合的分布式离散高斯学习机制。在三十八届立法会会议纪要th实习生。机器学习(2021), 5201 - 5212;http://proceedings.mlr.press/v139/kairouz21a/kairouz21a.pdf

12.Kasiviswanathan, S.P, Lee, hk, Nissim, K., Raskhodnikova, S., Smith, A.我们私下能学到什么?40 .中国计算机学会, 3 (2011), 793-826;https://dl.acm.org/doi/10.1137/090756090

13.McMahan, h.b., Moore, E., Ramage, D., Hampson, S., Agüera y Arcas, B.基于去中心化数据的深度网络的通信效率学习。在20个会议的会议记录th实习生。人工智能与统计, 2017, 1273 - 1282;http://proceedings.mlr.press/v54/mcmahan17a/mcmahan17a.pdf

14.张丽玲,张丽玲,张丽玲,张丽玲,张丽玲,张丽玲,张丽玲,张丽玲,张丽玲,张丽玲,张丽玲。在2018年实习生论文集。相依之学习表现https://openreview.net/pdf?id=BJ0hF1Z0b

15.McMahan, H.B., Ramage, D.联合学习:没有集中训练数据的协作机器学习。谷歌AI博客(2017年4月6日);https://ai.googleblog.com/2017/04/federated-learning-collaborative.html

16.Paulik, M.等。设备上个性化的联邦评估和调优:系统设计和应用程序。出来了,2021分;https://arxiv.org/abs/2102.08503

17.Ramage, D., Mazzocchi, S. Federated analytics:没有数据收集的协作数据科学。谷歌AI博客(2020年5月27日);https://ai.googleblog.com/2020/05/federated-analytics-collaborative-data.html

18.Ramaswamy, S.等人。训练生产语言模型而不记忆用户数据。出来了,2020分;https://arxiv.org/abs/2009.10031

19.Subramanyan, P., Sinha, R., Lebedev, I., Devadas, S. Seshia, S.A. .安全远程处决飞地的正式基础。在2017年ACM SIGSAC会议论文集,计算机与通信安全, 2435 - 2450;https://dl.acm.org/doi/10.1145/3133956.3134098

回到顶部

作者

Kallista博纳(Cambridge, MA, USA)是谷歌的研究人员,专注于去中心化和隐私保护机器学习。他们的团队首创了联邦学习的概念(https://bit.ly/3xUOs6L),并在使用隐私保护技术处理分散数据时继续推动可能的边界。

彼得Kairouz(西雅图,WA, USA)是谷歌的研究人员,专注于去中心化和隐私保护机器学习。他们的团队首创了联邦学习的概念(https://bit.ly/3xUOs6L),并在使用隐私保护技术处理分散数据时继续推动可能的边界。

布伦丹·麦克马汉(西雅图,WA, USA)是谷歌的研究人员,专注于去中心化和隐私保护机器学习。他们的团队首创了联邦学习的概念(https://bit.ly/3xUOs6L),并在使用隐私保护技术处理分散数据时继续推动可能的边界。

丹尼尔鲸(西雅图,WA, USA)是谷歌的研究人员,专注于去中心化和隐私保护机器学习。他们的团队首创了联邦学习的概念(https://bit.ly/3xUOs6L),并在使用隐私保护技术处理分散数据时继续推动可能的边界。

回到顶部

脚注

一个。https://blog.google/technology/health/google-health-studies-app/

b。https://www.tensorflow.org/federated/tutorials/federated_learning_for_image_classification


版权由作者/所有者持有。授权给ACM的出版权。
请求发布的权限permissions@acm.org

数字图书馆是由计算机协会出版的。版权所有©2022 ACM股份有限公司


没有发现记录

Baidu
map