ACM通信

实践

可解释机器学习:从神话到诊断

文/ Valerie Chen, Jeffrey Li, Joon Sik Kim, Gregory Plumb, Ameet Talwalkar
ACM通信，2022年8月，第65卷第8期，43-50页
10.1145 / 3546036
评论

过去十年，机器学习作为一种改变社会的技术出现，引发了人们对人们无法理解日益复杂的模型的推理的担忧。可解释机器学习(IML)领域就是从这些关注中发展起来的，其目标是授权各种涉众处理用例，例如在模型中建立信任，执行模型调试，并通常通知真正的人类决策。^7，10，17

然而，尽管IML方法在过去几年里发展迅速，但当前的总体方法仍然存在明显的脱节。所示图1在美国，IML研究人员开发的方法通常针对不同但狭窄的技术目标进行优化，但他们声称的针对消费者的用例仍然很广泛，而且经常没有明确说明。对于该领域的类似批评，¹⁷因此，仍然难以充分评价这些主张和将方法上的进步转化为广泛的实际影响。

图1。IML消费者和研究人员之间的差距。

本文概述了ML社区解决这种脱节并促进更广泛采用的前进路径，重点关注两个关键原则:

• 拥抱IML的“诊断”愿景。IML领域的目标不是为定义不清的问题(如“调试”和“信任”)提供完整的解决方案，而是应该专注于开发一套经过严格测试的诊断工具这一重要的(如果不那么宏大的话)目标。通过将IML方法视为诊断，每一种方法都可以被视为对模型行为提供有目标的、指定良好的洞察。从这个意义上说，这些方法应该与更经典的统计诊断方法(例如，误差条、假设检验、离群值检测方法)一起使用，并以类似的方式使用，这些方法对何时以及如何应用它们有更明确的指导方针。在这个愿景下，现有的IML方法应该被视为潜在的在经过严格测试之前进行诊断。
• 严格评估和建立潜在的IML诊断。IML研究人员通常通过关注可量化的技术目标来开发和评估方法(例如，最大化忠实度的各种概念或对某些理想公理的坚持)^4，18，24)．虽然这些IML方法通常针对模型行为的看似相关的方面，但为了证明它们作为实际诊断的效用，必须在具体用例中度量它们的有效性。

这两个原则促使我们首先通过综合了IML方法和评估基础工作的不完全分类法来阐明我们的诊断愿景。的抽象层次上显示的分类法图2)不仅是在潜在的IML诊断和特定用例之间建立显式映射的模板，也是统一研究IML在现实环境中的有用性的工具。此外，当前分类法的不完整性强调了研究人员和消费者需要一起工作来扩展用例组织的覆盖范围(也就是，在“用例目标”部分)，并通过以下建议的工作流程在方法和用例之间建立连接:

图2。我们分类法的抽象版本。

1. 问题定义，研究人员与消费者一起定义一个明确指定的目标用例。
2. 方法选择，他们通过导航分类法的方法部分为目标用例识别潜在的IML方法和/或利用以前在相似用例和方法之间建立的连接。
3. 方法评估，研究人员与消费者一起工作，测试所选方法是否能满足目标用例。

在本文的后面，我们将广泛讨论这个IML工作流的最佳实践，以充实分类并向消费者交付经过严格测试的诊断。最终，可能会有一个越来越完整的分类法，允许消费者(C)为他们的用例找到合适的IML方法，并帮助研究人员(R)将他们的技术工作扎根于真实的应用程序中(如右侧所示)图2)．例如，所附的表格强调了三个不同的潜在诊断的具体例子，每个诊断对应不同类型的IML方法(分别是局部特征归因、局部反事实和全局反事实)，可以为三个用例提供有用的见解。特别地，将表中的计算机视觉用例作为一个运行的示例展开。

回到顶部

背景

最近提出了一套日益多样化的方法，并被广泛归类为IML的一部分。然而，鉴于这种快速发展，人们表达了多种担忧，主要集中在IML的基础和研究与实践之间的差距。

对该领域基础的批评。Zachary C. Lipton提供了一个早期的评论，强调IML的动机是高度可变的，并且可能与提议的方法不一致。¹⁷Maya Krishnan从哲学的角度补充了这些论点，假定可解释性作为一个统一的概念是不清楚的，而且有用性也值得怀疑。¹⁵相反，应该把更多的注意力放在实际的最终目标上，对于这些目标，IML是一种可能的解决方案。

研究和实践之间的差距。多项研究也强调了现有方法与其宣称的实际用途之间的重要差距。有些已经证明流行方法缺乏稳定性/鲁棒性。^1，2，16与此同时，其他人则通过指出隐藏的假设和危险，讨论了常见的IML方法如何在现实世界中无法帮助人类，^6，21以及与用户进行案例研究。^5，14

最近，许多评论论文^{3.，10，19，20.}已经试图清理和组织IML的各个方面，但基本上没有正面解决这些问题。相比之下，这里提出的将IML方法重新定义为诊断工具的想法自然是基于这些考虑。值得注意的是，本文包含了IML方法表面上的缺点，即仅仅提供“事实”。¹⁵或“摘要统计信息”²¹而是专注于这些方法何时以及如何有用的实际问题。

回到顶部

IML的诊断视野

在我们看来，诊断是一种工具，它提供了关于模型的一些可操作的见解。作为一个类比，考虑一套医生可以使用的诊断工具，它们同样可以提供关于病人的各种见解。x光片可以用来鉴别骨折，而心率监测器可以用来鉴别不规则的心律。重要的是，这两种工具都不能使医生广泛地“了解”一个人的健康状况，但如果适当地应用于一个范围广泛的问题，每一种工具都是有用的。对于IML社区来说，建立IML方法和定义良好的用例之间的连接的类似严格的方法是必不可少的。

为了开始这样的追求，让我们确定并协调您目前可能遇到的许多方法目标和用例目标。基于当代实践和论述，让我们考虑一种分类法，它为顶端的方法目标和底部的用例目标组织单独的层次结构(如中所示)图3)．虽然理想情况下，该领域的诊断远景包括一组明确定义的用例和这两方面之间的一组健壮的连接，但云用于说明当前总体上缺乏完善的诊断。展望未来，研究人员和消费者的目标是进行原则性研究，专注于填补这两个空白。首先，他们应该通过通过消费者-研究人员握手来定义更明确的目标用例(绿色显示)，从而细化用例的当前组织，由共同讨论的广泛目标的不完整列表组成。第二，它们的目标应该是在这些指标和技术目标之间建立明确的联系(蓝色所示)。

图3。诊断视野的分类法。

方法的目标。每个IML方法都提供对给定模型的特定类型的洞察。这些洞察的形式有助于提供一个分层组织，将现有的IML方法集划分为8个方法集群。在诊断的视野中，每个方法集群都被广泛地认为是解决一个技术目标(TO)的一类诊断。稍后，将以允许指定单个方法目标的方式描述每个TO。

等级森严的组织。分类的顶端旨在区分解释提供的各种视角，基于现有文献中通常讨论的三个因素:^3.，9，11

• 解释表示。模型解释通常以两者之一的形式给出功能的关系在输入和输出之间训练的例子。
• 特征关系的类型。在基于特征关系的解释背景下，有三种不同的方法来解释模型推理的不同方面:归因特点；对照；而且近似。注意，因为IML社区不太关注生成基于实例的解释，所以我们考虑沿着该分支的一个主要分组:样本重要性的解释。
• 解释规模。根据所期望的见解的规模，解释各不相同，其范围从当地的(也就是说，对于单个实例)全球(也就是说，对于一个定义良好的输入空间区域)。

在叶节点上是TOs，目标的类别足够精确，通常可以链接到a集群的方法这最直接地解决了他们的问题。总共有8个TOs/方法集群，它们捕获了现有IML方法的大部分目标。关于TOs的描述有两个重要的细微差别。

• 第一个，虽然TOs和方法集群在提议的分类法中是一对一的，但是显式区分这两个概念是很重要的，因为可能cross-cluster适应。这个概念出现的原因是，一个方法经常可能以一种特殊的方式被改编来处理不同的to。
• 第二个，每个TO都应该被认为定义了一类相关的目标。事实上，对于一个给定的TO，我们假设了一些关键技术细节(s)必须考虑将同一更广泛目标的有意义的不同实例完全参数化。这些重要的技术细节与TO结合在一起，允许您定义个体代理指标这反映了你的解释的期望属性。然后，代理度量可以作为单个方法进行优化的可处理的目标函数，以及度量任何方法处理to的特定实例的效果。

技术目标。下面是与各种方法集群对应的TOs(及其技术细节)的概述。由于内容的重叠，同一通用方法类型/目标的本地和全局版本被分组在一起。(关于每种方法的更多细节和示例，请参见Chen等人。⁸)．

• 归因特点的解释说明当特征出现(或缺失)时，模型的预测是如何受到影响的，也就是说，每个特征对模型的预测有多“重要”。通常，重要性度量是根据模型的预测相对于对某些基线输入的预测的变化来定义的。基线输入有时是隐式的和特定于领域的(例如，灰度图像的所有黑色像素或表格数据的平均输入)。因此，技术细节既是精确的概念“重要性”和的选择基准输入。相关代理指标通常根据每种方法计算出的“重要性”值来衡量应用于个体(或训练数据)的不同扰动类型的模型预测变化的程度。
• 反事实的解释说明什么“低成本”修改可以应用到数据点，以实现预期的预测。最常见的技术细节是的具体度量成本，最常见的代理指标是反事实改变模型预测的频率。
• 近似的方法解决如何通过在区域内近似其预测来总结模型的问题，可以是局部围绕数据点，也可以是尽可能多的全局围绕点，或者是跨输入空间的特定区域。这些方法都需要技术细节的定义地区简单的函数模型的家庭。对于局部逼近，一个规范的度量是局部保真度，它度量方法在数据点的某个邻域内预测的效果。对于全局近似，一个代理指标是覆盖率，它衡量解释适用于多少数据点。
• 样本重要性的方法找出哪些训练点对单个点或模型整体的预测影响最大。技术细节因方法而异，因此很难确定一个一致的变化轴。这些方法可以通过模拟实验来评估，通过发现损坏的数据点，检测负责数据分布偏移的点，并在被认为重要的样本中恢复较高的精度，代理指标可以代表所提供解释的有用性。

通过设计的方法如何适应?虽然它们在这个分类中没有相应的方法集群，但是讨论另一类IML方法是很重要的，这些IML方法提出的模型本身就是模型可解析的设计。²¹这些模型与上节中提到的事后方法的区别在于，这些方法的TO(s)本质上与模型族本身相关;因此，只有在模型满足上述TO(s)的情况下，这些模型才具有可解释性。也就是说，按设计方法也适合这个框架，应该被视为回答分类法中相同的TOs的不同方法。当提出或使用by-design方法时，他们应该清楚地指定他们打算处理哪些TOs。

用例的目标。当前关于IML用例的很多论述都围绕着区分相当广泛的目标，例如调试模型，获得各种涉众的信任，以及向用户提供可操作的资源(图3)．虽然这种级别的分类是一个良好的开端，但它的效用有限，因为它将每个类别都视为IML要解决的整体问题。首先，这些问题很复杂，不应该认为IML本身可以完全或单独解决这些问题。相反，IML只是一组必须被证明有用的潜在工具。也就是说，为了表明IML方法是一种有效的诊断方法，必须确定并演示特定的用例。¹⁵

其次，每个宽泛的目标实际上都包含多个独立的技术问题，并与许多可能的实际设置和限制相交叉。对于所有这些子问题和领域，一个给定的IML方法不太可能同样有用。

因此，在理想情况下，实际有用的声明应该被指定到充分定义的目标用例(TUC)的级别。与方法方面的TOs一样，TUCs对应于学习底层模型的特定相关特征(例如，模型行为的某个属性或概念)。然而，与TO不同的是，它们代表现实世界的问题，虽然它们可以被评估，但通常不适合直接优化。

例如，您可以设置评估，以确定IML方法是否有助于识别模型中特定类型的错误(例如，积极的伪相关)，但是如何优化IML方法以使其在这些评估中成功，就不是那么明显了。

回到顶部

建立诊断的工作流程

现在让我们转向如何更充分地实现IML的诊断远景，讨论如何将方法建立为诊断，从而填补现有分类法的空白。具体来说，为消费者-研究者团队定义了一个理想的工作流程，以便对IML方法进行未来的研究。它描述了分类法如何为三个关键步骤中的每一个指导最佳实践:问题定义;方法选择;和评价方法。这个工作流既适用于希望研究现有IML方法的团队，也适用于提出新方法的团队。

---

一个理想的工作流程被定义为消费者-研究者团队进行IML方法的未来研究。

---

的计算机视觉模型调试示例为基础，提供了一个运行的示例，以帮助理解本文的讨论表格．模型调试不仅是一个常见的消费者用例，^7，13但也是有根据的。这是一个自然的起点，因为它假定的消费者、数据科学家具有多用途的特性，他们通常具有大量的ML知识和领域专业知识，从而最大限度地减少了数据科学家和IML研究人员之间的沟通差距。

表格示例用例。

步骤1:问题定义。任何原则性研究的第一步都是定义一个明确的职工大会。这个过程叫做消费者研究握手（图3)，研究人员与消费者合作，逐步将后者的现实问题提炼为相关的TUCs。在这个过程中，一些有用的信息包括:可用的数据、使用的ML管道和执行评估所需的领域知识。最终，一个更具体的分类法将帮助研究人员手头有更多具体的用例来激励他们的方法开发，而消费者将对IML能为他们做什么和不能为他们做什么有更现实的指导。

运行示例:假设一个数据科学家想要调试基于图像的对象检测模型。她希望利用IML研究人员的专业知识，但如分类法用例部分的假设版本所示(图4)，模型调试的伞包括几个子问题，如检测虚假的相关性和识别坏的边例行为。因此，研究人员和数据科学家团队需要通过确定IML方法应该检测的“bug”的确切概念，来确定一个比“执行模型调试”更具体的TUC。通过消费者-研究人员的握手，数据科学家担心模型可能不会基于实际的目标对象做出正确的决策，而是依赖于碰巧也存在的相关对象。例如，模型可能使用一个人的出现作为图像中有网球拍的指示，而不是球拍本身。

图4。在我们运行的示例中使用消费者研究人员握手。

该信息允许团队导航分类法的相关分支。在这里，通过考虑数据科学家的关注点，他们首先将目标从模型调试缩小到检测虚假的相关性。然后，通过考虑特定的设置(即网球球拍和网球运动员同时存在)，他们能够进一步确定一个特定的用例，即检测两个正相关对象之间的伪相关性(由中白色边界标记)图4)．在这种情况下，研究小组小心地将其与检测对负相关对象的依赖程度的类似问题区分开来，推理出后者是根本不同的(也就是说，如果一开始就很少出现共同出现的对象，则更难判断输出是否依赖于一个对象)。

第二步:方法选择。正确定义TUC之后，下一步是考虑哪些IML方法可能是合适的。这确实假设IML方法是必要的——也就是说，团队应该已经证明TUC对更“琐碎的”或传统的诊断提出了挑战。例如，Bansal等人发现，与人工智能/人类决策团队的专用解释性方法相比，模型置信度是一个竞争性基线。⁵

如果非iml诊断不成功，可以通过两种方式使用分类法来选择方法。首先，默认情况下，研究人员和消费者可以遍历分类法的方法部分，以确定可能与TUC最一致的TOs(以及各自的方法集群)。这样做应该依赖于研究人员的最佳判断，应用关于各种方法类型的先验知识和直觉，试图缩小潜在的TOs集合。如果一个方法正在被提出，那么它应该被映射到适当的方法集群，并且应该遵循相同的选择过程。第二，团队也可以从用例部分开始导航，利用和扩展由以前的研究建立的连接。当然，如果一些方法已经被证明在TUC上工作得很好，那么当研究相同(或类似)用例时，这些(或类似的)方法提供了直接的基线。

在任何一种情况下，都必须为每个方法做出一个重要而微妙的选择:究竟应该如何解释其结果的解释(也就是说，要处理哪一个TO)。正如在关于方法目标的部分中所讨论的，属于特定集群的方法可能最自然地处理相关的to，但是也可以尝试跨集群适应来处理其他的to，这确实很常见。不幸的是，虽然这种适应性有时可能有用，但它们通常以一种特殊的方式执行。具体来说，在适应过程中，每个TO的技术细节之间的差异常常被忽略，如下两个示例所示(Chen等人对此有更深入的介绍)。⁸)．

首先，你可以尝试使用“特征重要性权重”，通过Shapley加法解释(SHAP)，¹⁸作为局部近似的线性系数。这种适应假设局部“重要性”的概念也可以反映与所需近似区域上的特征的线性相互作用。然而，SHAP并不一定能保证这一点，相反，它对重要性值强制执行一组不同的博弈论期望数据，并可能被设置为考虑与目标近似区域相比的一组完全不同的摄动。

相反，您可以通过香草梯度来考虑显著性映射²³作为一种相反方向的适应。这些显著图是一种有效邻域非常小的局部近似，更常用于处理局部特征归因目标，如识别图像的哪些部分对预测影响最大。然而，这种适应有一个潜在的假设，即梯度最大的像素也是最“重要的”像素。这种近似可能并不准确，因为通过梯度测量的局部形状不一定表明模型在较远的基线输入附近的行为。

运行示例:在这种情况下，假设之前没有确定的检测正伪相关的结果。该团队遵循分类法的方法部分来生成假设，以确定哪种类型的局部解释最适合他们理解单个图像的需求。他们反对基于近似的目标，因为当输入在像素空间中变化时，简单的近似不太可能在连续的局部邻域中保持或具有语义意义。他们选择特征归因，因为他们相信将模型认为最重要的特征可视化，将有助于检测这些类型的虚假关联。

该团队在局部反事实方法簇中提出了一种方法，可以识别出必须改变的超级像素，以便将预测从“网球拍”翻转到“没有网球拍”。通过将反事实解释可视化为一个显著性图，该团队执行跨集群适应，将反事实解释为一个特征归因解释。为了做到这一点，他们假设变化最大的特征也是检测网球拍最重要的特征。他们认为，对于TUC的数据科学家来说，特征归因解释将是一种更直观的格式。在比较方面，团队选择用于比较的特征归因方法为Grad-CAM(梯度加权类激活映射)，²²这也会产生一个显著图。

步骤3:方法评估。一旦选择了适当的方法，最后一步就是对它们进行评估。评估是测试提出的方法是否真的有助于解决指定的TUC的关键步骤。然而，尽管它很重要，这一步骤的执行方式往往与它声称要测试的特性不一致。一个常见的错误是对解释的评价诚实(即，满足特定to的能力)常常与对其的评估混为一谈有用性(即解决实际TUCs的适用性)。虽然两者都可能发挥重要作用，但它们针对的是根本不同的主张。

在IML应用程序的整个管道中考虑这些评估(如所示)图5解决了这类错误。它首先通过连接回本文中给出的分类法来强调这些评估目标的差异;忠实于满足方法部分中特定to的目标，而有用性则对应于满足用例部分中的TUC。然后，它还列出了影响每种类型的各种移动组件，用灰色框表示需要更仔细研究的组件。这为如何执行每一项工作奠定了基础，我们将对此进行更详细的讨论。

图5。IML管道内的评估程序。

忠实度评估是根据使用目标to类的相关技术细节指定的代理度量执行的。例如，如果目标是展示一个基于近似的解释的有用性，它被改编为反事实的解释，那么忠实度评估应该是与反事实的代理度量相关的。参考Doshi-Velez和Kim的术语，⁹这些类型的评估被称为功能接地也就是说，涉及自动代理任务，而不需要人工。虽然这样的评估是最容易进行的，但它们也有关键的限制。

一般来说，您应该期望一个方法至少在它所选择的TO的代理上执行得很好，而且，自然地，那些不直接针对这个特定代理的方法可能不会执行得很好。由于技术细节设置的不公平或有偏见，一个解释的表现也可能被错误地与另一个解释进行比较。作为一个例子，尽管广义相加模型(GAMs)¹²和线性模型都提供局部近似，只在保真度上下文中比较这些方法，忽略了GAMs可能产生更“复杂”的解释这一事实。

此外，虽然可信度评估可以作为运行更昂贵的有用性评估之前的第一步健全检查，但仅仅显示一个方法对模型是可靠的并不是该方法的结论现实世界的在相应的代理机构与职工大会之间建立直接联系之前，一旦建立了这些链接，这些代理就可以在执行昂贵的有用性评估之前更有把握地帮助排除错误设置。

与忠实度相比，有用性评价衡量的是用户对特定TUC应用解释的成功程度。因为它们最终是对用户使用解释所做的事情的评估，所以有用性主要取决于一些因素，例如用户的先验知识——例如，他们的领域和ML/IML经验。再次使用Doshi-Velez和Kim的术语，⁹用户的观点可以通过对执行简化或实际任务的真人的研究(即，human-grounded或application-grounded分别评估)。特别是，作为进行有用性研究的一部分，您需要考虑用户根据所提供的解释和明确指示的表示可能会有怎样的不同行为。

被云所突出图5在美国，用户究竟是如何将(他们头脑中的)解释计算转化为最终判断的，这一点仍不清楚。这激发了进一步的研究，以便更好地理解用户理解的解释告诉他们什么，以及他们如何根据这些理解采取行动。然后，当建立新的诊断方法时，当研究人员在未来的研究中使用该方法和当消费者使用该方法时，这些假设/限制应该清楚地说明。

受到这些挑战的激励，研究人员可能还想考虑另一种有用性评估:仿真评估。这是对真实任务的模拟版本的算法评估，其中成功和失败由领域专家提炼为可测量的数量(如运行的示例所示)。这种类型的评估仍然基于真正的任务，但比用户研究更容易运行，可能更可靠。

通过算法模拟用户和他们的决策过程，从而控制有用性评估中一些噪声较大的方面，研究人员可能能够更好地理解他们的方法失败的原因:是因为算法本身还是因为用户实际的决策过程?

总的来说，这些各级评价的成功为建立有关方法与职工大会之间的联系提供了证据。具体来说，团队应该检查之前考虑的代理指标是否与TUC上的成功相关。如果是这样，这将为是否应该在未来的研究中再次使用所考虑的代理指标提供证据，将忠实度和有用性评价联系起来。

运行示例:该团队首先使用各自定义的重要性概念对两种方法分别进行局部特征归因可信度评估。例如，对于提出的方法，团队确保每个生成的解释忠实地执行其识别超级像素存在或不存在的影响的预期TO。然而，在任何代理度量上的良好性能并不最终意味着在实际TUC上的良好性能，因此团队转向有用性评估。

该团队首先进行模拟评估，其中创建的数据集要么包含(人工诱导的)一对对象之间的正相关，要么不包含这种相关。通过仔细地控制训练和验证分布，他们可以自动验证模型是否学习了他们想要检测的有问题的行为。然后，他们可以为这些解释定义一个评分函数(即他们对虚假对象的关注程度)，并衡量该评分与每种解释的基本事实之间的关联程度。

其次，该团队用多个模型进行了一项人体研究，他们知道哪些模型使用了虚假的相关性。他们根据数据科学家是否能够使用反事实与Grad-CAM生成的每个解释来识别使用虚假相关性的模型，对数据科学家进行评分。如果这些方法在人体研究中成功，该团队已经证明了它们与TUC之间的联系，即检测正相关对象。

回到顶部

结论

假设对IML有一个诊断的远景，这里提出的分类法是一种澄清方法和用例之间差距并开始弥合差距的方法。此外，本文还讨论了研究人员和消费者如何随着时间的推移使用和改进分类法，以确定哪些方法对哪些用例有用的最佳实践。随着消费者研究团队通过更多的研究来充实分类，我们的愿景是，它将对双方个人都越来越有用(图2,对吧)。总的来说，目标是促进在发现、测试和应用新的和现有的IML方法方面的更好实践。

回到顶部

回到顶部

数字图书馆是由计算机协会出版的。版权所有©2022 ACM, Inc.

---

没有发现记录