一个CM通信
印度地区专题:热点话题
识别噪声对神经网络影响的形式化方法
来源:Andrij Borys Associates，生长素
在过去的几年里，基于人工神经网络(ann)的智能系统的使用出现了令人难以置信的增长，这是因为它们具有与人类相当的分类能力和决策能力。然而，如图所示图1，即使在输入中添加少量的噪声也可能触发这些网络给出不正确的结果。13这是ann的一个令人担忧的局限性，特别是对于那些部署在自动驾驶汽车、航空和医疗保健等安全关键应用领域的ann来说。例如，考虑使用ANN来感知交通标志的自动驾驶汽车，如图所示图2；在嘈杂的现实环境中，人工神经网络的正确分类对于汽车附近的人和物体的安全至关重要。
图1。图像输入和噪声的大小。噪声的加入会导致之前正确分类的输入被训练过的网络错误分类。
图2。小的，难以察觉的噪音添加到交通标志，使训练网络提供不正确的输出分类。5
人工神经网络的标准设计周期包括使用干净数据训练网络，基于干净数据调优网络的超参数，并使用干净数据确保训练网络的可接受的准确性。然而，噪音是现实世界中无处不在的组成部分。
噪音的影响超出了对噪音输入的正确/错误反应。
这意味着部署在现实应用程序中的训练有素的人工神经网络被馈送有噪声的数据，对这些数据，人工神经网络可能从广泛的不太可能的响应中提供不可接受的响应。这就要求在将训练好的人工神经网络部署到实际应用中之前，更好地理解噪声对其的影响(即不太可能的响应的可能性)。12
为此，本文概述了目前的技术现状及其在分析噪声对人工神经网络影响方面的局限性。它还提供了一个有效的框架来识别训练过的与噪声有关的人工神经网络的漏洞，并讨论了噪声对人工神经网络性能的影响。
相关工作
现有的文献，包括经验和形式的努力，都是为了观察经过训练的人工神经网络对不同噪声边界的反应。3.，5然而，鉴于形式方法的完备性，3.，4，11，14他们特别感兴趣的是为噪声下的ann行为提供可靠的保证。9，13，14在这些形式化方法中，线性规划和可满足性(SAT)求解在神经网络分析中占主导地位。线性规划使用神经网络模型作为一组线性约束，并采用优化方法进行属性验证。7，9，10另一方面，基于SAT求解的工作旨在为人工神经网络的错误行为确定一个令人满意的解决方案，使用的网络模型通常以联合范式(CNF)表示。3.，14
然而，这些工作的一个主要限制是考虑鲁棒性，因为噪声对训练的人工神经网络的唯一影响。此外，尽管线性规划和SAT求解的不断使用已经显著提高了训练过的人工神经网络的形式化分析的最先进水平，但像模型检查这样的形式化方法仍然是人工神经网络分析的一个很少探索的领域。这项工作旨在通过利用模型检查来验证噪声对ann的各种影响来解决上述限制，延伸到鲁棒性之外。
FANNet:神经网络形式化分析框架
如前所述，噪声的影响超出了对噪声输入的正确/不正确反应。我们的工作旨在探索ann对噪声的各种响应，包括检查鲁棒性，识别网络的噪声容忍度，发现网络中对某些输出类的潜在偏差，以及研究单个输入节点的敏感性。为了实现这一点，我们建议使用形式化分析框架FANNet，11总结于图3，它采用系统的方法来分析ann对噪声的各种响应。它利用了模型检查器的自动化操作，并且根据所使用的模型检查器的类型，可以为分析提供定性和/或定量结果。
图3。形式化分析框架FANNet概述。该框架为训练后的人工神经网络编写形式化模型，验证人工神经网络的属性，并确定人工神经网络的噪声容限。
为了实现其目标，该框架使用架构细节和训练的参数值来定义正式的ANN模型。模型已验证(p0)使用来自(标记)测试数据集的种子输入;也就是说，正式的ANN模型和实际训练的网络的结果必须是相同的。该框架提供了预定义的噪声边界，模型检查器利用该边界非确定性地选择入射噪声向量进行形式化分析。然后，在(概率)时间逻辑中定义的属性被验证为已验证的ANN模型，在有界噪声的情况下使用种子输入。这些属性包括:
- 鲁棒性(p1）
给定一个人工神经网络f：X→l（X)，将小噪声n添加到正确分类的输入中x∈X带分类标签l（x)，不应改变的输出分类x．
- 训练偏差(p2）
给定一个人工神经网络f：X→l（X)，如果从输出类正确分类的输入中添加小噪声n，则f被称为描述训练偏差B，Xb∈XB是否更有可能被f错误分类而不是从输出类中正确分类的输入一个，X一个∈X一个．
- 个别输入节点的敏感度(p3.）
给定一个人工神经网络f：X→ηl(X)X我是网络的任意输入节点，该节点被认为是不敏感的，如果添加小噪声η到该节点，对于一个正确分类的输入x∈X带分类标签l（x)，即f（x \我，x我+η)不会使人工神经网络对输入进行错误分类x．
此外，FANNet中还部署了迭代降噪循环，用于识别最大噪声n马克斯，在此情况下，训练后的人工神经网络没有出现任何错误分类。这提供了网络的噪声容忍边界。
结果与讨论
为了演示噪声对真实数据集的影响，我们在白血病数据集上训练了一个单隐藏层、基于relu的全连接二进制分类器2训练准确率和测试准确率分别为100%和94.12%。使用FANNet部署Storm模型检查器获得以下结果:1在AMDRyzen Threadripper 2990WX处理器上运行Ubuntu 18.04 LTS操作系统。必须注意的是，FANNet与所使用的模型检查器的选择无关。使用像NuXMV这样的定性模型检查器，就像我们之前的工作中所做的那样，11将提供二进制(即SAT或UNSAT)结果。另一方面，像Storm模型检查器这样的定量工具的使用提供了更精确的结果(也就是说，对于给定的网络，属性有多大可能持有的确切概率)。
图4表示噪声影响下人工神经网络正确分类的概率。正如预期的那样，随着种子输入噪声的增加，正确分类的概率降低，表明网络的鲁棒性降低。然而，概率的变化是明显的，只有当入射噪声增加到超过网络的噪声容忍时。图4表明这种下降可以归因于b类的低分类精度，即使相当大的噪声也不会触发a类的错误分类，因此描述了网络中的训练偏差。这种现象也可以直观地观察到图5，其中噪声的添加(即z-axis)被认为会导致A类(图上的蓝点)输入的错误分类，但不会导致B类(图上的红点)输入的错误分类。此外,图6演示了单个输入节点的不同灵敏度，因为噪声的增加会比其他输入节点更少地降低某些(敏感)输入节点的正确分类概率。
图4。增加噪声对训练过的人工神经网络正确分类输入的概率的影响。
图5。噪音的应用(z-轴)到A类和B类(x- - -y-轴)导致来自类A的输入比类B的输入被错误分类得明显更多，这表明训练网络中存在偏差。
图6。增加噪声对单个输入节点正确分类概率的影响:不同的节点可能对入射噪声有不同的敏感性。
正如前面的结果所观察到的，噪声影响以多种方式训练了ann。对于输入有噪声的人工神经网络，网络的鲁棒性通常较低。另一方面，噪声容忍是经过训练的人工神经网络的一个基本(常数)属性，它可以通过提供可接受的噪声水平来帮助系统设计，以确保人工神经网络的鲁棒性。训练偏差是人工神经网络的一个隐形漏洞，它可能在噪声输入下增长，并可能导致人工神经网络在实际应用中提供不正确的响应。除此之外，对单个输入节点的分析可以为训练过的人工神经网络的工作提供有用的见解，并为研究训练过的人工神经网络的可解释性铺平了新的道路。
该框架的研究结果也可以用于改进人工神经网络的训练。数据集中现有训练偏差的知识可以用于数据集重新采样和偏差意识训练。6同样，除了提供具有最佳网络架构的高精度ann外，多目标训练算法还可以利用输入节点的噪声容限和灵敏度来提供健壮的ann。8
结论
尽管噪声是现实世界环境的重要组成部分，但在为实际系统训练的人工神经网络的设计周期中，噪声通常是不存在的。大量的文献涵盖了这种噪声对人工神经网络鲁棒性的影响。然而，噪声对鲁棒性以外的影响很少被研究。我们建议使用基于模型检查的框架FANNet来填补这一空白。这种有针对性的分析研究噪声对训练过的人工神经网络的影响，可能会提高未来智能系统的可靠性和安全性。
鸣谢这项工作得到了博士学院弹性嵌入式系统的部分支持，该学院由维也纳工业大学信息学学院和维也纳工业大学技术学院联合运营。
参考文献
1.Dehnert, C Junges, S, Katoen, j . p。一场风暴即将来临:一个现代概率模型检查器。在2017年实习生会议记录。计算机辅助验证，德国海德堡。
2.Golub, T.R等人。癌症的分子分类:基因表达监测的分类发现和分类预测。科学286， 5439，(1999)， 531-537。
3.黄X, Kwiatkowska, M.， Wang S.， Wu M.深度神经网络的安全性验证。在2017年实习生会议记录。计算机辅助验证，德国海德堡
4.Katz, G.等人。用于验证和分析深度神经网络的Marabou框架。在2019年实习生会议记录。计算机辅助验证，纽约市，纽约州。
5.Khalid, F.， Hanif, M.A, Rehman, S.， Ahmed, R.和Shafique, M. TrISec:在深度神经网络上训练数据不感知的不可察觉的安全攻击。在2019年实习生会议记录。计算机协会。在线测试与鲁棒系统设计。
6.Li, Y.和Vasconcelos, N. REPAIR:通过数据集重新采样去除表示偏差。在IEEE/CVF会议论文集。计算机视觉与模式识别(长滩，CA, USA, 2019)。
7.林文文，杨铮，陈旭，赵强，李晓霞，刘哲，何杰。基于线性规划的分类深度神经网络鲁棒性验证。在IEEE/CVF会议论文集。计算机视觉与模式识别(长滩，CA, USA, 2019)。
8.Marchisio, A.， Mrazek, V.， Hanif, M.A.和Shafique, M. FEECA:低延迟和节能胶囊网络加速器的空间探索设计。IEEE反式。超大规模集成系统， 4(2021)， 716-729。
9.Müller, m.n.， Makarchuk, G.， Singh, G, Püschel, M. and Vechev, M. PRIMA:通过可伸缩凸包逼近的一般和精确神经网络认证。在美国计算机学会编程语言论文集6，(2022年1月)，第43条，1-33。
10.Narasimhamurthy, M.， Kushner, T.， Dutta, S.和Sankaranarayanan, S.验证神经网络模型的一致性。在2019年IEEE/ACM实习生。计算机辅助设计会议(英国威斯敏斯特，2019年)。
11.Naseer, M. Minhas, F.， Khalid, F.， Hanif, m.a.， Hasan, O.和Shafique, M. FANNet:神经网络中噪声容忍、训练偏差和输入敏感性的形式化分析。在23届会议记录理查德·道金斯欧洲设计、自动化与测试会议，(格勒诺布尔，法国，2020)。
12.Shafique, M. Naseer, T. Theocharides, C. Kyrkou, O. Mutlu, L. Orosa和J. Choi，健壮的机器学习系统:挑战，当前趋势，前景和未来之路。在IEEE设计与测试，第37卷，no。2，页30-57,2020。
13.Szegedy, C.， Zaremba, W.， Sutskever, I.， Bruna, J.， Erhan, D.， Goodfellow, I.和Fergus, R.神经网络的有趣特性。2013;arXiv: 1312.6199。
©2022 acm 0001-0782/22/11
本论文部分或全部的电子版或硬拷贝供个人或课堂使用的许可是免费的，前提是副本不是为了盈利或商业利益而制作或分发的，并且副本的第一页上必须有本通知和完整的引用。除ACM外，本作品的其他组件的版权必须受到尊重。允许有署名的摘要。以其他方式复制，重新发布，在服务器上发布，或重新分发到列表，需要事先特定的许可和/或费用。请求发布权限permissions@acm.org或传真(212)869-0481。
数字图书馆是由计算机协会出版的。版权所有©2022 ACM, Inc.
没有找到条目