ACM通信
研究突出了
技术视角:针对黑盒类行为的白盒解决方案
深度神经网络(dnn)正迅速成为计算工具箱中不可缺少的一部分，尤其成功地帮助将混乱的模拟世界连接到我们可以用更传统的计算技术处理的形式(图像和语音识别，这是一些最明显的例子)。
然而，我们付出的代价是不可思议:dnn的行为就像黑匣子，没有清晰的逻辑来解释它们的功能。目前我们承认，大多数复杂的软件系统也几乎不可能完全推理，我们已经并将继续开发对关键组件进行正式推理和广泛测试的方法。几乎没有类似的dnn存在。这尤其令人担忧，因为dnn的力量让我们可以将计算扩展到以前无法进入的领域。在诊断糖尿病视网膜病变的至少一个领域，基于dna的方法已经与人类专家的表现相匹配，但我们还没有什么经验来帮助我们了解这些系统在现实世界中部署时可能会遇到什么样的bug。
我经常告诉学生们，要留意一个领域的论文，而这个领域的论文是所有人都声称已经超越的:那些论文刺激了其他研究人员。DeepXplore将是这样一篇论文。
DeepXplore为dnn带来了一种软件测试的视角，并在此过程中创造了通过多种方式进行大量后续工作的机会。以前在DNN中寻找错误的工作主要集中在寻找图像的个别对抗性修改，但没有明确关注DNN为实现这些修改所采取的计算路径的多样性。deepxploreneuroncoverage中引入的度量与软件测试中传统使用的代码覆盖度量类似。这一指标的实用性超出了DeepXplore所使用的技术;例如，安全漏洞搜索发现覆盖引导模糊是一种强大而有效的技术，神经元覆盖度量及其衍生物可以在DNN上下文中实现类似的方法。
我经常告诉学生，当他们刚开始学习研究的时候，他们应该留意那些别人都声称已经超越了的领域的论文:那些论文激励了其他研究人员。DeepXplore将是这样一篇论文。它的具体指标和对示例生成的限制不太可能成为DNN测试的最终定论，但由于研究人员看到了这些想法并试图改进它们，后续的工作将会存在。DeepXplore的核心框架可能会持续下去:基于神经网络激活获得的数值建立有效的覆盖率度量，并使用约束搜索程序最大化该度量的覆盖率。
数字图书馆是由计算机协会出版的。版权所有©2019 ACM, Inc.
没有发现记录