样本获取方法、装置、非易失性存储介质及计算机设备

技术领域

本发明涉及软件测试领域，具体而言，涉及一种样本获取方法、装置、非易失性存储介质及计算机设备。

背景技术

机器学习(ML)技术如深度神经网络(Deep-Neural-Network,简称DNN)取得了重大进展，使得人脸识别等关乎安全的机器学习系统得以发展。然而，尽管深度神经网络取得了惊人的进步，但与传统软件一样，深度神经网络经常表现出错误或意外的情况行为，这可能会导致潜在的危险。深度神经网络驱动人脸识别的大多数现有测试技术在很大程度上依赖于在不同环境下手动收集测试数据，随着测试条件数量的增加，这些测试数据变得昂贵得令人望而却步。传统软件和基于DNN的新软件的内部结构有着根本的不同。例如，与传统软件不同，传统软件的程序逻辑是由软件开发人员手动编写的，基于DNN的软件可以在最少的人工指导下从大量数据中自动学习其逻辑。此外，传统程序的逻辑是用控制流语句表示的，而DNN使用不同神经元之间的边的权重，以及用于类似目的的非线性激活函数。这些差异使得基于DNN的软件的自动测试工作具有挑战性。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种样本获取方法、装置、非易失性存储介质及计算机设备，以至少解决能够对深度神经网络软件系统进行高效测试的测试样本集不易获取的技术问题。

根据本发明实施例的一个方面，提供了一种样本获取方法，包括：获取备选图像；将所述备选图像输入深度神经网络软件系统，获取所述深度神经网络软件系统处理所述备选图像时的神经元覆盖率；在所述神经元覆盖率大于第一阈值的情况下，将所述备选图像加入测试样本集，其中，所述测试样本集用于执行对所述深度神经网络软件系统的测试。

可选地，所述获取备选图像，包括：获取初始图像，其中，所述初始图像为处于标准图像状态的图像；确定若干基本图像操作，其中，所述基本图像操作包括如下至少之一：图像亮度调整、图像对比度调整、平移、缩放、水平剪切、旋转、模糊、雾效应和雨效应；基于所述基本图像操作对所述初始图像进行图像变换，得到所述备选图像。

可选地，所述基于所述基本图像操作对所述初始图像进行图像变换，得到所述备选图像，包括：基于所述基本图像操作，确定第一图像操作，其中，所述第一图像操作包括所述基本图像操作中的一种或多种；基于所述第一图像操作对所述初始图像进行图像变换，得到所述备选图像。

可选地，所述对所述初始图像进行图像变换，得到所述备选图像，包括：获取所述初始图像的初始图像状态以及目标图像状态；基于所述目标图像状态以及所述初始图像状态，确定第二图像操作，其中，所述第二图像操作包括所述基本图像操作中的一种或多种；基于所述第二图像操作对所述初始图像进行图像变换，得到所述备选图像。

可选地，上述方法还包括：在所述测试样本集包括多个所述备选图像的情况下，获取多个所述备选图像各自的图像状态；基于所述多个所述备选图像各自的图像状态，确定所述测试样本集的图像状态在图像状态空间中覆盖的空间范围；基于所述空间范围，确定所述深度神经网络软件系统的测试样本边界条件。

可选地，上述方法还包括：基于所述测试样本边界条件，生成目标样本图像，其中，所述目标样本图像的图像状态在所述图像状态空间中满足所述测试样本边界条件；将所述目标样本图像添加到所述测试样本集。

可选地，上述方法还包括：使用所述测试样本集对所述深度神经网络软件系统进行测试，得到与所述深度神经网络软件系统对应的正误率波动范围，其中，所述正误率波动范围用于表示所述深度神经网络软件系统在处理属于不同图像状态的备选图像时产生的多组处理结果各自的正误率；在所述正误率波动范围小于第二阈值的情况下，确定所述深度神经网络软件系统可信。

根据本发明实施例的另一方面，还提供了一种样本获取装置，包括：第一获取模块，用于获取备选图像；第二获取模块，用于将所述备选图像输入深度神经网络软件系统，获取所述深度神经网络软件系统处理所述备选图像时的神经元覆盖率；添加模块，用于在所述神经元覆盖率大于第一阈值的情况下，将所述备选图像添加至测试样本集，其中，所述测试样本集用于执行对所述深度神经网络软件系统的测试。

根据本发明实施例的又一方面，还提供了一种非易失性存储介质，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行上述任意一项所述样本获取方法。

根据本发明实施例的再一方面，还提供了一种计算机设备，所述计算机设备包括处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述任意一项所述样本获取方法。

在本发明实施例中，通过将备选图像输入深度神经网络软件系统，获取深度神经网络软件系统处理备选图像时的神经元覆盖率，在神经元覆盖率大于第一阈值的情况下，将备选图像加入测试样本集的方式，其中，测试样本集用于执行对深度神经网络软件系统的测试，达到了为深度神经网络软件系统的测试工作收集足够有效的测试样本图像的目的，从而实现了为深度神经网络软件系统的测试提供测试样本的技术效果，进而解决了能够对深度神经网络软件系统进行高效测试的测试样本集不易获取的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了一种用于实现样本获取方法的计算机终端的硬件结构框图；

图2是根据本发明实施例提供的样本获取方法的流程示意图；

图3是根据本发明实施例提供的样本获取装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，对本申请实施例进行描述的过程中出现的部分名词或者术语适用于如下解释：

深度神经网络软件系统(Deep-Neural-Network软件系统，简称DNN软件系统)，即采用深度神经网络构建的软件系统，软件中通过采用DNN架构实现部分软件功能。

神经元覆盖率，深度神经网络执行任务时神经网络中的神经元被激活的比例。

根据本发明实施例，提供了一种样本获取方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现样本获取方法的计算机终端的硬件结构框图。如图1所示，计算机终端10可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的样本获取方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的样本获取方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10的用户界面进行交互。

DNN软件系统与传统软件系统相比存在显著不同，因此两种软件的测试方式也明显不同。首先，通过最大化分支/代码覆盖率来系统地探索程序逻辑不同部分的传统软件测试技术对于基于DNN的软件不是很有用，因为DNN软件系统中采用DNN架构的功能部分没有使用控制流进行编码。其次，DNN与用于建模和测试传统程序的模型(如有限状态机)有着根本的不同，由于DNN所建模函数的非线性，在DNN中寻找将导致高模型覆盖率的输入具有更大的挑战性。此外，已知在为传统软件生成高覆盖率测试输入方面相当成功的可满足性模理论(SMT)求解器在涉及浮点算法和高度非线性约束的公式方面存在问题，而上述运算这在DNN中很常用。事实上，一些研究项目已经尝试构建定制工具，用于正式验证DNN的安全属性。不幸的是，它们都不能很好地扩展到真实世界大小的DNN。最后，手动创建复杂DNN系统(如人脸检测)的规范是不可行的，因为逻辑太复杂，无法手动编码，因为它涉及活体与非活体的检测逻辑。

图2是根据本发明实施例提供的样本获取方法的流程示意图，如图2所示，该方法包括如下步骤：

步骤S202，获取备选图像。本步骤中，备选图像的图像种类为步骤S204至S206中涉及的深度神经网络软件系统所用于处理的图像种类。例如，若深度神经网络软件系统为用于识别道路中车辆的软件系统，则备选图像为包括车辆的图像或者包括干扰物的道路图像；若深度神经网络软件为用于识别人脸或者匹配人脸的软件系统，则备选图像可以为包括人脸的图像或者包括其他类似人脸物体的图像。备选图像表示备选进入用于对深度神经网络软件系统进行测试的测试样本集的图像。

步骤S204，将备选图像输入深度神经网络软件系统，获取深度神经网络软件系统处理备选图像时的神经元覆盖率。

本步骤中，可以采用神经元覆盖率这一参数对备选图像与深度神经网络软件系统的测试效果进行评价，若备选图像对应的深度神经网络软件系统的神经元覆盖率高，则可以认为深度神经网络软件系统在处理该备选图像时会调用自身更多的神经元进行处理运算，则依据该备选图像可以更加全面的对该深度神经网络软件系统进行测试。深度神经网络软件系统中的DNN架构有很多神经元组成，神经元覆盖率可以用于评价当备选图像输入深度神经网络软件系统之后，深度神经网络软件系统中被激活的神经元的数量与神经元总数的比值。具体的，神经元覆盖率可以基于如下公式确定：

其中，NeruronCoverage表示神经元覆盖率，ActivatedNeruions表示活跃的神经元数量，TotalNeurons总共的神经元数量。

可选的，如果单个神经元的输出(按整个层的输出进行缩放)大于我们为深度神经网络软件系统设置的神经元激活阈值，则可以认为该神经元被激活。例如，对于完全连接层中的所有神经元，我们可以直接将它们的输出与神经元激活阈值进行比较，因为这些神经元只输出一个标量值。此外，卷积层中的神经元输出多维特征图，例如，若一个卷积核应用于整个图像，该卷积核在下一层生成大小为3×3的特征图，在这种情况下，可以计算输出特征映射的平均值，将神经元的多维输出转换为标量，然后并将其与神经元激活阈值进行比较，若其大于神经元激活阈值，则可以认为该神经元被激活。

首先，我们利用神经元覆盖的概念(即一组测试输入激活的神经元数量)系统地探索DNN逻辑的不同部分。因此，神经元覆盖可以作为一种引导机制，系统地探索不同条件下的人脸识别错误行为。接下来，模拟真实世界中识别条件差异的不同图像变换，如对比度/亮度的变化、摄像头的旋转，会导致人脸识别的DNN中不同神经元组的激活。最后，我们使用测试的DNN的多次执行之间的转换特定的变形关系来自动检测人脸识别错误的行为。

步骤S206，在神经元覆盖率大于第一阈值的情况下，将备选图像加入测试样本集，其中，测试样本集用于执行对深度神经网络软件系统的测试。通过上述步骤，可以为深度神经网络软件系统收集一个包括备选图像的测试样本集，该测试样本集中的每一个测试样本对应的神经元覆盖率都大于第一阈值，因此依据该测试样本集可以很好地执行对该深度神经网络软件系统的软件测试工作，即通过为深度神经网络软件系统选取更加可靠的测试样本集，提高对深度神经网络软件系统的测试工作的效度。

通过上述步骤，通过将备选图像输入深度神经网络软件系统，获取深度神经网络软件系统处理备选图像时的神经元覆盖率，在神经元覆盖率大于第一阈值的情况下，将备选图像加入测试样本集的方式，其中，测试样本集用于执行对深度神经网络软件系统的测试，达到了为深度神经网络软件系统的测试工作收集足够有效的测试样本图像的目的，从而实现了为深度神经网络软件系统的测试提供测试样本的技术效果，进而解决了能够对深度神经网络软件系统进行高效测试的测试样本集不易获取的技术问题。

作为一种可选的实施例，可以采用如下方式获取备选图像：获取初始图像，其中，初始图像为处于标准图像状态的图像；确定若干基本图像操作，其中，基本图像操作包括如下至少之一：图像亮度调整、图像对比度调整、平移、缩放、水平剪切、旋转、模糊、雾效应和雨效应；基于基本图像操作对初始图像进行图像变换，得到备选图像。

根据软件测试的经验表明，仅使用手动生成的测试用例很难构建健壮的软件系统。并且，由于可以用于提供给深度神经网络软件系统的测试图像的公开样本集数量不多或者图像种类不全，采用少量公开样本集来执行对深度神经网络软件系统的软件测试不能有效地检测出软件错误或漏洞。基于上述问题，本可选实施例提出了一种基于初始图像生成有价值的备选图像的方案，填补测试样本素材的稀缺，且保证备选图像对于执行对深度神经网络软件系统的测试有效。

本可选实施例中，调整亮度和对比度都是对图像中像素的线性变换。图像的亮度取决于该图像的像素值的大小，可以通过在每个像素的当前值上加/减去一个常量参数β来调整。对比度表示图像中不同像素之间的亮度差异，可以通过将每个像素的值乘以一个常数参数α来调整图像的对比度。

平移、缩放、水平剪切和旋转可以是不同类型的仿射变换。仿射变换是根据点、直线和平面的两幅图像之间的线性映射对图像进行变换处理。仿射变换经常用于图像处理，以修复由相机角度变化造成的扭曲。在本申请中，我们可以利用仿射变换的逆情况，即模拟不同的摄像机视角或人脸在不同角度的情况，并检查人脸检测对这些变化的鲁棒性。

模糊和添加雾效应、雨效应都属于一种卷积转换，也就是说，它们对具有不同转换特定内核的输入像素执行卷积操作。可选的，可以使用四种不同类型的模糊滤波器来实现上述操作，例如平均、高斯、中值和双边。又例如，可以在初始图像上合成由图像处理软件提供的多个滤镜，以模拟真实的雾和雨的效果。

作为一种可选的实施例，基于基本图像操作对初始图像进行图像变换，得到备选图像，可以按照如下步骤：基于基本图像操作，确定第一图像操作，其中，第一图像操作包括基本图像操作中的一种或多种；基于第一图像操作对初始图像进行图像变换，得到备选图像。

基于本可选的实施例，可以为初始图像匹配多种基本图像操作，同时对初始图像进行变换，得到备选图像，丰富了备选图像的图像状态，可以为测试样本集提供更加丰富的素材。需要说明的是，在标准图像状态的初始图像的基础上对其进行若干基本图像操作之后，可以将得到的备选图像的类型范围按照图像状态空间的方式进行表示，例如若基本图像操作包括九种不同的操作，则该图像状态空间包括九个不同的维度，对初始图像进行了哪一种操作就可以在图像状态空间中的对应维度上进行相应的记录，最后得到每一张备选图像在状态空间中的对应坐标位置。将所有备选图像的坐标位置连接起来，即可得到所有备选图像对应的一个状态空间集合或者状态空间中的空间区域。该空间区域可以用于表征其区域内部的图像状态对于该深度神经网络软件系统来说，是可以满足其神经元覆盖率要求的测试样本。

作为一种可选的实施例，对初始图像进行图像变换，得到备选图像，还可以按照如下方式进行：获取初始图像的初始图像状态以及目标图像状态；基于目标图像状态以及初始图像状态，确定第二图像操作，其中，第二图像操作包括基本图像操作中的一种或多种；基于第二图像操作对初始图像进行图像变换，得到备选图像。

本步骤中，可以首先明确深度神经网络软件系统所需要的测试样本的图像状态，然后基于初始图像的图像状态与深度神经网络软件系统所需要的图像状态的差异确定该初始图像对应的第二图像操作，达到生成符合深度神经网络软件系统的需求的图像的目的。例如，若初始图像的标准图像状态为亮度50％，而深度神经网络软件系统希望得到亮度为60％且能够使得其神经元覆盖率达到第一阈值的图像作为测试样本，那么可以据此确定该初始图像对应的第二图像操作为“将图像亮度增加10％的值”，得到图像亮度为60％的备选图像，然后将该备选图像输入深度神经网络软件系统检测系统的神经元覆盖率，判断是否可以将其加入测试样本集，以实现本申请的技术目的。

作为一种可选的实施例，在获取测试样本集之后，还可以进行如下操作：在测试样本集包括多个备选图像的情况下，获取多个备选图像各自的图像状态；基于多个备选图像各自的图像状态，确定测试样本集的图像状态在图像状态空间中覆盖的空间范围；基于空间范围，确定深度神经网络软件系统的测试样本边界条件。

需要说明的是，测试样本边界条件可以用于确定一个测试样本图像是否可以用于对该边界条件对应的深度神经网络软件系统进行测试，即可以认为，满足测试样本边界条件的测试样本图像可以满足对深度神经网络软件系统进行测试时的神经元覆盖率要求，不满足的测试样本边界条件的测试样本图像大概率无法使深度神经网络软件系统的神经元覆盖率大于第一阈值。通过确定深度神经网络软件系统的测试样本边界条件，可以给后续测试样本的创建或者筛选工作提供极大地便利，使得可以不再对每一个初始图像进行无目的图像变换，然后再测试变换后图像的神经元覆盖率，才能确定一个变换后的图像是否能够作为深度神经网络软件系统的测试样本并选入测试样本集，而可以基于测试样本边界条件预先指引图像变换的方向并预测变换后的图像的测试效果，提高测试样本集中图像的收集效率。

作为一种可选的实施例，还可以基于测试样本边界条件，生成目标样本图像，其中，目标样本图像的图像状态在图像状态空间中满足测试样本边界条件；将目标样本图像添加到测试样本集。

本可选的实施例中，生成的目标样本图像由于满足测试样本边界条件，因此大概率可以将深度神经网络软件系统的神经元覆盖率提高到第一阈值之上，即该目标样本图像大概率可以实现对深度神经网络软件系统的有效测试，因此可以将其添加到深度神经网络软件系统对应的测试样本集中，实现了对测试样本集的快速填充。

作为一种可选的实施例，可以使用测试样本集对深度神经网络软件系统进行测试，得到与深度神经网络软件系统对应的正误率波动范围，其中，正误率波动范围用于表示深度神经网络软件系统在处理属于不同图像状态的备选图像时产生的多组处理结果各自的正误率；在正误率波动范围小于第二阈值的情况下，确定深度神经网络软件系统可信。

测试复杂的基于DNN的系统的主要挑战之一就是手动创建系统规范，从而检查系统的行为。为了避免这个问题，我们可以采用系统的正误率波动范围来对系统的稳定性进行评价。例如，基于对深度神经网络软件系统的功能稳定性要求，在任何照明条件、天气条件、模糊条件下或任何具有小参数值的仿射变换下，深度神经网络软件系统的误报的概率不应该发生显著变化，这样的软件系统才具有良好的鲁棒性。因此，基于本可选实施例可以建立一个简单的系统规范，就是在不同类型的图像变换下，对深度神经网络软件系统关于测试样本集中不同图像状态的测试样本图像的误报概率波动范围设定一个合适的阈值，若深度神经网络软件系统在对不同图像状态的图像执行图像处理功能时，其正误率波动范围在此阈值内，可以认为该软件系统是可信的，即系统鲁棒性通过了检测。

作为一种可选的实施例，上述初始图像和备选图像可以为人脸图像，深度神经网络软件系统可以为用于识别人脸、定位人脸或者发挥类似于人脸相关功能的DNN软件系统。可选的，通过定制转换和变形关系，该方法还可以很容易地用于测试其他基于DNN的系统。

根据本发明实施例，还提供了一种用于实施上述样本获取方法的样本获取装置，图3是根据本发明实施例提供的样本获取装置的结构框图，如图3所示，该样本获取装置包括：第一获取模块32，第二获取模块34和添加模块36，下面对该样本获取装置进行说明。

第一获取模块32，用于获取备选图像；

第二获取模块34，连接于上述第一获取模块32，用于将备选图像输入深度神经网络软件系统，获取深度神经网络软件系统处理备选图像时的神经元覆盖率；

添加模块36，连接于上述第二获取模块34，用于在神经元覆盖率大于第一阈值的情况下，将备选图像添加至测试样本集，其中，测试样本集用于执行对深度神经网络软件系统的测试。

此处需要说明的是，上述第一获取模块32，第二获取模块34和添加模块36对应于实施例中的步骤S202至步骤S206，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例提供的计算机终端10中。

本发明的实施例可以提供一种计算机设备，可选地，在本实施例中，上述计算机设备可以位于计算机网络的多个网络设备中的至少一个网络设备。该计算机设备包括存储器和处理器。

其中，存储器可用于存储软件程序以及模块，如本发明实施例中的样本获取方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的样本获取方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取备选图像；将备选图像输入深度神经网络软件系统，获取深度神经网络软件系统处理备选图像时的神经元覆盖率；在神经元覆盖率大于第一阈值的情况下，将备选图像加入测试样本集，其中，测试样本集用于执行对深度神经网络软件系统的测试。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一非易失性存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。

本发明的实施例还提供了一种非易失性存储介质。可选地，在本实施例中，上述非易失性存储介质可以用于保存上述实施例所提供的样本获取方法所执行的程序代码。

可选地，在本实施例中，上述非易失性存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：获取备选图像；将备选图像输入深度神经网络软件系统，获取深度神经网络软件系统处理备选图像时的神经元覆盖率；在神经元覆盖率大于第一阈值的情况下，将备选图像加入测试样本集，其中，测试样本集用于执行对深度神经网络软件系统的测试。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。