人机交互界面的测试方法和测试装置

技术领域

本申请涉及测试技术领域，特别是涉及一种人机交互界面的测试方法和测试装置。

背景技术

人机交互界面是系统和用户之间进行交互和信息交换的媒介，它实现了信息的内部形式与用户可以接受形式之间的转换。

在人机交互界面正式投入使用之前，往往需要对人机交互界面进行大量的测试。测试人员针对测试出现的问题对人机交互界面不断进行改进，保证用户在使用人机交互界面时不会出现问题。

现有技术中，在对人机交互界面做大量重复性测试时，测试人员需要获取一张待测试人机交互界面图片，再对待测试人机交互界面图片进行识别，确定待测试人机交互界面图片中显示的内容，根据显示的内容确定待测试人机交互界面图片对应的系统状态，然后不断重复这个过程，这就会耗费大量的时间，大大增加了测试过程中的人力成本，因此，目前亟需一种能够自动不间断的对人机交互界面进行测试的测试方法。

发明内容

基于上述问题，本申请提供了一种人机交互界面的测试方法和测试装置，以实现自动不间断的对人机交互界面进行测试。

本申请实施例公开了如下技术方案：

第一方面，本申请提供一种人机交互界面的测试方法，包括：

确定连续获取的待测试人机交互界面图片中位于目标测试区域的像素点；

对所述目标测试区域的像素点进行筛选，根据筛选结果确定满足筛选条件的特征像素点；

根据所述特征像素点与所述目标测试区域的像素点，确定所述待测试人机交互界面图片中位于所述目标测试区域的目标特征图形；

根据特征图形和系统状态的对应关系，确定所述目标特征图形对应的系统状态，以完成对所述人机交互界面的测试。

可选地，所述确定连续获取的待测试人机交互界面图片中位于目标测试区域的像素点之前包括：

根据样本人机交互界面图片位于目标测试区域的样本像素点的位置数据，确定所述目标测试区域的像素点位置集合；

所述确定连续获取的待测试人机交互界面图片中位于目标测试区域的像素点具体为：

根据所述像素点位置集合，确定所述待测试人机交互界面图片中位于所述目标测试区域的像素点。

可选地，所述对所述目标测试区域的像素点进行筛选，根据筛选结果确定满足筛选条件的特征像素点具体为：

将所述目标测试区域的像素点的灰度值与所述目标测试区域的灰度比较值进行比对，根据比对结果确定所述特征像素点。

可选地，所述目标测试区域的灰度比较值为根据不同系统状态下样本人机交互界面图片位于所述目标测试区域中的样本特征图形占有的样本像素点的灰度值确定。

可选地，所述根据所述特征像素点与所述目标测试区域的像素点，确定所述待测试人机交互界面图片中位于所述目标测试区域的目标特征图形包括：

根据所述特征像素点的数量和所述目标测试区域的像素点的数量得到所述待测试人机交互界面图片的特征值；

将所述待测试人机交互界面图片的特征值与特征匹配值进行比对，确定所述待测试人机交互界面图片中位于所述目标测试区域的目标特征图形。

可选地，所述特征匹配值为根据样本人机交互界面图片位于所述目标测试区域的样本像素点和样本特征图形占有的样本像素点确定。

可选地，所述方法还包括：连续获取所述待测试人机交互界面图片和样本人机交互界面图片；获取测试过程中所述待测试人机交互界面的界面视频数据和/或测试人员对所述待测试人机交互界面进行操作的操作视频数据。

第二方面，本申请提供一种人机交互界面的测试装置，包括：

像素点确定模块，用于确定连续获取的待测试人机交互界面图片中位于目标测试区域的像素点；

像素点筛选模块，用于对所述目标测试区域的像素点进行筛选，根据筛选结果确定满足筛选条件的特征像素点；

特征图形确定模块，用于根据所述特征像素点与所述目标测试区域的像素点，确定所述待测试人机交互界面图片中位于所述目标测试区域的目标特征图形；

系统状态确定模块，用于根据特征图形和系统状态的对应关系，确定所述目标特征图形对应的系统状态，以完成对所述人机交互界面的测试。

可选地，所述装置还包括位置集合确定模块，用于：

根据样本人机交互界面图片位于目标测试区域的样本像素点的位置数据，确定所述目标测试区域的像素点位置集合；

所述像素点确定模块具体用于：

根据所述像素点位置集合，确定所述待测试人机交互界面图片中位于所述目标测试区域的像素点。

可选地，所述像素点筛选模块具体用于：

将所述目标测试区域的像素点的灰度值与所述目标测试区域的灰度比较值进行比对，根据比对结果确定所述特征像素点。

可选地，所述目标测试区域的灰度比较值为根据不同系统状态下样本人机交互界面图片位于所述目标测试区域中的样本特征图形占有的样本像素点的灰度值确定。

可选地，所述特征图形确定模块进一步用于：

根据所述特征像素点的数量和所述目标测试区域的像素点的数量得到所述待测试人机交互界面图片的特征值；

将所述待测试人机交互界面图片的特征值与特征匹配值进行比对，确定所述待测试人机交互界面图片中位于所述目标测试区域的目标特征图形。

可选地，所述特征匹配值为根据样本人机交互界面图片位于所述目标测试区域的样本像素点和样本特征图形占有的样本像素点确定。

可选地，所述装置还包括：第一图像获取模块和第二图像获取模块；

所述第一图像获取模块，用于连续获取所述待测试人机交互界面图片和样本人机交互界面图片；

所述第二图像获取模块，用于获取测试过程中所述待测试人机交互界面的界面视频数据和/或测试人员对所述待测试人机交互界面进行操作的操作视频数据。

相较于现有技术，本申请具有以下有益效果：

本申请提供的人机交互界面的测试方法和测试装置，通过自动对连续获取的待测试人机交互界面图片进行处理，确定人机交互界面图片中显示的目标特征图形，根据显示的所述目标特征图形确定所述人机交互界面的系统状态，全程不需要人工干预，实现了自动不间断的连续测试，能够满足完成大量、重复性人机交互界面测试的需求，有效地降低了测试过程中的人力成本。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一提供的一种人机交互界面的测试方法的流程图。

图2A为本申请实施例二提供的一种人机交互界面的测试方法的流程图。

图2B为本申请实施例二提供的一种样本人机交互界面图片与坐标系的位置关系示意图。

图2C为本申请实施例二提供的一种遍历像素点示意图。

图3为本申请实施例三提供的一种人机交互界面的测试方法的流程图。

图4为本申请实施例四提供的一种人机交互界面的测试方法的流程图。

图5为本申请实施例五提供的一种人机交互界面的测试装置的结构框图。

图6为本申请实施例六提供的一种人机交互界面的测试装置的结构框图。

图7为本申请实施例七提供的一种人机交互界面的测试装置的结构框图。

图8为本申请实施例八提供的一种人机交互界面的测试装置的结构框图。

具体实施方式

正如前文描述，目前在对人机交互界面做大量重复性测试时，测试人员需要获取一张待测试人机交互界面图片，再对待测试人机交互界面图片进行识别，确定待测试人机交互界面图片中显示的内容，根据显示的内容确定待测试人机交互界面图片对应的系统状态，然后不断重复这个过程，这就会耗费大量的时间，大大增加了测试过程中的人力成本。

基于以上问题，发明人经过研究，提供了一种人机交互界面的测试方法和测试装置。该测试方法由测试装置具体执行。通过确定连续获取的待测试人机交互界面图片中位于目标测试区域的像素点；对所述目标测试区域的像素点进行筛选，根据筛选结果确定满足筛选条件的特征像素点；根据所述特征像素点与所述目标测试区域的像素点，确定所述待测试人机交互界面图片中位于所述目标测试区域的目标特征图形；根据特征图形和系统状态的对应关系，确定所述目标特征图形对应的系统状态，以完成对所述人机交互界面的测试，整个测试过程不需要测试人员干预，实现了自动不间断的连续测试，能够满足完成大量、重复性人机交互界面测试的需求，有效地降低了测试的人力成本。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，该图为本申请实施例一提供的一种人机交互界面的测试方法的流程图。

如图1所示，本实施例提供的人机交互界面的测试方法，包括：

步骤S101、确定连续获取的待测试人机交互界面图片中位于目标测试区域的像素点。

本实施例中，在确定所述目标测试区域的像素点时，可以建立坐标系，将所述待测试人机交互界面图片放置在所述坐标系中，直接在所述坐标系中确定所述目标测试区域的像素点。当然在其他实施例中还通过其他方式来确定所述目标测试区域的像素点。

本实施例中，连续获取所述待测试人机交互界面图片的方式不做限定，例如可以通过获取测试过程中待测试人机交互界面变化的视频，从视频中截取所需的待测试人机交互界面图片。优选地，为了降低后续图片处理的难度，可以通过摄像头来连续获取所述待测试人机交互界面图片。

本实施例中，所述目标测试区域的数量和形状是所述测试人员根据测试需求自定的。通过自定义所述目标测试区域的数量和形状，可实现多个测试区域同时进行测试，能够适用于测试各种人机交互界面；另外多个测试区域同时进行测试，提高了对人机交互界面进行测试的效率，降低了测试过程中的时间成本。

可选的，在确定所述目标测试区域的像素点之前还可以根据获取所述待测试人机交互界面图片时的系统时间对所述待测试人机交互界面图片添加系统时间戳，从而有效消除了后期计算处理可能带来的时间误差，提高了测试结果的准确度。

本实施例中，通过确定连续获取的待测试人机交互界面图片中位于目标测试区域的像素点，实现了不间断的对所述待测试人机交互界面图片进行处理，从而能够不间断对所述人机交互界面进行测试，能够满足完成大量、重复性人机交互界面测试的需求，有效地降低了测试过程中的人力成本。

步骤S102、对所述目标测试区域的像素点进行筛选，根据筛选结果确定满足筛选条件的特征像素点。

本实施例中，所述特征像素点为所述目标特征图形占有所述目标测试区域的像素点。在对所述目标测试区域的像素点进行筛选时，可以根据不同的筛选条件选用不同的筛选方法从所述目标测试区域的像素点中筛选出所述特征像素点。例如设置筛选条件为所述特征像素点满足一定的灰度值条件，则可以根据所述目标测试区域的像素点的灰度值对所述目标测试区域的像素点进行筛选，或者设置筛选条件为所述特征像素点满足一定的位置条件，则可以根据所述目标测试区域的像素点在所述目标测试区域的位置对所述目标测试区域的像素点进行筛选等。

本实施例中，通过对所述目标测试区域的像素点进行筛选确定所述特征像素点，实现了自动对所述待测试人机交互界面图片进行处理，不再需要测试人员对所述待测试人机交互界面图片进行识别，提高了测试效率，有效地降低了测试过程中的人力成本。

步骤S103、根据所述特征像素点与所述目标测试区域的像素点，确定所述待测试人机交互界面图片中位于所述目标测试区域的目标特征图形。

本实施例中，通过确定所述目标特征图形从而能够自动确定所述待测试人机交互界面图片中显示的内容，不再需要测试人员对所述待测试人机交互界面图片进行识别，能够满足完成大量、重复性人机交互界面测试的需求，有效地降低了测试过程中的人力成本。

步骤S104、根据特征图形和系统状态的对应关系，确定所述目标特征图形对应的系统状态，以完成对所述人机交互界面的测试。

本实施例中，系统状态包括使用所述人机交互界面的设备的系统状态。在不同的系统状态时，位于所述目标测试区域的特征图形不同。所以在确定所述目标特征图形对应的系统状态之前，可以预先建立所述特征图形和系统状态的对应关系。例如，分别确定所述目标测试区域中为第一种特征图形时对应的系统状态，当所述目标测试区域中为第二种特征图形时对应的系统状态等，并将特征图形和系统状态的对应关系进行存储，以在确定所述目标特征图形对应的系统状态时进行调用。

本实施例中，根据所述目标特征图形对应的系统状态即可完成对所述人机交互界面的测试，使得整个测试过程方便快捷，有效地降低了测试的人力成本。

可选的，还可以将所述待测试人机交互界面图片、所述目标测试区域的像素点、所述特征像素点、所述特征图形和系统状态的对应关系、所述目标特征图形和所述待测试人机交互界面图片中所述目标特征图形对应的系统状态中的至少一个进行存储，便于所述测试人员根据存储的数据进行对测试结果进行比对，从而准确地对所述测试结果进行分析。

可选的，还可以连续获取所述待测试人机交互界面图片和样本人机交互界面图片；获取测试过程中所述待测试人机交互界面的界面视频数据和/或测试人员对所述待测试人机交互界面进行操作的操作视频数据，并将所述界面视频数据和/或所述操作视频数据进行存储，使得所述测试人员能够更加清楚的了解测试细节，从而对测试结果准确地分析。

本申请实施例提供的人机交互界面的测试方法，通过自确定连续获取的待测试人机交互界面图片中位于目标测试区域的像素点；对所述目标测试区域的像素点进行筛选，根据筛选结果确定满足筛选条件的特征像素点；根据所述特征像素点与所述目标测试区域的像素点，确定所述待测试人机交互界面图片中位于所述目标测试区域的目标特征图形；根据特征图形和系统状态的对应关系，确定所述目标特征图形对应的系统状态，以完成对所述人机交互界面的测试，整个测试过程不需要测试人员干预，实现了自动不间断的连续测试，能够满足完成大量、重复性人机交互界面测试的需求，有效地降低了测试的人力成本。

在前述实施例基础上，本申请还提供另一种人机交互界面的测试方法。下面结合实施例和附图对该方法的具体实现进行描述和说明。

参见图2A，该图为本申请实施例二提供的一种人机交互界面的测试方法的流程图。本实施例提供的人机交互界面的测试方法，包括前述的步骤S101～步骤S104。

如图2A所示，在本实施例中，所述步骤S101之前，所述方法还包括：

步骤S100、根据样本人机交互界面图片位于目标测试区域的样本像素点的位置数据，确定所述目标测试区域的像素点位置集合。

本实施例中，所述步骤S101具体为根据所述像素点位置集合，确定所述待测试人机交互界面图片中位于所述目标测试区域的像素点。所述像素点位置集合中包括所述目标测试区域的样本像素点的位置数据，可以根据所述目标测试区域的样本像素点的位置数据，确定所述待测试人机交互界面图片中位于所述目标测试区域的像素点。需要说明的是，若所述目标测试区域为两个或者多个时，则所述像素点位置集合可以为一个，即每个所述目标测试区域的样本像素点的位置数据均在同一个所述像素点位置集合中；当然所述像素点位置集合可以同样为两个或多个，即每个所述目标测试区域的样本像素点的位置数据对应一个像素点位置集合，此处不做限制，只要能够根据所述像素点位置集合确定所述待测试人机交互界面图片中位于所述目标测试区域的像素点即可。

可选的，为了便于得到所述目标测试区域的样本像素点的位置数据以确定所述像素点位置集合，可将所述目标测试区域的样本像素点的位置数据设置为坐标点数据。所以在确定所述像素点位置集合时，可将所述样本人机交互界面图片放置在坐标系中，根据测试人员自定义的所述目标测试区域的标记点定位数据确定获取到的样本人机交互界面图片中的所述目标测试区域；遍历所述样本人机交互界面图片中的所有像素点，确定所述样本人机交互界面图片中位于所述目标测试区域的所述样本像素点；获取所述样本像素点的坐标点数据，根据所述坐标点数据确定像素点位置集合。

在一具体实施方式中，可将所述样本人机交互界面图片放置在所述坐标系的第一象限，并使其相邻两个边界分别与所述坐标系的X轴和Y轴相交。当然在其他实施例中，可将所述样本人机交互界面图片放置在所述坐标系中的其他位置，此处不做限定。

可选的，考虑到所述样本人机交互界面图片中可能会包括所述人机交互界面之外的物品，或者所述样本人机交互界面图片中的样本人机交互界面可能会是倾斜的，所以在将所述样本人机交互界面图片放置在所述坐标系中之前，可对所述样本人机交互界面图片进行正畸处理，使得所述待测试人机交互界面图片中的所述人机交互界面的相邻两个边界互相垂直。通过对所述样本人机交互界面图片进行正畸处理，使得所述样本人机交互界面图片在所述坐标系中的位置更加准确，从而保证了所述标记点坐标数据的准确性。

图2B为本申请实施例二提供的一种样本人机交互界面图片与坐标系的位置关系示意图。如图2B所述，所述目标测试区域包括正方形目标测试区域A、六边形目标测试区域B、圆形目标测试区域C和三角形目标测试区域D。

在一具体实施方式中，将所述样本人机交互界面图片放置在所述坐标系中，可根据所述目标测试区域的标记点坐标数据在所述样本人机交互界面图片上确定所述标记点，然后将所述标记点连接后，即可确定所述样本人机交互界面图片中的所述目标测试区域。其中，所述标记点坐标数据是测试人员根据测试需求自定义所述目标测试区域形状和数量。

图2C为本申请实施例二提供的一种遍历像素点示意图。如图2C所示，在遍历所述样本人机交互界面图片中的所有像素点时，可以建立一个与所述坐标系的X轴平行的射线，自所述样本人机交互界面图片与所述X轴平行的一个边界逐行移动到所述样本人机交互界面图片与所述X轴平行的另一个边界，以遍历所述样本人机交互界面中的所有像素点。

在确定所述样本像素点时，所述射线移动过程中所述目标测试区域与所述射线有至少两个相交像素点时，即表示所述射线与所述目标测试区域相交，所述相交像素点和所述相交像素点之间的像素点即为所述样本像素点，所述相交像素点的坐标以及所述相交像素点之间的像素点的坐标即为所述样本像素点的坐标点数据。通过遍历所述样本人机交互界面中的所有像素点的方式确定所述样本人机交互界面图片中的样本像素点，能够准确的确定所有所述样本像素点，避免遗漏所述样本像素点，保证了像素点位置集合的准确性。

需要说明的是，在其他实施例中，还可以建立与所述坐标系Y轴平行的射线以遍历所述样本人机交互界面中的所有像素点，或者采用其他方式遍历所述样本人机交互界面中的所有像素点，此处不做限定。

本实施例中，所述像素点位置集合中包括的是所述样本像素点的坐标点数据，所以在确定所述待测试人机交互界面图片中的所述目标测试区域的像素点之前，也可将所述待测试人机交互界面图片放置在所述坐标系中，然后根据所述像素点位置集合确定所述待测试人机交互界面图片中的所述目标测试区域的像素点。需要说明的是，所述待测试人机交互界面图片在所述坐标系中的位置与所述样本人机交互界面图片在所述坐标系中的位置一致，从而保证了所述目标测试区域的像素点的准确性。例如，也可将所述待测试人机交互界面图片放置在所述坐标系的第一象限，并使其相邻两个边界分别与所述坐标系的X轴和Y轴相交。当然，在其他实施例中，还可以通过其他的方式表示所述目标测试区域的像素点位置，此处不做限制。

可选的，在将所述待测试人机交互界面图片放置在所述坐标系之前，可同样对所述待测试人机交互界面图片进行正畸处理，使得所述待测试人机交互界面图片的相连两个边界互相垂直。通过对所有所述待测试人机交互界面图片进行正畸处理，使得所述待测试人机交互界面图片中的目标测试领域在所述坐标系中的位置与所述样本人机交互界面图片在所述坐标系中的位置相同，避免了确定的所述目标测试区域的像素点出现偏差，保证了测试结果的准确性。

在前述实施例基础上，本申请还提供另一种人机交互界面的测试方法。下面结合实施例和附图对该方法的具体实现进行描述和说明。

参见图3，该图为本申请实施例三提供的一种人机交互界面的测试方法的流程图。本实施例的人机交互界面的测试方法包括前述的步骤S101～步骤S104，其可以包括步骤S100，或不包括步骤S100。

如图3所示，在本实施例中，所述步骤S102具体为：将所述目标测试区域的像素点的灰度值与所述目标测试区域的灰度比较值进行比对，根据比对结果确定所述特征像素点。

本实施例中，将所述目标测试区域的像素点的灰度值与所述目标测试区域的灰度比较值进行比对时，若所述目标测试区域的像素点的灰度值与所述灰度比较值相同，则将所述目标测试区域的像素点作为所述特征像素点，若不同，则不将所述目标测试区域的像素点作为所述特征像素点。

可选的，还可以设置灰度比较误差范围，若所述灰度值与所述灰度比较值的差在所述灰度比较误差范围内，则认为所述目标测试区域的像素点的灰度值与所述灰度比较值相同。通过设置所述灰度比较误差范围，使得筛选得到的所述特征像素点更加准确，提高所述测试结果的准确性。需要说明的是，所述灰度比较误差可以根据测试需求自行设定。

本实施例中，所述目标测试区域的灰度比较值为根据不同系统状态下样本人机交互界面图片位于所述目标测试区域中的样本特征图形占有的样本像素点的灰度值确定。

在一具体实施方式中，在确定所述目标测试区域的灰度比较值时，可先获取不同系统状态时的样本人机交互界面图片，然后从所述样本人机交互界面图片中获取位于所述目标测试区域的样本特征图形，确定所述样本特征图形占有的样本像素点的灰度值，计算所述样本特征图形中所述特征像素点的灰度值均值，将所述灰度值均值确定为所述样本特征图形对应的所述灰度比较值。

在一具体实施方式中，若不同系统状态下，在所述目标测试区域显示的所述特征图形为两个或者多个，则所述目标测试区域的灰度比较值也对应有两个或者多个，即每个所述样本特征图形有其对应的所述灰度比较值。在将所述目标测试区域的像素点的灰度值与所述目标测试区域的灰度比较值进行比对时，则将所述目标测试区域的像素点的灰度值分别与每个样本特征图形对应的所述灰度比较值进行比对，根据比对结果即可得到针对每个所述样本特征图形的所述特征像素点。例如所述目标测试区域显示的样本特征图形有a和b两种样本特征图形，针对所述样本特征图形a，所述目标测试区域的灰度比较值为100，经过对比，得到针对所述样本特征图形a的所述特征像素点，针对所述特征图形b，所述目标测试区域的灰度比较值为150，经过对比，针对所述样本特征图形b的所述特征像素点。

本实施例中，根据所述目标测试区域的像素点的灰度值对所述目标测试区域的像素点进行筛选，使得筛选得到的所述特征像素点更加准确，从而能够更加准确的对所述人机交互界面进行测试。

在前述实施例基础上，本申请还提供另一种人机交互界面的测试方法。下面结合实施例和附图对该方法的具体实现进行描述和说明。

参见图4，该图为本申请实施例四提供的一种人机交互界面的测试方法的流程图。本实施例的人机交互界面的测试方法包括前述的步骤S101～步骤S104，其可以包括步骤S100，或不包括步骤S100。

其中，步骤S102可以采用实施例三中所述的实现方式，或者采用其他实现方式。

如图4所示，在本实施例中，所述步骤S103包括以下子步骤：

步骤S1031、根据所述特征像素点的数量和所述目标测试区域的像素点的数量得到所述待测试人机交互界面图片的特征值。

本实施例中，可对所述目标测试区域的像素点和所述特征像素点进行数量统计，得到所述目标测试区域的像素点的数量和所述特征像素点的数量，将所述特征像素点的数量与所述目标测试区域的像素点的数量做比，将比值作为所述待测试人机交互界面图片的特征值。例如，所述特征像素点的数量为50，所述目标测试区域的像素点的数量为100，则所述待测试人机交互界面图片的特征值为0.5。

在一具体实施方式中，若不同系统状态下，在所述目标测试区域显示的特征图形为两个或者多个，如上一实施例所述，针对每个所述样本特征图形有对应的所述特征像素点，所以得到的所述目标测试区域的特征值也就对应有两个或者多个。例如所述目标测试区域的像素点的数量为100，针对所述样本特征图形a的所述特征像素点的数量为30，得到针对样本特征图形a，所述目标测试区域的特征值为0.3；针对所述样本特征图形a的所述特征像素点的数量为50，得到针对样本图形b所述目标测试区域的特征值为0.5。

步骤S1032、将所述待测试人机交互界面图片的特征值与特征匹配值进行比对，确定所述待测试人机交互界面图片中位于所述目标测试区域的目标特征图形。

本实施例中，将所述目标测试区域的特征值与所述目标测试区域的特征匹配值进行比对时，若所述特征值与所述特征匹配值相同，则所述目标特征图形为所述特征匹配值对应的样本特征图形，若不同，则所述目标特征图形为未知图形。

可选的，还可以设置特征匹配误差范围，若所述特征值与某个所述特征匹配值的差在所述特征匹配误差范围内，则认为所述特征值与所述特征匹配值相同。通过设置所述特征匹配误差范围，可以使得确定的所述目标特征图形更加准确，提高所述测试结果的准确性。需要说明的是，所述灰度比较误差范围可以根据测试需求进行设定。

本实施例中，所述特征匹配值为根据样本人机交互界面图片位于所述目标测试区域的样本像素点和样本特征图形占有的样本像素点确定。

本实施例中，在确定所述目标测试区域的特征匹配值时，可以对所述样本人机交互界面图片位于目标测试区域的样本像素点和所述目标测试区域的样本特征图形占有的样本像素点进行统计，得到所述样本人机交互界面图片位于目标测试区域的样本像素点的数量和所述目标测试区域的样本特征图形占有的样本像素点数量，将所述目标测试区域的样本特征图形占有的样本像素点数量和所述样本人机交互界面图片位于目标测试区域的样本像素点的数量做比，将比值作为所述目标测试区域的特征匹配值。例如，所述目标测试区域的样本特征图形占有的样本像素点数量为30，所述样本人机交互界面图片位于目标测试区域的样本像素点的数量为100，则所述目标测试区域的特征匹配值为0.3。

在一具体实施方式中，若不同系统状态下，在所述目标测试区域显示的特征图形为两个或者多个，对应的得到的所述目标测试区域的特征匹配值也为两个或者多个。例如，所述样本人机交互界面图片位于目标测试区域的样本像素点的数量为100，所述目标测试区域的样本特征图形a占有的样本像素点数量为40，则针对样本特征图形a，所述目标测试区域的特征匹配值为0.4，所述目标测试区域的样本特征图形a占有的样本像素点数量为50，则针对样本特征图形b，所述目标测试区域的特征匹配值为0.5。然后将步骤S1031中所述的针对样本特征图形a的所述目标测试区域的特征值0.3与所述目标测试区域的特征匹配值0.4进行比对，以及将步骤S1031中所述的针对样本特征图形b的所述目标测试区域的特征值0.5所述目标测试区域的特征匹配值0.5进行比对，即可确定所述目标特征图形应为样本图形b。

本实施例中，根据所述目标测试区域的特征值和所述目标测试区域的特征匹配值确定使得筛选得到的所述特征像素点更加准确，从而能够更加准确的对所述人机交互界面进行测试。

基于前述实施例提供的人机交互界面的测试方法，相应地，本申请还提供一种人机交互界面的测试装置。下面结合附图和实施例对该装置的具体实现进行描述。

参见图5，该图为本申请实施例五提供的一种人机交互界面的测试装置的结构框图。

如图5所示，本实施例提供的人机交互界面的测试装置，包括：

像素点确定模块501，用于确定连续获取的待测试人机交互界面图片中位于目标测试区域的像素点。

本实施例中，所述像素点确定模块501在确定所述目标测试区域的像素点时，可以建立坐标系，将所述待测试人机交互界面图片放置在所述坐标系中，直接在所述坐标系中确定所述目标测试区域的像素点。当然在其他实施例中还通过其他方式来确定所述目标测试区域的像素点。

本实施例中，所述目标测试区域的数量和形状是所述测试人员根据测试需求自定的。通过自定义所述目标测试区域的数量和形状，可实现多个测试区域同时进行测试，能够适用于测试各种人机交互界面；另外多个测试区域同时进行测试，提高了对人机交互界面进行测试的效率，降低了测试过程中的时间成本。

可选的，在确定所述目标测试区域的像素点之前还可以根据获取所述待测试人机交互界面图片时的系统时间对所述待测试人机交互界面图片添加系统时间戳，从而有效消除了后期计算处理可能带来的时间误差，提高了测试结果的准确度。

本实施例中，通过确定连续获取的待测试人机交互界面图片中位于目标测试区域的像素点，实现了不间断的对所述待测试人机交互界面图片进行处理，从而能够不间断对所述人机交互界面进行测试，能够满足完成大量、重复性人机交互界面测试的需求，有效地降低了测试过程中的人力成本。

像素点筛选模块502，用于对所述目标测试区域的像素点进行筛选，根据筛选结果确定满足筛选条件的特征像素点。

本实施例中，所述特征像素点为所述目标特征图形占有所述目标测试区域的像素点。在对所述目标测试区域的像素点进行筛选时，可以根据不同的筛选条件选用不同的筛选方法从所述目标测试区域的像素点中筛选出所述特征像素点。例如设置筛选条件为所述特征像素点满足一定的灰度值条件，则可以根据所述目标测试区域的像素点的灰度值对所述目标测试区域的像素点进行筛选，或者设置筛选条件为所述特征像素点满足一定的位置条件，则可以根据所述目标测试区域的像素点在所述目标测试区域的位置对所述目标测试区域的像素点进行筛选等。

本实施例中，通过对所述目标测试区域像素点进行筛选确定所述特征像素点，实现了自动对所述待测试人机交互界面图片进行处理，不再需要测试人员对所述待测试人机交互界面图片进行识别，提高了测试效率，有效地降低了测试过程中的人力成本。

特征图形确定模块503，用于根据所述特征像素点与所述目标测试区域的像素点，确定所述待测试人机交互界面图片中位于所述目标测试区域的目标特征图形。

本实施例中，通过确定所述目标特征图形从而能够自动确定所述待测试人机交互界面图片中显示的内容，不再需要测试人员对待测试人机交互界面图片进行识别，能够满足完成大量、重复性人机交互界面测试的需求，有效地降低了测试过程中的人力成本。

系统状态确定模块504，用于根据特征图形和系统状态的对应关系，确定所述目标特征图形对应的系统状态，以完成对所述人机交互界面的测试。

本实施例中，系统状态包括使用所述人机交互界面的设备的系统状态。在不同的系统状态时，位于所述目标测试区域的特征图形不同。所以在确定所述目标特征图形对应的系统状态之前，可以预先建立所述特征图形和系统状态的对应关系。例如，分别确定所述目标测试区域中为第一种特征图形时对应的系统状态，当所述目标测试区域中为第二种特征图形时对应的系统状态等，并将特征图形和系统状态的对应关系进行存储，以在确定所述目标特征图形对应的系统状态时进行调用。

本实施例中，根据所述目标特征图形对应的系统状态即可完成对所述人机交互界面的测试，使得整个测试过程方便快捷，有效地降低了测试的人力成本。

可选的，所述装置还包括存储模块，用于将所述待测试人机交互界面图片、所述目标测试区域的像素点、所述特征像素点、所述特征图形和系统状态的对应关系、所述目标特征图形和所述待测试人机交互界面图片中所述目标特征图形对应的系统状态中的至少一个进行存储，便于所述测试人员根据存储的数据进行对测试结果进行比对，从而准确地对所述测试结果进行分析。

可选的，所述装置还包括第一图像获取模块和第二图像获取模块。所述第一图像获取模块，用于连续获取所述待测试人机交互界面图片和样本人机交互界面图片；所述第二图像获取模块，用于获取测试过程中所述待测试人机交互界面的界面视频数据和/或测试人员对所述待测试人机交互界面进行操作的操作视频数据；所述存储模块，还用于存储所述界面视频数据和/或所述操作视频数据存储，使得所述测试人员能够更加清楚的了解测试细节，从而对测试结果准确地分析。所述第一图形模块和所述第二图形模块可以设置为摄像头或者其他设备，此处不做限制。

需要说明的是所述第一图像获取模块的安装位置不做限定，能够清晰完整的获取所述人机交互界面图片即可。优选地，将所述第一图像获取模块安装在所述人机交互界面的正上方，以减少对所述人机交互界面图片的正畸处理。该装置使用像素点确定模块501、像素点筛选模块502、特征图形确定模块503、系统状态确定模块504、存储模块、第一图像获取模块和第二图像获取模块即可实现所述人机交互界面的自动不间断测试，使用的装置结构简单，节约了测试成本。

本申请实施例提供的人机交互界面的测试装置，通过确定连续获取的待测试人机交互界面图片中位于目标测试区域的像素点；对所述目标测试区域的像素点进行筛选，根据筛选结果确定满足筛选条件的特征像素点；根据所述特征像素点与所述目标测试区域的像素点，确定所述待测试人机交互界面图片中位于所述目标测试区域的目标特征图形；根据特征图形和系统状态的对应关系，确定所述目标特征图形对应的系统状态，以完成对所述人机交互界面的测试，整个测试过程不需要测试人员干预，实现了自动不间断的连续测试，能够满足完成大量、重复性人机交互界面测试的需求，有效地降低了测试过程中的人力成本。

在前述实施例基础上，本申请还提供另一种人机交互界面的测试装置。下面结合实施例和附图对该装置的具体实现进行描述和说明。

参见图6，该图为本申请实施例六提供的一种人机交互界面的测试装置的结构框图。本实施例提供的人机交互界面的测试装置，包括前述的像素点确定模块501、像素点筛选模块502、特征图形确定模块503、系统状态确定模块504。

如图6所示，本实施例中，所述测试装置还包括位置集合确定模块500，用于：根据样本人机交互界面图片位于目标测试区域的样本像素点的位置数据，确定所述目标测试区域的像素点位置集合；

本实施例中，所述像素点确定模块501具体用于根据所述像素点位置集合，确定所述待测试人机交互界面图片中位于所述目标测试区域的像素点。所述像素点位置集合中包括所述目标测试区域的样本像素点的位置数据，可以根据所述目标测试区域的样本像素点的位置数据，确定所述待测试人机交互界面图片中位于所述目标测试区域的像素点。需要说明的是，若所述目标测试区域为两个或者多个时，则所述像素点位置集合可以为一个，即每个所述目标测试区域的样本像素点的位置数据均在同一个所述像素点位置集合中；当然每个所述目标测试区域的样本像素点的位置数据对应一个像素点位置集合，此处不做限制，只要能够根据所述像素点位置集合确定所述待测试人机交互界面图片中位于所述目标测试区域的像素点即可。

可选的，为了便于得到所述目标测试区域的样本像素点的位置数据以确定所述像素点位置集合，可将所述目标测试区域的样本像素点的位置数据设置为坐标点数据。所以在确定所述像素点位置集合时，可将所述样本人机交互界面图片放置在坐标系中，根据测试人员自定义的所述目标测试区域的标记点定位数据确定获取到的样本人机交互界面图片中的所述目标测试区域；遍历所述样本人机交互界面图片中的所有像素点，确定所述样本人机交互界面图片中位于所述目标测试区域的所述样本像素点；获取所述样本像素点的坐标点数据，根据所述坐标点数据确定像素点位置集合。

在一具体实施方式中，可将所述样本人机交互界面图片放置在所述坐标系的第一象限，并使其相邻两个边界分别与所述坐标系的X轴和Y轴相交。当然在其他实施例中，可将所述样本人机交互界面图片放置在所述坐标系中的其他位置，此处不做限定。

可选的，考虑到所述样本人机交互界面图片中可能会包括所述人机交互界面之外的物品，或者所述样本人机交互界面图片中的样本人机交互界面可能会是倾斜的，所以在将所述样本人机交互界面图片放置在所述坐标系中之前，可对所述样本人机交互界面图片进行正畸处理，使得所述待测试人机交互界面图片中的所述人机交互界面的相邻两个边界互相垂直。通过对所述样本人机交互界面图片进行正畸处理，使得所述样本人机交互界面图片在所述坐标系中的位置更加准确，从而保证了所述标记点坐标数据的准确性。

图2B为本申请实施例二提供的一种样本人机交互界面图片与坐标系的位置关系示意图。如图2B所述，所述目标测试区域包括正方形目标测试区域A、六边形目标测试区域B、圆形目标测试区域C和三角形目标测试区域D。

在一具体实施方式中，将所述样本人机交互界面图片放置在所述坐标系中，可根据所述目标测试区域的标记点坐标数据在所述样本人机交互界面图片上确定所述标记点，然后将所述标记点连接后，即可确定所述样本人机交互界面图片中的所述目标测试区域。其中，所述标记点坐标数据是测试人员根据测试需求自定义所述目标测试区域形状和数量。

图2C为本申请实施例二提供的一种遍历像素点示意图。如图2C所示，在遍历所述样本人机交互界面图片中的所有像素点时，可以建立一个与所述坐标系的X轴平行的射线，自所述样本人机交互界面图片与所述X轴平行的一个边界逐行移动到所述样本人机交互界面图片与所述X轴平行的另一个边界，以遍历所述样本人机交互界面中的所有像素点。

在确定所述样本像素点时，所述射线移动过程中所述目标测试区域与所述射线有至少两个相交像素点时，即表示所述射线与所述目标测试区域相交，所述相交像素点和所述相交像素点之间的像素点即为所述样本像素点，所述相交像素点的坐标以及所述相交像素点之间的像素点的坐标即为所述样本像素点的坐标点数据。通过遍历所述样本人机交互界面中的所有像素点的方式确定所述样本人机交互界面图片中的样本像素点，能够准确的确定所有所述样本像素点，避免遗漏所述样本像素点，保证了像素点位置集合的准确性。

需要说明的是，在其他实施例中，还可以建立与所述坐标系Y轴平行的射线以遍历所述样本人机交互界面中的所有像素点，或者采用其他方式遍历所述样本人机交互界面中的所有像素点，此处不做限定。

本实施例中，所述像素点位置集合中包括的是所述样本像素点的坐标点数据，所以在确定所述待测试人机交互界面图片中的所述目标测试区域的像素点之前，也可将所述待测试人机交互界面图片放置在所述坐标系中，然后根据所述像素点位置集合确定所述待测试人机交互界面图片中的所述目标测试区域的像素点。需要说明的是，所述待测试人机交互界面图片在所述坐标系中的位置与所述样本人机交互界面图片在所述坐标系中的位置一致，从而保证了所述目标测试区域的像素点的准确性。例如，也可将所述待测试人机交互界面图片放置在所述坐标系的第一象限，并使其相邻两个边界分别与所述坐标系的X轴和Y轴相交。当然，在其他实施例中，还可以通过其他的方式表示所述目标测试区域的像素点位置，此处不做限制。

可选的，在将所述待测试人机交互界面图片放置在所述坐标系之前，可同样对所述待测试人机交互界面图片进行正畸处理，使得所述待测试人机交互界面图片的相连两个边界互相垂直。通过对所有所述待测试人机交互界面图片进行正畸处理，使得所述待测试人机交互界面图片中的目标测试领域在所述坐标系中的位置与所述样本人机交互界面图片在所述坐标系中的位置相同，避免了确定的所述目标测试区域的像素点出现偏差，保证了测试结果的准确性。

在前述实施例基础上，本申请还提供另一种人机交互界面的测试装置。下面结合实施例和附图对该装置的具体实现进行描述和说明。

参见图7，该图为本申请实施例七提供的一种人机交互界面的测试装置的结构框图。本实施例提供的人机交互界面的测试装置，包括前述的像素点确定模块501、像素点筛选模块502、特征图形确定模块503、系统状态确定模块504，其可以包括位置集合确定模块500，或不包括位置集合确定模块500。

如图7所示，本实施例中，所述测试装置所述像素点筛选模块502具体用于将所述目标测试区域的像素点的灰度值与所述目标测试区域的灰度比较值进行比对，根据比对结果确定所述特征像素点。

本实施例中，将所述目标测试区域的像素点的灰度值与所述目标测试区域的灰度比较值进行比对时，若所述目标测试区域的像素点的灰度值与所述灰度比较值相同，则将所述目标测试区域的像素点作为所述特征像素点，若不同，则不将所述目标测试区域的像素点作为所述特征像素点。

可选的，还可以设置灰度比较误差范围，若所述灰度值与所述灰度比较值的差在所述灰度比较误差范围内，则认为所述目标测试区域的像素点的灰度值与所述灰度比较值相同。通过设置所述灰度比较误差范围，使得筛选得到的所述特征像素点更加准确，提高所述测试结果的准确性。需要说明的是，所述灰度比较误差可以根据测试需求自行设定。

本实施例中，所述目标测试区域的灰度比较值为根据不同系统状态下样本人机交互界面图片位于所述目标测试区域中的样本特征图形占有的样本像素点的灰度值确定。

在一具体实施方式中，在确定所述目标测试区域的灰度比较值时，可先获取不同系统状态时的样本人机交互界面图片，然后从所述样本人机交互界面图片中获取位于所述目标测试区域的样本特征图形，确定所述样本特征图形占有的样本像素点的灰度值，计算所述样本特征图形中所述特征像素点的灰度值均值，将所述灰度值均值确定为所述样本特征图形对应的所述灰度比较值。

在一具体实施方式中，若不同系统状态下，在所述目标测试区域显示的所述特征图形为两个或者多个，则所述目标测试区域的灰度比较值也对应有两个或者多个，即每个所述样本特征图形有其对应的所述灰度比较值。在将所述目标测试区域的像素点的灰度值与所述目标测试区域的灰度比较值进行比对时，则将所述目标测试区域的像素点的灰度值分别与每个样本特征图形对应的所述灰度比较值进行比对，根据比对结果即可得到针对每个所述样本特征图形的所述特征像素点。例如所述目标测试区域显示的样本特征图形有a和b两种样本特征图形，针对所述样本特征图形a，所述目标测试区域的灰度比较值为100，经过对比，得到针对所述样本特征图形a的所述特征像素点，针对所述特征图形b，所述目标测试区域的灰度比较值为150，经过对比，针对所述样本特征图形b的所述特征像素点。

本实施例中，根据所述目标测试区域的像素点的灰度值对所述目标测试区域的像素点进行筛选，使得筛选得到的所述特征像素点更加准确，从而能够更加准确的对所述人机交互界面进行测试。

在前述实施例基础上，本申请还提供另一种人机交互界面的测试装置。下面结合实施例和附图对该装置的具体实现进行描述和说明。

参见图8，该图为本申请实施例八提供的一种人机交互界面的测试装置的结构框图。本实施例提供的人机交互界面的测试装置，包括前述的像素点确定模块501、像素点筛选模块502、特征图形确定模块503、系统状态确定模块504，其可以包括位置集合确定模块500，或不包括位置集合确定模块500。

其中，像素点筛选模块502可以采用实施例七中所述的实现方式，或者采用其他的实现方式。

如图8所示，在本实施例中，所述特征图形确定模块503进一步用于：

根据所述特征像素点的数量和所述目标测试区域的像素点的数量得到所述待测试人机交互界面图片的特征值；

将所述待测试人机交互界面图片的特征值与特征匹配值进行比对，确定所述待测试人机交互界面图片中位于所述目标测试区域的目标特征图形。

本实施例中，可对所述目标测试区域的像素点和所述特征像素点进行数量统计，得到所述目标测试区域的像素点的数量和所述特征像素点的数量，将所述特征像素点的数量与所述目标测试区域的像素点的数量做比，将比值作为所述待测试人机交互界面图片的特征值。例如，所述特征像素点的数量为50，所述目标测试区域的像素点的数量为100，则所述待测试人机交互界面图片的特征值为0.5。

在一具体实施方式中，若不同系统状态下，在所述目标测试区域显示的特征图形为两个或者多个，如上一实施例所述，针对每个所述样本特征图形有对应的所述特征像素点，所以得到的所述目标测试区域的特征值也就对应有两个或者多个。例如所述目标测试区域的像素点的数量为100，针对所述样本特征图形a的所述特征像素点的数量为30，得到针对样本特征图形a，所述目标测试区域的特征值为0.3；针对所述样本特征图形a的所述特征像素点的数量为50，得到针对样本图形b所述目标测试区域的特征值为0.5。

本实施例中，将所述目标测试区域的特征值与所述目标测试区域的特征匹配值进行比对时，若所述特征值与所述特征匹配值相同，则所述目标特征图形为所述特征匹配值对应的样本特征图形，若不同，则所述目标特征图形为未知图形。

可选的，还可以设置特征匹配误差范围，若所述特征值与某个所述特征匹配值的差在所述特征匹配误差范围内，则认为所述特征值与所述特征匹配值相同。通过设置所述特征匹配误差范围，可以使得确定的所述目标特征图形更加准确，提高所述测试结果的准确性。需要说明的是，所述灰度比较误差范围可以根据测试需求进行设定。

本实施例中，所述特征匹配值为根据样本人机交互界面图片位于所述目标测试区域的样本像素点和样本特征图形占有的样本像素点确定。

本实施例中，在确定所述目标测试区域的特征匹配值时，可以对所述样本人机交互界面图片位于目标测试区域的样本像素点和所述目标测试区域的样本特征图形占有的样本像素点进行统计，得到所述样本人机交互界面图片位于目标测试区域的样本像素点的数量和所述目标测试区域的样本特征图形占有的样本像素点数量，将所述目标测试区域的样本特征图形占有的样本像素点数量和所述样本人机交互界面图片位于目标测试区域的样本像素点的数量做比，将比值作为所述目标测试区域的特征匹配值。例如，所述目标测试区域的样本特征图形占有的样本像素点数量为30，所述样本人机交互界面图片位于目标测试区域的样本像素点的数量为100，则所述目标测试区域的特征匹配值为0.3。

在一具体实施方式中，若不同系统状态下，在所述目标测试区域显示的特征图形为两个或者多个，对应的得到的所述目标测试区域的特征匹配值也为两个或者多个。例如，所述样本人机交互界面图片位于目标测试区域的样本像素点的数量为100，所述目标测试区域的样本特征图形a占有的样本像素点数量为40，则针对样本特征图形a，所述目标测试区域的特征匹配值为0.4，所述目标测试区域的样本特征图形a占有的样本像素点数量为50，则针对样本特征图形b，所述目标测试区域的特征匹配值为0.5。然后将步骤S1031中所述的针对样本特征图形a的所述目标测试区域的特征值0.3与所述目标测试区域的特征匹配值0.4进行比对，以及将步骤S1031中所述的针对样本特征图形b的所述目标测试区域的特征值0.5所述目标测试区域的特征匹配值0.5进行比对，即可确定所述目标特征图形应为样本图形b。

本实施例中，根据所述目标测试区域的特征值和所述目标测试区域的特征匹配值确定使得筛选得到的所述特征像素点更加准确，从而能够更加准确的对所述人机交互界面进行测试。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元提示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。