一种测试方法、测试系统、设备及可读存储介质

技术领域

本发明实施例涉及集成电路设计技术领域，具体涉及一种测试方法、测试系统、设备及可读存储介质。

背景技术

集成电路设计中，需要用硬件描述语言(即硬件编程语言)将硬件电路描述成寄存器传输级逻辑代码，使用仿真工具对逻辑代码进行仿真测试后，再通过综合工具将逻辑代码转换为门级电路网表，然后再使用自动布局布线工具将网表转换为要实现的电路布线结构。

但是，随着集成电路规模和复杂度的不断提升，仿真测试的时间越来越长。基于此，如何提高仿真测试效率、缩短仿真测试时间已经成为本领域亟待解决的问题之一。

发明内容

有鉴于此，本发明实施例提供了一种测试方法、测试系统、设备及可读存储介质，以提高测试的效率。

为解决上述问题，本发明实施例提供如下技术方案：

本发明一方面，提供了一种测试方法，包括：

生成第一测试指令，所述第一测试指令用于控制对设计的测试用例执行第一测试；

获取所述第一测试的执行过程中产生的测试日志并分析所述测试日志；

根据分析结果确定是否生成第二测试指令，所述第二测试指令用于控制对所述设计的测试用例执行第二测试，所述第二测试的测试结果与所述第一测试的测试结果不同。

本发明第二方面，提供了一种测试系统，包括：

控制单元，用于生成第一测试指令，所述第一测试指令用于控制对设计的测试用例执行第一测试；获取所述第一测试的执行过程中产生的测试日志并分析所述测试日志；根据分析结果确定是否生成第二测试指令，所述第二测试指令用于控制对所述设计的测试用例执行第二测试；

测试单元，用于基于所述第一测试指令，对所述设计的测试用例执行第一测试；以及基于所述第二测试指令，对所述设计的测试用例执行第二测试，所述第二测试的测试结果与所述第一测试的测试结果不同。

本发明第三方面，提供了一种计算机设备，包括：

存储器，存储至少一组指令；

处理器，执行所述至少一组指令执行如如上任一项所述的测试方法。

本发明第四方面，提供了一种可读存储介质，其特征在于，所述可读存储介质存储至少一组指令，所述至少一组指令用于使处理器执行如上任一项所述的方法。

本发明实施例提供的测试方法、测试系统、设备及可读存储介质，生成第一测试指令，并控制对设计的测试用例执行第一测试之后，获取第一测试的执行过程中产生的测试日志并分析测试日志，根据分析结果确定是否生成第二测试指令，也就是说，本发明实施例中，不需要人工对测试日志进行分析，并根据分析结果确定是否生成第二测试指令，而是自动对测试日志进行分析，并根据测试日志的分析结果自动确定是否生成第二测试指令，即根据测试日志的分析结果自动确定是否执行第二测试，因此，可以缩短仿真测试时间，提高仿真测试效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为一种集成电路设计的验证过程的示意图；

图2为本发明一个实施例提供的测试方法的流程图；

图3为本发明另一个实施例提供的测试方法的流程图；

图4为本发明另一个实施例提供的测试方法的流程图；

图5为本发明另一个实施例提供的测试系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为一种集成电路设计的验证过程的示意图。采用硬件描述语言，如SystemVerilog语言，实现集成电路设计(以下简称设计)之后，需要使用System Verilog语言搭建验证平台，并编写测试用例(test case)，对设计进行仿真测试，以验证设计的功能是否与预期的功能一致。

其中，测试用例可以使用C语言或C++语言编写，验证平台可以为UVM(UniversalVerification Methodology，通用验证方法学)验证平台等。设计可以应用于处理器、单片机、数字信号处理(Digital Signal Process，DSP)、专用集成电路(Application SpecificIntegrated Circuits，ASIC)等器件中的一种或多种。处理器可以是中央处理单元(CPU)、图像处理单元(GPU)或张量处理单元(TPU)等。

如图1所示，为了方便交互，可以在验证平台中定义直接编程接口(DirectProgramming Interface，DPI)函数。测试用例通过事务级建模(Transaction LevelModeling，TLM)实现触发设计中的各种功能的行为。其中，如图1所示，设计具有多个预期功能，包括功能1、功能2...功能N等，测试用例1可以覆盖功能1和功能2，测试用例2可以覆盖功能2和功能N，诸如此类。

在设计的验证过程中，会通过运行测试用例，来对设计进行初始测试。当测试通过时，会生成功能覆盖率报告，功能覆盖率报告会显示设计的预期功能是否被所有测试用例完全覆盖，如，显示图1中所示的功能1至功能N是否被完全覆盖。如果设计的预期功能没有被完全覆盖，可以添加新的测试用例重复上述仿真测试过程，直至所有预期功能均被测试用例覆盖。

当大部分测试用例通过初始测试时，就会启动回归测试，以确保设计或环境的改动不会破坏已经通过的测试用例。在验证过程中，通常存在多次改动设计或环境的情况，因而，需要通过多轮的回归测试，以确认设计满足设计规范的要求且没有破坏已经通过的测试用例。

在初始测试和回归测试的过程中，都会生成测试日志即仿真日志，该测试日志会记录仿真测试的情况。如，当测试出现错误时，测试日志会记录错误信息，以便于工作人员对错误信息进行分析，并根据分析结果确定是否执行第二次测试。但是，目前大多采用人工的方式对错误信息进行分析，并根据分析结果确定是否执行第二次测试，导致仿真测试的时间较长。并且，随着集成电路规模和复杂度的不断提升，仿真测试的时间也越来越长，仿真效率也越来越低。

基于此，本发明实施例提供了一种测试方法、测试系统、设备及可读存储介质，以解决上述问题，其中测试方法包括：

生成第一测试指令，第一测试指令用于控制对设计的测试用例执行第一测试；

获取第一测试的执行过程中产生的测试日志并分析测试日志；

根据分析结果确定是否生成第二测试指令，第二测试指令用于控制对设计的测试用例执行第二测试，第二测试的测试结果与第一测试的测试结果不同。

本发明实施例中，不需要人工对测试日志进行分析，并根据分析结果确定是否生成第二测试指令，而是自动对测试日志进行分析，并根据测试日志的分析结果自动确定是否生成第二测试指令，即根据测试日志的分析结果自动确定是否执行第二测试，因此，可以缩短仿真测试时间，提高仿真测试效率。

作为本发明实施例公开内容的一种可选实现，本发明一个实施例提供了一种测试方法，基于控制单元和测试单元执行。其中，测试单元可以位于仿真器，也可以位于其他执行仿真测试功能的工具。控制单元可以是运行在处理器中的一组程序，其可以监测和控制测试单元的运行。

并且，本发明实施例中的测试方法，可以应用于对设计的测试用例进行初始测试，也可以应用于对设计的测试用例进行回归测试，还可以应用于进行随机测试等，在此不再赘述。

参考图2所示的测试方法的流程图，该测试方法包括：

S201：生成第一测试指令，第一测试指令用于控制对设计的测试用例执行第一测试；

测试开始时，控制单元通过对测试用例等进行参数解析，获得测试单元的第一测试参数以及控制单元的控制参数等。其中，控制单元可以根据控制参数确定是否忽略特定的测试日志以及确定测试单元的运行目录等。

获得第一测试参数之后，控制单元会生成第一测试指令，并将第一测试指令传输至测试单元，以控制测试单元按照第一测试参数对设计的测试用例执行第一测试即第一仿真测试。

本发明一些实施例中，可以通过在控制单元和测试单元之间建立管道(PIPE)连接，来使测试单元作为控制单元的子进程运行，以使控制单元可以监测测试单元的运行，并与测试单元进行数据的交互，如向测试单元输出指令等，以及，获取测试单元的标准输出。

其中，控制单元可以按行的方式获取测试单元的输出，也可以按照其他方式获取测试单元的输出，在此不再赘述。此外，控制单元可以实时获取测试单元的输出，也可以每隔一段时间获取测试单元的输出。

S202：获取第一测试的执行过程中产生的测试日志并分析测试日志；

在测试单元运行的过程中，测试单元会输出测试日志即仿真日志，该测试日志是在第一测试的执行过程中产生的，记录了表征测试单元仿真测试情况的信息。控制单元获取测试日志之后，会对测试日志进行分析，获得分析结果。

本发明一些实施例中，控制单元可以实时地逐行地对测试日志进行分析，但是，本发明并不仅限于此，在另一些实施例中，控制单元也可以每隔一段时间对测试日志进行逐行分析，在此不再赘述。

S203：根据分析结果确定是否生成第二测试指令，第二测试指令用于控制对设计的测试用例执行第二测试，第二测试的测试结果与第一测试的测试结果不同。

若根据分析结果确定需要生成第二测试指令，则生成第二测试指令并控制测试单元对设计的相应测试用例执行第二测试即第二仿真测试，以获得与第一测试的测试结果不同的第二测试的测试结果，即，获得更能够满足要求的测试结果。

还需要说明的是，本发明一些实施例中，测试单元可以同时对设计的多个测试用例执行测试，即对多个测试用例并行测试，并针对不同的测试用例输出不同的测试日志。控制单元可以同时或分别对多个测试日志进行分析，根据分析结果确定生成第二测试指令之后，控制测试单元对该测试日志对应的测试用例执行第二测试。

本发明的一些实施例中，第二测试的测试结果与第一测试的测试结果不同包括：第二测试的测试结果包含波形数据，第一测试的测试结果不包含波形数据。

为了提高测试效率，本发明一些实施例中，在对设计的测试用例执行第一测试时，第一测试的测试结果并不包含波形数据，即，第一测试的测试过程中不产生仿真波形。只有当第一测试出现错误时，即当测试日志中包含测试错误信息时，控制单元才会控制测试单元对设计的测试用例执行第二测试，并控制测试单元在第二测试的测试过程中产生仿真波形，以获得包括波形数据的测试结果。

也就是说，本发明一些实施例中，控制单元对测试日志的分析结果指示测试日志包含测试错误信息时，调整测试单元的测试参数，如在第一测试参数的基础上添加额外的第二测试参数，该第二测试参数控制测试单元生成波形数据，并生成包含第二测试参数的第二测试指令，并将第二测试指令传输至测试单元，以控制测试单元对产生该测试错误信息的测试用例执行第二测试，获得包括波形数据的测试结果。

与不包括波形数据的测试结果相比，包括波形数据的测试结果更能够满足工作人员的要求，这是因为工作人员可以根据波形数据和测试错误信息对错误原因进行分析，以找到错误原因，解决错误，保证测试单元的正常运行。

由于某些错误的原因需要对波形数据和测试错误信息共同分析才能得到，而某些错误的原因仅对测试错误信息单独进行分析就能得到，因此，在上述实施例的基础上，为了进一步提高测试效率，本发明的一些实施例中，控制单元对测试日志的分析结果指示测试日志包含测试错误信息时，控制单元还会进一步地对测试错误信息的类型进行判断，若测试错误信息属于通过对其自身进行分析就能够确定错误原因的一类错误信息，则不生产第二测试指令，若测试错误信息不属于通过对其自身进行分析就能够确定错误原因的一类错误信息，则生成第二测试指令，并控制测试单元对该测试错误信息对应的测试用例执行第二测试，以获得包括波形数据和测试错误信息的测试结果，以便工作人员可以根据波形数据和测试错误信息分析错误原因。

即，在上述实施例的基础上，本发明的一些实施例中，根据分析结果确定是否生成第二测试指令包括：

若分析结果指示测试用例存在测试错误信息，判断测试错误信息是否为第一测试错误信息，第一测试错误信息为通过对其分析能够确定错误原因的错误信息；

若是，不生成第二测试指令；

若否，生成第二测试指令。

基于此，本发明另一些实施例提供了一种测试方法，参考图3所示的测试方法的流程图，该测试方法包括：

S301：生成第一测试指令，第一测试指令用于控制对设计的测试用例执行第一测试；

S302：获取第一测试的执行过程中产生的测试日志并分析测试日志；

S303：若分析结果指示测试用例存在测试错误信息，判断测试错误信息是否为第一测试错误信息，第一测试错误信息为通过对其分析能够确定错误原因的错误信息；若是，进入S304；若否，进入S305；

S304：不生成第二测试指令；

S305：生成第二测试指令。

与只要存在测试错误信息，就执行第二测试的方式相比，图3所示的实施例中，通过减少一些不必要的第二测试流程，进一步缩短了测试时间，提高了测试效率。并且，减少一些不必要的第二测试流程之后，可以减少产生一些不必要的波形数据，从而可以避免不必要的波形数据占用存储空间，造成存储空间的浪费。

当然，本发明并不仅限于此，在另一些实施例中，为了进一步减少不必要的第二测试流程，进一步减少不必要的波形数据的产生，进一步减少存储空间的浪费，可以预先记录并存储对测试用例执行测试时产生的测试错误信息和波形数据，这样控制单元分析测试日志确定测试日志包含测试错误信息，且测试错误信息不属于通过对其进行分析能够确定错误原因的一类错误信息时，可以将测试错误信息与已记录的测试错误信息进行匹配，并根据匹配结果确定是否生成第二测试指令。

即，在另一些实施例中，根据分析结果确定是否生成第二测试指令包括：

若分析结果指示测试用例存在测试错误信息，判断测试错误信息是否为第一测试错误信息，第一测试错误信息为通过分析能够确定错误原因的错误信息；

若是，不生成第二测试指令；

若否，将测试错误信息与已记录的测试错误信息进行匹配，根据匹配结果确定是否生成第二测试指令，其中，已记录的测试错误信息具有对应的波形数据。

基于此，本发明另一些实施例提供了一种测试方法，参考图4所示的测试方法的流程图，该测试方法包括：

S401：生成第一测试指令，第一测试指令用于控制对设计的测试用例执行第一测试；

S402：获取第一测试的执行过程中产生的测试日志并分析测试日志；

S403：若分析结果指示测试用例存在测试错误信息，判断测试错误信息是否为第一测试错误信息，第一测试错误信息为通过分析能够确定错误原因的错误信息；若是，进入S404；若否，进入S405；

S404：不生成第二测试指令；

S405：将测试错误信息与已记录的测试错误信息进行匹配，根据匹配结果确定是否生成第二测试指令，其中，已记录的测试错误信息具有对应的波形数据。

在此基础上，本发明一些实施例中，根据匹配结果确定是否生成第二测试指令包括：

若测试错误信息与已记录的测试错误信息匹配，不生成第二测试指令；

若测试错误信息与已记录的测试错误信息不匹配，生成第二测试指令；

在此基础上，本发明一些实施例中的测试方法，还包括：

若测试错误信息与已记录的测试错误信息匹配，获取已记录的测试错误信息对应的波形数据。

也就是说，若测试错误信息与已记录的测试错误信息不匹配，则控制单元生成第二测试指令，并控制测试单元对测试用例执行第二测试，以获得包括波形数据的测试结果。当然，该测试结果中还包括与波形数据对应的测试错误信息，即获得波形数据之后，会记录该测试错误信息及其对应的波形数据。若测试错误信息与已记录的测试错误信息匹配，则控制单元不生成第二测试指令，仅获取已记录的测试错误信息对应的波形数据，并将该波形数据提供给工作人员，以便工作人员参考该波形数据对错误原因进行分析。

当然，本发明并不仅限于此，在另一些实施例中，控制单元也可以不获取已记录的测试错误信息对应的波形数据，而是将已记录的测试错误信息与波形数据的对应关系提供给工作人员，以便工作人员能够根据对应关系从存储的波形数据中找到该波形数据。

在上述实施例的基础上，本发明一些实施例中，可以预先建立错误数据库，该错误数据库记录了各测试用例在仿真测试过程中产生的测试错误信息，并且，该测试错误信息都具有对应的波形数据。

基于此，将测试错误信息与已记录的测试错误信息进行匹配包括：

将测试错误信息与错误数据库进行匹配，错误数据库至少记录有至少一个测试错误信息与波形数据的对应关系。

本发明一些实施例中，为了减少错误数据库的存储空间，错误数据库中可以仅记录有至少一个测试错误信息与波形数据的对应关系，以便工作人员根据测试用例与波形数据的对应关系，从波形数据库中得到与测试错误信息对应的波形数据。但是，本发明并不仅限于此，在另一些实施例中，错误数据库中不仅记录有至少一个测试错误信息与波形数据的对应关系，并存储有与至少一个测试错误信息对应的波形数据，以便在测试错误信息与错误数据库中已记录的测试错误信息匹配时，直接从错误数据库中获取与其对应的波形数据。

本发明一些实施例中，错误数据库中可以通过记录至少一个测试错误信息与测试用例的对应关系，来记录至少一个测试错误信息与波形数据的对应关系，以便工作人员在获得至少一个测试错误信息与测试用例的对应关系之后，再根据测试用例与波形数据的对应关系，从波形数据库中得到与测试错误信息对应的波形数据。

需要说明的是，若错误数据库中存储有波形数据，则错误数据库中的测试错误信息可以是测试单元执行第二测试生成包括波形数据的存储结果之后，存储到错误数据库中的。若错误数据库中没有存储波形数据，则错误数据库中的测试错误信息可以是测试单元执行第二测试之前，存储到错误数据库中的。

即，本发明一些实施例中，生成第二测试指令之后还包括：至少将测试错误信息及其与波形数据的对应关系记录在错误数据库中。

也就是说，可以在测试单元执行第二测试指令之前，将测试错误信息及其与波形数据的对应关系存储到错误数据库中，也可以在测试单元执行第二测试指令之后，将测试错误信息及其与波形数据的对应关系以及波形数据存储到错误数据库中。

基于此，当多个测试用例并行测试时，会存在将多个测试用例产生的测试错误信息同时写入错误数据库的情况，为了避免同时更新错误数据库造成竞争，本发明一些实施例中，错误数据库中记录的测试错误信息以对应测试用例的用例名进行命名。

基于此，错误数据库可以是一个文件目录，每个文件包含了一个测试错误信息及其对应的测试用例信息。可选地，错误数据库可以是一个client-server架构的数据库，如Mysql数据库等。

本发明一些实施例中，控制单元可以运用第一预设判断条件对测试日志进行匹配、检测，以判断测试日志中是否包含测试错误信息。可选地，第一预设判断条件可以采用正则表达式表示。通过预先定义正则表达式的内容和模式，不仅可以从测试日志中匹配出一些常见的测试错误信息，而且可以忽略一些希望忽略的测试错误信息。

若测试日志包含测试错误信息，控制单元可以运用第二预设判断条件进一步判断测试错误信息是否是第一测试错误信息。同样，第二预设判断条件也可以采用正则表达式表示。至于哪些测试错误信息是第一测试错误信息，哪些测试错误信息不是第一测试错误信息，可以由工作人员根据实际经验设定。

若测试错误信息是第一测试错误信息，控制单元还可以运用第三预设判断条件判断测试错误信息是否与已记录的测试错误信息相匹配。同样，第三预设判断条件也可以采用正则表达式表示，在此不再赘述。

为了避免错误数据库重复记录测试错误信息，本发明一些实施例中，对错误数据库中的测试错误信息进行了归一化处理，即错误数据库记录的是归一化处理后的测试错误信息，以对不同测试用例产生的测试错误信息进行分类归并处理，消除不同测试用例产生的测试错误信息的细微差别，避免重复产生波形数据。常见的可以消除的细微差别包括：错误发生的时间点和数据传输中的地址等。

例如，可以通过Perl的替换表达式实现归一化，如:$msg＝～s/started at\d+fsfailed\d+fs//；可以将$msg中的started at xxxfs failed at xxx fs去除掉，则可以将测试错误信息:“Error assertion started 10fs failed 10fs”与测试错误信息:“Errorassertion started at 20fs failed 30fs”归一化为同一个错误信息:“Error assertionfailed”。

本发明实施例中，可以根据不同的仿真测试环境及实际仿真测试的输出文件，对测试错误信息进行分类整理以及反复迭代，得到一套适用于特定验证环境的归一化规则。归一化后的测试错误信息包括核心的测试错误信息，该测试错误信息可以将其与其它测试错误信息区分开来。

基于此，本发明一些实施例中，将测试错误信息与错误数据库进行匹配包括：

将测试错误信息进行归一化处理；

将归一化处理后的测试错误信息与错误数据库进行匹配。

需要说明的是，若测试日志的分析结果指示不包含测试错误信息，则直接将该测试日志写入日志文件即可；或者，若根据测试日志的分析结果判定不生成第二测试指令，也直接将测试日志写入日志文件。若测试日志的分析结果指示包含测试错误信息，且需要生成第二测试指令，则还可以根据测试错误信息对应的错误类型，即根据对应错误的严重程度，确定立即执行第二测试或延后执行第二测试。

还需要说明的是，在执行第二测试时，测试单元可以从运行初始就生成波形数据。但是，实际需要的是，与产生测试错误信息对应时间段或设计中对应信号的波形数据，其他时间段或其他信号的波形数据是无用的。为了进一步缩短测试时间，避免无用波形占用存储空间，本发明一些实施例中，可以通过第二测试指令限定第二测试的测试结果中波形数据的参数范围。

即，本发明一些实施例中，生成第二测试指令包括：

根据测试错误信息确定波形数据的参数范围；

生成携带有参数范围的第二测试指令，以使得测试用例执行第二测试之后，第二测试的测试结果具有参数范围的波形数据。

其中，参数范围包括波形数据的时间范围和/或信号范围。

作为本发明实施例公开内容的另一种可选实现，本发明另一个实施例提供了一种测试系统，参考图5所示的测试系统的结构示意图，该测试系统包括：

控制单元50，用于生成第一测试指令，第一测试指令用于控制对设计的测试用例执行第一测试；获取第一测试的执行过程中产生的测试日志并分析测试日志；根据分析结果确定是否生成第二测试指令，第二测试指令用于控制对设计的测试用例执行第二测试；

测试单元51，用于基于第一测试指令，对设计的测试用例执行第一测试；以及基于第二测试指令，对设计的测试用例执行第二测试，第二测试的测试结果与第一测试的测试结果不同。

本发明一些实施例中，控制单元50位于主机，可选地，控制单元50是位于主机处理器中的至少一组指令或程序，主机的处理器通过执行上述至少一组指令或程序，实现控制单元50的功能。测试单元51位于硬件仿真器，主机与硬件仿真器相连接，主机中的控制单元50通过硬件仿真器控制测试单元51实现其仿真测试功能。当然，本发明并不仅限于此，在另一些实施例中，测试单元51也可以位于主机，且可选为与控制单元50位于同一主机，以便于控制单元50直接控制测试单元51实现仿真测试功能。

本发明一些实施例中，第二测试的测试结果与第一测试的测试结果不同包括：第二测试的测试结果包含波形数据，第一测试的测试结果不包含波形数据。

基于此，本发明一些实施例中，控制单元50根据分析结果确定是否生成第二测试指令包括：

若分析结果指示测试用例存在测试错误信息，判断测试错误信息是否为第一测试错误信息，第一测试错误信息为通过对其分析能够确定错误原因的错误信息；

若是，不生成第二测试指令；

若否，生成第二测试指令。

当然，本发明并不仅限于此，在另一些实施例中，控制单元50根据分析结果确定是否生成第二测试指令包括：

若分析结果指示测试用例存在测试错误信息，判断测试错误信息是否为第一测试错误信息，第一测试错误信息为通过分析能够确定错误原因的错误信息；

若是，不生成第二测试指令；

若否，将测试错误信息与已记录的测试错误信息进行匹配，根据匹配结果确定是否生成第二测试指令，其中，已记录的测试错误信息具有对应的波形数据。

在上述实施例的基础上，控制单元50根据匹配结果确定是否生成第二测试指令包括：

若测试错误信息与已记录的测试错误信息匹配，不生成第二测试指令；

若测试错误信息与已记录的测试错误信息不匹配，生成第二测试指令。

基于此，控制单元50还用于在测试错误信息与已记录的测试错误信息匹配时，获取已记录的测试错误信息对应的波形数据。

本发明一些实施例中，错误数据库记录归一化处理后的测试错误信息，基于此，控制单元50将测试错误信息与错误数据库进行匹配包括：

将测试错误信息进行归一化处理；

将归一化处理后的测试错误信息与错误数据库进行匹配。

本发明一些实施例中，控制单元50生成第二测试指令之后还包括：

至少将测试错误信息及其与波形数据的对应关系记录在错误数据库中。

基于此，本发明一些实施例中，为了避免同时更新错误数据库造成竞争，错误数据库中记录的测试错误信息以对应测试用例的用例名进行命名。

本发明一些实施例中，控制单元50生成第二测试指令包括：

根据测试错误信息确定波形数据的参数范围；

生成携带有参数范围的第二测试指令，以使得测试用例执行第二测试之后，第二测试的测试结果具有参数范围的波形数据。

其中，参数范围包括波形数据的时间范围和/或信号范围。

作为本发明实施例公开内容的另一种可选实现，本发明另一个实施例提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储至少一组指令；处理器执行上述执行一组指令执行如上任一实施例提供的测试方法。

作为本发明实施例公开内容的另一种可选实现，本发明另一个实施例提供了一种可读存储介质，可读存储介质存储至少一组指令，上述至少一组指令用于使处理器执行如上任一实施例提供的测试方法。

本发明实施例的可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是主机可读指令、数据结构、程序的模块或其他数据。主机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。