一种测试任务有效性检查方法和装置

技术领域

本发明涉及软件测试技术领域，具体涉及一种测试任务有效性检查方法和装置。

背景技术

软件测试生命周期中测试执行阶段是测试执行人员根据测试用例和计划执行测试，通常在测试环境执行完成案例后，测试人员需要手工在案例管理平台上将测试案例结果登记列表中将测试任务状态修改为测试通过状态。基于此，案例执行结果完全由测试执行人员反馈，测试执行可能存在遗漏或失误。也有个别方案以解决上述手动记录的问题，但是缺少从检查测试执行有效性的角度来分析验证的理论及方法。在测试执行阶段中，如何自动化的判断测试执行结果的有效性，是亟待解决的影响软件质量的重要问题。也有个别方案以解决上述手动记录的问题，但是缺少从检查测试执行有效性的角度来分析验证的理论及方法。在测试执行阶段中，如何自动化的判断测试执行结果的有效性，是亟待解决的影响软件质量的重要问题。

发明内容

本申请的目的旨在至少能解决上述的技术缺陷之一。本申请所采用的技术方案如下：

第一方面，本申请实施例公开了一种测试任务有效性检查方法，所述方法包括：

确定要检查的目标测试任务，并提取测试结果中记录的所述目标测试任务的测试案例流水号；

根据所述流水号，从被测试系统中提取所述目标测试任务的测试日志，并提取所述测试日志的关键要素；

根据预设的分析规则，将所述关键要素分别与目标测试任务的测试案例摘要信息、测试任务结果信息进行比对；

根据所述比对结果，确定所述目标测试任务的测试结果的有效性。

进一步地，所述测试日志关键要素包括但不限于：

测试案例的任务码、测试案例时间戳、测试案例数量、测试案例流水号；

所述目标测试任务的测试案例摘要信息包括但不限于：测试案例交易码和测试案例数量；

所述目标测试任务结果信息包括但不限于：测试案例流水号、测试案例完成时间、测试结果。

进一步地，根据预设的分析规则，将所述关键要素与目标测试任务的测试案例摘要信息进行比对包括：当所述测试日志中的任务码与所述目标测试任务的测试案例摘要信息中的任务码不相同时，则确定所述目标测试任务的测试结果无效。

进一步地，所根据预设的分析规则，将所述关键要素与测试任务结果信息进行比对包括：

当所述测试日志中的任务码与所述目标测试任务的测试案例摘要信息中的任务码相同时，则校验所述测试日志中的测试案例时间戳与所述目标测试任务结果信息中记录测试案例完成时间是否一致；

如果不一致，则确定所述目标测试任务的测试结果无效。

进一步地，所述根据预设的分析规则，将所述关键要素分别与目标测试任务的测试案例摘要信息、测试任务结果信息进行比对包括：

当所述测试日志中的任务码与所述目标测试任务的测试案例摘要信息中的任务码相同，而且所述测试日志中的测试案例时间戳与所述测试任务结果信息中记录测试案例完成时间一致时，则提取所述测试日志中的测试案例数量；

当确定所述目标测试任务的测试案例摘要信息中记录的测试案例数量与测试日志中的测试案例数量均为1个时，则确定所述目标测试任务的测试结果有效。

进一步地，当确定所述目标测试任务的测试案例摘要信息中记录的测试案例数量与测试日志中的测试案例数量不同时，则确定所述目标测试任务的测试结果无效。

进一步地，当确定所述目标测试任务的测试案例摘要信息中记录的测试案例数量与测试日志中的测试案例数量相同且大于1时，则获取所述测试日志中全部测试案例的流水号，

所述测试日志中测试案例流水号相同时分析所述目标测试任务测试案例的摘要信息，如果确认所述测试日志中的测试案例为相同任务的不同检查点，则确定所述目标测试任务的测试结果有效

进一步地，当所述测试日志中测试案例流水号不相同时，则分别提取所述不同流水号测试案例的测试请求报文；

当所述每一个测试案例的测试请求报文中的有效字段与任一测试案例的测试请求报文有效字段不同时，则确定所述目标测试任务的测试结果有效；

当所述每一个测试案例的测试请求报文中的有效字段与任一测试案例的测试请求报文有效字段相同时，则确定所述目标测试任务的测试结果无效。

第二方面，本申请实施例提供了一种测试任务有效性检查装置，所述装置包括：确定模块、提取模块、分析模块和判断模块，其中，

所述确定模块，用于确定要检查的目标测试任务；

所述提取模块，用于提取测试结果中记录的所述目标测试任务的测试案例流水号；所述提取模块并用于根据所述流水号，从被测试系统中提取所述目标测试任务的测试日志，并提取所述测试日志的关键要素；

所述分析模块，用于根据预设的分析规则，将所述关键要素分别与目标测试任务的测试案例摘要信息、测试任务结果信息进行比对；

所述判断模块，用于根据所述比对结果，确定所述目标测试任务的测试结果的有效性。

第三方面，本申请实施例提供了一种电子设备，包括处理器和存储器；

所述存储器，用于存储操作指令；

所述处理器，用于通过调用所述操作指令，执行上述任一实施例中所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法。

本申请实施例提供测试任务有效性检查方案通过解析测试环境被测系统的测试日志，在日志中识别出对应测试案例的测试证据从而检查测试执行结果的有效性(也可以称之为真实性)，从而解决了目前难以核实测试人员测试结果是否真实有效的问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的一种测试任务有效性检查方法的流程示意图；

图2为本申请实施例提供的一种测试任务有效性检查装置的示意图；

图3为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式，其中的“第一”“第二”等只是为了介绍清楚方案而进行的对象区分定义，并不对对象本身进行限制，当然“第一”和“第二”限定的对象可能是同一个终端、设备和用户等，也可能是同一种终端、设备和用户。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

此外应理解，本申请实施例中“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一(项)个”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a、b或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c，或a、b和c，其中a、b、c可以是单个，也可以是多个。

在下述实施例中“任务码”是指任务系统或任务服务器的承载某一类型任务的接口的标识。例如向服务器请求的A类型任务则是通过服务器的A类型任务接口进行的，同一个任务接口只有一个任务码，但是同一个任务接口可以发生很多同类型具体任务，即通过A类型任务接口的所有任务具有均有同一个任务码，但是每一个具体任务均是一个独立的任务，因此每一个任务均有任务流水号。需要说明的是下述实施例可用于任何软件测试领域，但尤其适用于银行交易软件或系统测试领域。在应用于银行金融交易软件测试领域是，相应的，任务码具体化为交易码，任务流水号具体化为交易流水号。例如向服务器请求的转账交易则是通过服务器的转账交易接口进行的，同一个交易接口只有一个交易码，但是同一个交易接口可以发生很多笔交易，即通过转账交易接口的所有转账交易具有均有同一个交易码，但是每一笔转账交易均是一笔独立的业务因此每一笔交易均有交易业务流水号，可以简称为交易流水号。

此外还需要说明的是测试案例、测试场景与测试任务之间的关系。一个测试任务对应于一个任务码，一个测试任务下至少有一个测试案例，一个测试案例对应于一个测试场景，每个测试测试案例对应摘要等关键要素信息，且测试执行人员在执行完毕后，会记录测试案例任务流水号(简称测试案例流水号或交易流水要)和测试案例执行完成时间。测试案例与任务码和交易流水号的关系可以分为以下几种情况：

(1)一个测试任务下对应一个测试案例，即一个测试案例对应同一个任务码和同一个流水号；

(2)一个测试任务对应多个测试案例，这种情况下多个测试案例对应同一个任务码，但每一测试案例任务流水号不同。此种情况测试案例验证的是相同类型任务的不同场景(或不同测试案例任务)，故需要多次发起不同场景下的某交易；例如，测试案例为“A银行单笔转账金额不得超过50万”则需要分别测试三个不同场景“等于50万”，“小于50万”和“大于50万”这三个测试案例(场景)。

(3)一个测试任务对应多个测试案例，但这些测试案例均对应同一个流水号。此种情况测试案例测试的是同一任务的不同测试点，只需发起一次任务，检查不同的测试点来执行多条测试案例。例如测试案例为“A账户可以转出3000元”则只需要一个交易任务即可以测试出两个不同的测试点分别为“A账户”和“3000元”。

图1示出了本申请实施例提供的一种测试任务有效性检查的流程示意图，如图1所示，该方法主要可以包括：

S101、确定要检查的目标测试任务，并提取测试结果中记录的目标测试任务的测试案例流水号；

S102、根据流水号，从被测试系统中提取目标测试任务的测试日志，并提取测试日志的关键要素；

在本申请实施例中，测试日志关键要素包括但不限于：测试案例的任务码、测试案例时间戳、测试案例数量、测试案例流水号。

S103、根据预设的分析规则，将关键要素分别与目标测试任务的测试案例摘要信息、测试任务结果信息进行比对；

在本申请实施例中，目标测试任务的测试案例摘要信息包括但不限于：测试案例交易码和测试案例数量；目标测试任务结果信息包括但不限于：测试案例流水号、测试案例完成时间、测试结果。

S104、根据比对结果，确定目标测试任务的测试结果的有效性。其中有效性包括根本没有或者不完全按照测试任务的测试案例进行测试，包括没有执行测试案例、遗漏执行测试案例或错误执行测试案例等。

在上述实施例的基础上，进一步地，根据预设的分析规则将关键要素与目标测试任务的测试案例摘要信息进行比对包括：当测试日志中的任务码与目标测试任务的测试案例摘要信息中的任务码不相同时，则确定目标测试任务的测试结果无效。

在本申请可选实施例中，所根据预设的分析规则将关键要素与测试任务结果信息进行比对包括：

步骤1、当测试日志中的任务码与目标测试任务的测试案例摘要信息中的任务码相同时，则校验测试日志中的测试案例时间戳与目标测试任务结果信息中记录测试案例完成时间是否一致；

步骤2、如果不一致，则确定目标测试任务的测试结果无效。

在上述实施例的基础上，进一步地，根据预设的分析规则，将关键要素分别与目标测试任务的测试案例摘要信息、测试任务结果信息进行比对包括：

步骤1、当测试日志中的任务码与目标测试任务的测试案例摘要信息中的任务码相同，而且测试日志中的测试案例时间戳与测试任务结果信息中记录测试案例完成时间一致时，则提取测试日志中的测试案例数量；

步骤2、当确定目标测试任务的测试案例摘要信息中记录的测试案例数量与测试日志中的测试案例数量均为1个时，则确定目标测试任务的测试结果有效。

在上述实施例的基础上，当确定目标测试任务的测试案例摘要信息中记录的测试案例数量与测试日志中的测试案例数量不同时，则确定目标测试任务的测试结果无效。

在上述实施例的基础上，在优选实施例中，所述方法还包括：

步骤1、当确定目标测试任务的测试案例摘要信息中记录的测试案例数量与测试日志中的测试案例数量相同且大于1时，则获取测试日志中全部测试案例的流水号；

步骤2、测试日志中测试案例流水号相同时分析目标测试任务测试案例的摘要信息，如果确认测试日志中的测试案例为相同任务的不同检查点，则确定目标测试任务的测试结果有效

在上述实施例的基础上，在优选实施例中，所述方法还包括：

步骤1、当测试日志中测试案例流水号不相同时，则分别提取不同流水号测试案例的测试请求报文；

步骤2、当每一个测试案例的测试请求报文中的有效字段与任一测试案例的测试请求报文有效字段不同时，则确定目标测试任务的测试结果有效；

步骤3、当每一个测试案例的测试请求报文中的有效字段与任一测试案例的测试请求报文有效字段相同时，则确定目标测试任务的测试结果无效。

本申请上述实施例根据测试人员记录的已经执行完毕的测试案例中的关键要素(流水号)提取测试日志，将测试日志中的可以作为测试案例执行依据的证据作为关键要素信息与测试任务的测试案例摘要信息，以及测试任务执行结果信息进行校验比对，从而检查测试人员完成的测试任务结果执行是否真实有效，是否存在遗漏等。在可选实施例中，可以根据上述的比对结果和判断结果生成测试任务有效性检查报告。

基于图1所示的测试任务有效性检查方法，另一方面本申请实施例提供了一种测试任务有效性检查装置，装置如图2所示，装置可以包括：201确定模块、202提取模块、203分析模块和204判断模块；其中，

所述201确定模块，用于确定要检查的目标测试任务；

所述202提取模块，用于提取测试结果中记录的目标测试任务的测试案例流水号；提取模块并用于根据流水号，从被测试系统中提取目标测试任务的测试日志，并提取测试日志的关键要素；

所述203分析模块，用于根据预设的分析规则，将关键要素分别与目标测试任务的测试案例摘要信息、测试任务结果信息进行比对；

所述204判断模块，用于根据比对结果，确定目标测试任务的测试结果的有效性。

可以理解的是，本实施例中的测试任务有效性检查装置的上述各组成设备具有实现图1中所示的实施例中的方法相应步骤的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块或系统。上述模块和系统可以是软件和/或硬件，上述各模块和系统可以单独实现，也可以多个模块和系统集成实现。对于上述各模块和系统的功能描述具体可以参见图1中所示实施例中的方法的对应描述，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

可以理解的是，本发明实施例示意的结构并不构成对测试任务有效性检查装置的具体结构的具体限定。在本申请另一些实施例中，测试任务有效性检查装置可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

本申请实施例提供了一种电子设备，包括处理器和存储器；

存储器，用于存储操作指令；

处理器，用于通过调用操作指令，执行本申请任一实施方式中所提供的测试任务有效性检查方法。

作为一个示例，图3示出了本申请实施例所适用的一种电子设备的结构示意图，如图3所示，该电子设备300包括：处理器301和存储器303。其中，处理器301和存储器303相连，如通过总线302相连。可选的，电子设备300还可以包括收发器304。需要说明的是，实际应用中收发器304不限于一个。可以理解的是，本发明实施例示意的结构并不构成对电子设备300的具体结构的具体限定。在本申请另一些实施例中，电子设备300可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实。可选地，电子设备还可以包括显示屏305，用于显示图像，或需要时接收用户的操作指令。

其中，处理器301应用于本申请实施例中，用于实现上述方法实施例所示的方法。收发器304可以包括接收机和发射机，收发器304应用于本申请实施例中，用于执行时实现本申请实施例的电子设备与其他设备通信的功能。

处理器301可以运行本申请实施例提供的测试任务有效性检查方法，以便于降低用户的操作复杂度、提高终端设备的智能化程度，提升用户的体验。处理器301可以包括不同的器件，比如集成CPU和GPU时，CPU和GPU可以配合执行本申请实施例提供的测试任务有效性检查方法，比如测试任务有效性检查方法中部分算法由CPU执行，另一部分算法由GPU执行，以得到较快的处理效率。

总线302可包括一通路，在上述组件之间传送信息。总线302可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，存储器303用于存储执行本申请方案的应用程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码，以实现本申请任一实施方式中所提供的测试任务有效性检查方法。

存储器303还可以存储本申请实施例提供的测试任务有效性检查方法对应的一个或多个计算机程序。该一个或多个计算机程序被存储在上述存储器303中并被配置为被该一个或多个处理器301执行，该一个或多个计算机程序包括指令，上述指令可以用于执行上述相应实施例中的各个步骤。

当然，本申请实施例提供的测试任务有效性检查方法的代码还可以存储在外部存储器中。这种情况下，处理器301可以通过外部存储器接口运行存储在外部存储器中的测试任务有效性检查方法的代码，处理器301可以控制运行测试任务有效性检查流程。

显示屏305包括显示面板。在一些实施例中，电子设备300可以包括1个或N个显示屏305，N为大于1的正整数。显示屏305可用于显示由用户输入的信息或提供给用户的信息以及各种图形用户界面(graphical user interface，GUI)。例如，显示屏305可以显示照片、视频、网页、或者文件等。

本申请实施例提供的电子设备，适用于上述方法任一实施例，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述方法实施例所示的测试任务有效性检查方法。

本申请实施例提供的计算机可读存储介质，适用于上述方法任一实施例，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

本申请实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的方法。本申请实施例提供的计算机程序产品，适用于上述方法任一实施例，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

本申请上述实施例公开的测试任务有效性检查方案通过确定要检查的目标测试任务，并提取测试结果中记录的所述目标测试任务的测试案例流水号；根据所述流水号，从被测试系统中提取所述目标测试任务的测试日志，并提取所述测试日志的关键要素；根据预设的分析规则，将所述关键要素分别与目标测试任务的测试案例摘要信息、目标测试任务结果信息进行比对；根据所述比对结果，确定所述目标测试任务的测试结果的有效性。本申请的方案解决了目前难以核实测试人员测试结果有效性的问题。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，还可以做出若干改进和润饰，这些变化、替换、改进和润饰也应视为都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。