一种用户界面测试方法、装置、服务器和介质

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种用户界面测试方法、装置、服务器和介质。

背景技术

用户界面(User Interface，UI)自动化测试是自动化测试领域的一个重要分支，能直接反应用户端到端的操作，趋向于真实场景的测试。常用方法是测试开发人员编写代码实现UI界面操作的用例，利用浏览器驱动(web driver)等方法模拟用户操作场景。自动化测试覆盖是测试完整性度量的常用方法，通常用代码覆盖率等指标来度量测试。

但是，在实现本发明的过程中，发现现有技术中至少存在以下技术问题：测试开发人员开发测试脚本效率较低且测试脚本执行不稳定，UI自动化测试投入回报比低，不能在实际测试中提高测试效率。

发明内容

本发明实施例提供了一种用户界面测试方法、装置、服务器和介质，以实现从测试脚本生成、自动化测试到测试结果度量的完整的用户界面自动化测试过程，提高用户界面自动化测试的效率与投入产出比。

第一方面，本发明实施例提供了一种用户界面测试方法，该方法包括：

获取待测试系统中各待测试页面的手动测试操作数据，并解析所述操作数据生成自动执行脚本；

执行所述自动执行脚本进行所述各待测试页面的测试，并在测试过程中读取所述待测试系统的程序运行数据；

基于所述程序运行数据与所述待测试系统的全部代码的调用关系图计算用户界面测试覆盖率。

第二方面，本发明实施例还提供了一种用户界面测试装置，该装置包括：

测试脚本生成模块，用于获取待测试系统中各待测试页面的手动测试操作数据，并解析所述操作数据生成自动执行脚本；

测试模块，用于执行所述自动执行脚本进行所述各待测试页面的测试，并在测试过程中读取所述待测试系统的程序运行数据；

测试统计模块，用于基于所述程序运行数据与所述待测试系统的全部代码的调用关系图计算用户界面测试覆盖率。

第三方面，本发明实施例还提供了一种服务器，所述服务器包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的用户界面测试方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的用户界面测试方法。

上述发明中的实施例具有如下优点或有益效果：

本发明实施例，通过先录制获取待测试系统中各前端待测试页面的手动测试操作数据，并解析操作数据生成自动执行脚本；然后，执行自动执行脚本进行各待测试页面的测试，并在测试过程中读取待测试系统的程序运行数据；基于程序运行数据与待测试系统的全部代码的调用关系图计算用户界面测试覆盖率；解决了开发测试脚本进行用户界面测试效率较低且测试的投入产出比低的问题，实现了从测试脚本生成、自动化测试到测试结果度量的完整的用户界面自动化测试过程，提高用户界面自动化测试的效率与投入产出比，且测试稳定性更佳。

附图说明

图1是本发明实施例一提供的一种用户界面测试方法的流程图；

图2是本发明实施例一提供的代码调用关系示意图；

图3是本发明实施例二提供的一种用户界面测试方法的流程图；

图4是本发明实施例三提供的一种用户界面测试装置的结构示意图；

图5是本发明实施例四提供的一种服务器的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种用户界面测试方法的流程图，本实施例可适用于在程序开发过程中，进行用户界面自动测试的情况。该方法可以由配置于用户界面测试装置执行，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的电子设备中。

如图1所示，用户界面测试方法包括以下步骤：

S110、获取待测试系统中各待测试页面的手动测试操作数据，并解析所述操作数据生成自动执行脚本。

其中，待测试页面的手动测试操作数据即是人为的在待测试系统的前端页面进行操作的数据，先由程序测试人员或是其他用户对需要进行测试页面的页面元素遍历操作一遍，然后将操作过程转换为自动测试脚本，以自动生成待测试页面的自动执行脚本。

具体的，可以通过页面操作监控代理插件获取各待测试页面的手动测试操作数据。使页面操作监控代理与待测试系统运行在相同的生命周期内，记录手动测试操作的数据，发送到进行系统测试的服务端，以生成自动执行脚本。在生成自动执行脚本的过程中，首先为手动测试数据中的各操作事件在预设的脚本库中匹配对应的操作事件测试脚本，然后将测试脚本按照预设数据结构和格式进行保存，得到最终的自动执行脚本，其中，自动执行脚本包括页面元素自动执行脚本和接口测试自动执行脚本。即对于前端用户界面的操作，可以记录成多个脚本，也就是用户界面元素的自动执行脚本，一个操作事件对应一个或者多个用户界面元素的自动化脚本。对于前端用户界面元素和后端工程交互的http或者https请求(XMLHttpReques)，可以记录成多个接口自动化测试脚本。一个操作事件对应一个或者多个http接口测试脚本；接口测试脚本可以作为对应的http或者https请求事件中涉及到的用户界面元素的页面元素自动执行脚本执行不稳定时候的补充。

进一步的，自动执行脚本的文件格式定义可包括文件名称和命令集，命令集合包括command、target、value及targets等信息。其中，command代表操作的事件如点击click、选择select及输入type等；target代表操作的元素，如id＝bgDiv,"xpath＝//*[@id＝\"content\"]/div/div/div/div(示例性表示操作元素的查找路径)；targets代表操作元素的其他定位方式，即其他查找路径。

S120、执行所述自动执行脚本进行所述各待测试页面的测试，并在测试过程中读取所述待测试系统的程序运行数据。

在进行用户界面测试的过程中，基于页面驱动(web driver)和脚本解析器，执行自动执行脚本进行待测试页面的测试，包括定位自动执行脚本中的操作元素(target)，将操作事件的操作指令(command)发送到服务端使待测试系统执行相应的操作，如果操作元素定位超时，会进一步解析操作元素定位路径列表(targets)中的信息，直到依据其中的一个操作元素定位路径输入参数值及操作对应的操作路径的定位方式等等。

与此同时，在本实施例中，通过基于spring框架下的代理或切面方式采集测试过程中待测试系统的程序运行数据，其中，程序运行数据包括待测试系统的程序运行日志，程序运行日志中则包含被测试函数的名称、调用方法、入参和出参。

S130、基于所述程序运行数据与所述待测试系统的全部代码的调用关系图计算用户界面测试覆盖率。

基于获取到的上述程序运行数据，可以获取整个被测试到的函数代码的调用链，即一个有向的调用关系图。示例性的，有向关系图数据结构如图2所示，以函数名作为节点，有调用关系的两个函数之间的参数传递作为两个节点之间的连结。在两个相连接的节点中，上游节点的输出参数是下游节点的输入参数。在图2中，节点1的输出参数分别传递给节点2和节点3，作为节点2和节点3的输入参数，节点3的输出参数传递给节点4，作为节点4的输入参数。

进一步的，将被测试过的函数的有向关系图与预先获取到的全部待测函数的有向关系图进行匹配，将其匹配率作为测试覆盖率。其中，全部待测函数的有向关系图可以是对全部待测代码进行静态分析确定的语法上的关系图。

本实施例的技术方案，通过先录制获取待测试系统中各前端待测试页面的手动测试操作数据，并解析操作数据生成自动执行脚本；然后，执行自动执行脚本进行各待测试页面的测试，并在测试过程中读取待测试系统的程序运行数据；基于程序运行数据与待测试系统的全部代码的调用关系图计算用户界面测试覆盖率；解决了开发测试脚本进行用户界面测试效率较低且测试的投入产出比低的问题，实现了从测试脚本生成、自动化测试到测试结果度量的完整的用户界面自动化测试过程，提高用户界面自动化测试的效率与投入产出比，且相比手动开发的测试代码存在错误的可能，本实施例的方法在用户界面测试中测试稳定性更佳。

实施例二

图3为本发明实施例二提供的一种用户界面测试方法的流程图，本实施例可适用于程序开发过程中，进行用户界面自动测试并得到测试覆盖率的情况，进一步获取全部待测试程序的调用关系图的过程，与上述实施例中的用户界面测试方法属于同一个发明构思。该方法可以由用户界面测试装置执行，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的服务器设备中。

如图3所示，用户界面测试方法包括以下步骤：

S210、获取并分析所述待测试系统的全部代码，生成所述全部代码的调用关系图。

在本实施例中，对于待测试的全部代码通过静态分析代码关系的到全部代码的调用关系图。首先，对全部代码中的类文件进行词法分析，生成所述全部代码的抽象语法树，然后解析抽象语法树，确定各类文件间调用关系，基于调用关系生成所述全部代码的调用关系图。如将代码类间的调用关系通过多链表形式存储，最后解析多链表得到代码调用关系有向图。或者，可以通过工具AST(Abstract Syntax Tree，AST)View来浏览抽象语法树，确定全部代码的调用关系图。

在一种优选的实施方式中，由于在代码测试阶段，代码修改是较为常规的事间，可以定时检测全部代码的更新状态；若全部代码中，有更新时，则相应的更新全部代码的调用关系图，以便在后续测试过程中，准确的计算测试覆盖率。

S220、获取待测试系统中各待测试页面的手动测试操作数据，并解析所述操作数据生成自动执行脚本。

S230、执行所述自动执行脚本进行所述各待测试页面的测试，并在测试过程中读取所述待测试系统的程序运行数据。

S240、基于所述程序运行数据与所述待测试系统的全部代码的调用关系图计算用户界面测试覆盖率。

当一个测试脚本中可测试的代码量过大时，程序运行数据量较大，得到的被测代码的有向调用关系图较大，且测试脚本可能会漏掉一些操作事件的测试，被测代码的有向调用关系图中的节点与全部代码的有向关系图的节点不完全一致，最终，可能会在全部代码的调用关系图中匹配不到被测代码的有向调用关系图，影响测试覆盖率的计算。在此种情况下，可以将被测代码的有向调用关系图进行剪裁，根据被测试代码调用关系图中节点与节点分支分布情况，将被测试代码调用关系图裁剪为多个被测试代码调用关系图子图分割成多个调用关系图子图。将多个被测试代码调用关系图子图与待测试系统的全部代码的调用关系图相匹配，确定最终的用户界面测试覆盖率。

优选地，在匹配调用关系图时，可为全部代码的调用关系图中各节点设定一个测试覆盖标识，当进行匹配的两个关系图中节点匹配成功一次，则测试覆盖标识位数值累加1，最后可以按照全部代码的调用关系图中节点覆盖标识位数值排序，过滤出测试覆盖标识位数值为0的节点。从而，可以对未覆盖方法节点进行提示。相较于判断有几行代码未执行的测试覆盖率计算方法，本实施例中的计算方法，能更加直观的确定未测试到的操作事件。

本实施例的技术方案，通过预先静态分析全部待测代码的调用关系图，然后录制获取待测试系统中各前端待测试页面的手动测试操作数据，并解析操作数据生成自动执行脚本；进而，执行自动执行脚本进行各待测试页面的测试，并在测试过程中读取待测试系统的程序运行数据；基于程序运行数据与待测试系统的全部代码的调用关系图计算用户界面测试覆盖率；解决了开发测试脚本进行用户界面测试效率较低且测试的投入产出比低的问题，实现了从测试脚本生成、自动化测试到测试结果度量的完整的用户界面自动化测试过程，提高用户界面自动化测试的效率与投入产出比，且测试稳定性更佳。能够显性的确定未测试操作事件或系统功能。

以下是本发明实施例提供的用户界面测试装置的实施例，该装置与上述各实施例的用户界面测试方法属于同一个发明构思，可实现上述各实施例的用户界面测试方法。在用户界面测试装置的实施例中未详尽描述的细节内容，可以参考上述用户界面测试方法的实施例。

实施例三

图4为本发明实施例三提供的一种用户界面测试装置的结构示意图，本实施例可适用于程序开发过程中，进行用户界面自动测试并得到测试覆盖率。

如图4所示，用户界面测试装置包括测试脚本生成模块310、测试模块320和测试统计模块330。

其中，测试脚本生成模块310，用于获取待测试系统中各待测试页面的手动测试操作数据，并解析所述操作数据生成自动执行脚本；测试模块320，用于执行所述自动执行脚本进行所述各待测试页面的测试，并在测试过程中读取所述待测试系统的程序运行数据；测试统计模块330，用于基于所述程序运行数据与所述待测试系统的全部代码的调用关系图计算用户界面测试覆盖率。

本实施例的技术方案，通过先录制获取待测试系统中各前端待测试页面的手动测试操作数据，并解析操作数据生成自动执行脚本；然后，执行自动执行脚本进行各待测试页面的测试，并在测试过程中读取待测试系统的程序运行数据；基于程序运行数据与待测试系统的全部代码的调用关系图计算用户界面测试覆盖率；解决了开发测试脚本进行用户界面测试效率较低且测试的投入产出比低的问题，实现了从测试脚本生成、自动化测试到测试结果度量的完整的用户界面自动化测试过程，提高用户界面自动化测试的效率与投入产出比，且测试稳定性更佳。

可选的，所述测试脚本生成模块310具体用于：

通过页面操作监控代理插件获取所述各待测试页面的手动测试操作数据；

为所述手动测试数据中的各操作事件匹配对应的测试脚本，并将所述测试脚本按照预设数据结构和格式进行保存，得到所述自动执行脚本，其中，所述自动执行脚本包括页面元素自动执行脚本和接口测试自动执行脚本。

可选的，所述测试模块320具体用于：

基于页面驱动和脚本解析器，执行所述自动执行脚本进行待测试页面的测试；

通过代理或切面方式采集测试过程中所述待测试系统的程序运行数据，其中，所述程序运行数据包括所述待测试系统的程序运行日志。

可选的，所述测试统计模块330具体用于：

根据所述程序运行日志，确定在测试过程中被调用执行的函数名，及被调用函数的参数传递关系；

基于所述函数名和所述参数传递关系，生成被测试代码调用关系图；

将所述被测试代码调用关系图与所述待测试系统的全部代码的调用关系图相匹配，确定用户界面测试覆盖率。

可选的，所述测试统计模块330还用于：

将所述函数名作为节点，将所述参数传递关系作为相关联两个节点之间的连接关系，生成有向的被测试代码调用关系图。

可选的，所述用户界面测试装置还包括调用关系裁剪模块：

用于根据被测试代码调用关系图中节点与节点分支分布情况，将所述被测试代码调用关系图裁剪为多个被测试代码调用关系图子图；

将所述多个被测试代码调用关系图子图与所述待测试系统的全部代码的调用关系图相匹配，确定用户界面测试覆盖率。

可选的，所述用户界面测试装置还包括完整代码调用关系图预制模块，用于在进行待测试页面的测试之前，获取并分析所述待测试系统的全部代码，生成所述全部代码的调用关系图。

可选的，所述完整代码调用关系图预制模块具体用于：

对所述全部代码中的类文件进行词法分析，生成所述全部代码的抽象语法树；

解析所述抽象语法树，确定各类文件间调用关系；

基于所述调用关系生成所述全部代码的调用关系图。

可选的，所述用户界面测试装置还包括关系图更新模块，用于定时检测所述全部代码的更新状态；

当所述全部代码有更新时，更新所述全部代码的调用关系图。

本发明实施例所提供的用户界面测试装置可执行本发明任意实施例所提供的用户界面测试方法，具备执行方法相应的功能模块和有益效果。

实施例四

图5为本发明实施例四提供的一种服务器的结构示意图。图5示出了适于用来实现本发明实施方式的示例性服务器12的框图。图5显示的服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。服务器12可以任意具有计算能力的终端设备，如智能控制器及服务器、手机等终端设备。

如图5所示，服务器12以通用计算设备的形式表现。服务器12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该服务器12交互的设备通信，和/或与使得该服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与服务器12的其它模块通信。应当明白，尽管图5中未示出，可以结合服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发实施例所提供的一种用户界面测试方法步骤，该方法包括：

获取待测试系统中各待测试页面的手动测试操作数据，并解析所述操作数据生成自动执行脚本；

执行所述自动执行脚本进行所述各待测试页面的测试，并在测试过程中读取所述待测试系统的程序运行数据；

基于所述程序运行数据与所述待测试系统的全部代码的调用关系图计算用户界面测试覆盖率。

实施例五

本实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的用户界面测试方法，包括：

获取待测试系统中各待测试页面的手动测试操作数据，并解析所述操作数据生成自动执行脚本；

执行所述自动执行脚本进行所述各待测试页面的测试，并在测试过程中读取所述待测试系统的程序运行数据；

基于所述程序运行数据与所述待测试系统的全部代码的调用关系图计算用户界面测试覆盖率。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。