一种多分布病理图像分析系统的测试系统及方法

技术领域

本发明涉及软件测试技术领域，特别涉及一种多分布病理图像分析系统的测试系统及方法。

背景技术

病理学是通过分析病人的组织、细胞或者体液样本来诊断疾病的过程，被称为医学的“金标准”，是所有肿瘤类疾病诊断最重要的依据。病理科的诊断水平是医院整体诊断和治疗水平的重要参考指标。随着远程诊断的不断发展，数字病理扫描仪开始进入病理科，越来越多的病理切片被数字化。伴随着人工智能病理的不断发展，医生通过数字病理切片能够获得机器的辅助诊断结果。

深度学习被广泛应用于图像识别领域，并在ImageNet(ILSVRC)数据集上超越了人类的辨识准确率。随着深度神经网络的层数增大，辨识准确率不断提高。在更大规模数据的支撑下，可以不断增加神经网络的层数，进而提高基于深度学习的诊断系统的预期性能。深度学习技术被广泛应用于病理影像的智能分析过程中，已经开发出了针对肺部、前列腺、肠部、淋巴结等器官的诊断模型，对医生的诊断工作起到很大的辅助作用。

基于深度学习技术的病理影像分析需要GPU(graphics processing unit，图形处理单元)加速预测过程。不同于CT、X光等放射影像，病理影像的体积通常都在500MB至2GB，像素级分辨率通常达到200,000×100,000，对包含GPU的计算系统的整体架构提出了很高的挑战，系统需要支持多GPU、多服务器的扩展。

病理图像分析系统需要支持高分辨率图像的大规模神经网络高性能计算，能够将预测任务分配给集群中所有GPU进行并行计算，以提高数字病理切片预测的速度。如何对病理图像分析系统的计算效率以及可拓展性进行监测成为系统测试的重中之重，因此本发明提出一种病理图像分析系统的测试系统及方法。

发明内容

本发明提供一种病理图像分析系统的测试系统及方法，用以对病理图像分析系统的病理图像分析效率和可拓展性进行系统性的自动评估。

本发明提供一种多分布病理图像分析系统的测试系统，包括：

脚本确定模块，用于基于多分布病理图像分析系统的多个测试用例，生成多个测试脚本；

测试设置模块，用于对若干待测试GPU的功率限制进行设置，并搭建网络分布式文件系统，并将测试脚本存储至网络分布式文件系统中；

系统测试模块，用于基于网络分布式文件系统，结合预设测试流程获取对应测试脚本对当前多分布病理图像分析系统进行测试，获得对应的系统性能的度量指标以及系统拓展因子。

优选的，脚本确定模块，包括：

配置确定单元，用于基于取分布病理图像分析系统的多个测试用例，确定测试用例的基础配置以及用例配置；

其中，基础配置参数是指对测试数字病理切片的配置要求，用例配置是指各个用例对应的服务器配置的GPU数量要求；

脚本生成单元，基于各个用例的基础配置以及用例配置，确定每个测试用例对应的期望集合，生成对应的测试脚本。

优选的，测试设置模块，包括：

设置单元，用于将全部待测试GPU的功率限制设置为额定功率；

搭建单元，用于获取多台服务器的硬盘存储策略，建立网络分布式文件系统；

存储单元，用于获取网络分布式文件系统的存储规则，基于所述存储规则将测试脚本进行处理，生成共享测试脚本文件，将共享测试脚本文件存储至网络分布式文件系统。

优选的，系统测试模块，包括：

流程确定单元，用于获取当前多分布病理图像分析系统的系统配置参数，基于系统配置参数，确定当前多分布病理图像分析系统的预设测试流程；

脚本获取单元，用于基于网络分布式文件系统，结合预设测试流程，依次获取对应的测试脚本；

结果获取单元，用于基于测试脚本进行预设重复测试，记录不同脚本对应的不同使用配置环境对应的病理切片图像的多个分析时间，并对多个分析时间进行预处理，获得系统性能的度量指标以及系统拓展因子。

优选的，流程确定单元，包括：

信息获取子单元，用于获取当前多分布病理图像分析系统的系统配置参数；

测试配置子单元，用于基于系统配置参数，设定多分布病理图像分析系统的测试运行次数以及每次测试运行的使用配置，生成预设测试流程。

优选的，脚本获取单元，包括：

确定子单元，用于基于预设测试流程，生成测试序列，根据测试序列，确定测试的使用配置的配置调控序列；

获取子单元，用于基于配置调控序列，在网络分布式文件系统中搜索，获取每次测试对应的测试脚本，生成脚本调用序列；

关系建立子单元，用于基于测试序列与配置调控序列映射关系以及脚本调用序列与配置调控序列映射关系，确定测试序列、配置调控序列以及脚本调用序列的目标映射关系。

优选的，结果获取单元，包括：

分析准备子单元，用于准备设定数量的病理切片图像，作为多分布病理图像分析系统测试时的输入数据；

分析跟踪子单元：用于基于脚本调用序列，对使用配置进行调控，并根据目标映射关系，调用目标测试脚本，对多分布病理图像分析系统进行测试，并在测试运行过程中，记录多分布病理图像分析系统对病理切片图像进行分析所需要的分析时间；

系统评估子单元：用于根据每次测试运行的分析时间计算多分布病理图像分析系统的度量指标，并根据不同使用配置下测试运行的度量指标评估得到多分布病理图像分析系统的系统拓展因子。

优选的，分析跟踪子单元，包括：

预处理子单元，用于基于测试序列生成多分布病理图像分析系统的数据目录，基于所述数据目录生成多个测试数据记录表；

获取所述测试数据记录表的包含的项目名称，对测试数据记录表中的数据及进行数据拆分，基于拆分数据对应的使用配置确定数据属性，将所述拆分数据与数据目录进行挂接，获得预处理数据记录表；

记录显示子单元，用于基于预处理数据记录表记录对应的分析时间，根据预设图像生成设置，按照数据目录，获取目标数据，对目标数据进行处理后生成分析图像进行显示。

优选的，分析跟踪子单元，还包括：

数据关联子单元，用于在多分布病理图像分析系统的数据存放位置发生变化时，基于数据目录与拆分数据的挂接关系，确定多分布病理图像分析系统对病理切片图像进行再分析所需要的分析时间的二次记录位置；

对比处理子单元，用于在二次记录完成后，将原记录数据与二次记录数据进行，获得对比结果，确定存储位置对系统性能的影响。

本发明提供一种多分布病理图像分析系统的测试方法，包括：

步骤1：基于多分布病理图像分析系统的多个测试用例，生成多个测试脚本；

步骤2：对若干待测试GPU的功率限制进行设置，并搭建网络分布式文件系统，并将测试脚本存储至网络分布式文件系统中；

步骤3：基于网络分布式文件系统，结合预设测试流程获取对应测试脚本对当前多分布病理图像分析系统进行测试，获得对应的系统性能的度量指标以及系统拓展因子。

相比现有技术，本发明至少包括以下有益效果：

本发明基于分布病理图像分析系统的多个测试用例，生成多个测试脚本，并对待测试GPU的功率限制进行设置，并搭建网络分布式文件系统，并将测试脚本存储至网络分布式文件系统中，有利于测试过程中测试文件的同时调用，支持多个服务器同时进行系统性能测试，基于网络分布式文件系统，结合预设测试流程获取对应测试脚本对分布病理图像分析系统进行测试，获得对应的系统性能的度量指标，实现对病理图像分析系统的病理图像分析效率和可拓展性进行系统性的自动评估

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明一种多分布病理图像分析系统的测试系统的示意图；

图2为本发明一种多分布病理图像分析系统的测试系统脚本确定模块

的示意图；

图3为本发明一种多分布病理图像分析系统的测试系统系统测试设置模块的示意图；

图4为本发明一种多分布病理图像分析系统的测试系统系统测试模块的示意图；

图5为单服务器多GPU卡系统性能随GPU数的变化图像；

图6为多服务器多GPU卡系统性能随GPU数的变化图像；

图7为多服务器12颗GPU切片平均分析时间图像；

图8为本发明一种多分布病理图像分析系统的测试方法的流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1：

本发明提供一种多分布病理图像分析系统的测试系统，如图1所示，包括：

脚本确定模块，用于基于多分布病理图像分析系统的多个测试用例，生成多个测试脚本；

测试设置模块，用于对若干待测试GPU的功率限制进行设置，并搭建网络分布式文件系统，并将测试脚本存储至网络分布式文件系统中；

系统测试模块，用于基于网络分布式文件系统，结合预设测试流程获取对应测试脚本对当前多分布病理图像分析系统进行测试，获得对应的系统性能的度量指标以及系统拓展因子。

本实施例中，多分布病理图像分析系统包含多个服务器，每个服务其中有多个GPU。

本实施例中，本发明所述的测试系统使用TensorFlow Serving v1.x(针对旧款GPU)或者v2.x(针对新款GPU)，在Linux(64位)操作系统下进行测试。

本实施例中，系统性能的度量指标是指每次进行预设重复测试的过程中全部病理切片图像的多次重复测试的平均分析时间(Taverage)的倒数，即系统性能(P)的度量指标P＝1/Taverage；

本实施例中，系统拓展因子是指多分布病理图像分析系统的使用配置为全部服务器情况下得到的系统性能(P)的度量指标与使用配置为单台服务器情况下得到的系统性能(P)的度量指标的比值，或者多分布病理图像分析系统的使用配置为使用配置为单台服务器情况下，配置不同的数量的GPU的单个GPU配置的系统性能(P)的度量指标比值。

上述技术方案的有益效果：本发明基于分布病理图像分析系统的多个测试用例，生成多个测试脚本，并对待测试GPU的功率限制进行设置，并搭建网络分布式文件系统，并将测试脚本存储至网络分布式文件系统中，有利于测试过程中测试文件的同时调用，支持多个服务器同时进行系统性能测试，基于网络分布式文件系统，结合预设测试流程获取对应测试脚本对分布病理图像分析系统进行测试，获得对应的系统性能的度量指标以及系统拓展因子，实现对病理图像分析系统的病理图像分析效率和可拓展性进行系统性的自动评估。

实施例2：

在实施例1的基础上，脚本确定模块，如图2所示，包括：

配置确定单元，用于基于取多分布病理图像分析系统的多个测试用例，确定测试用例的基础配置以及用例配置；

其中，基础配置参数是指对测试数字病理切片的配置要求，用例配置是指各个用例对应的服务器配置的GPU数量要求；

脚本生成单元，基于各个用例的基础配置以及用例配置，确定每个测试用例对应的期望集合，生成对应的测试脚本。

本实施例中，期望集合是指各个测试用例对应的最终输出的结果的数据构建的集合。

上述技术方案的有益效果：本发明基于取多分布病理图像分析系统的多个测试用例，确定测试用例的基础配置以及用例配置，并根据各个用例的基础配置以及用例配置，确定每个测试用例对应的期望集合，生成对应的测试脚本，获得不同系统配置对应的测试脚本，满足对各种系统配置的多分布病理图像分析系统的测试，提高测试系统的测试兼容性。

实施例3：

在实施例1的基础上，测试设置模块，如图3所示，包括：

设置单元，用于将全部待测试GPU的功率限制设置为额定功率；

搭建单元，用于获取多台服务器的硬盘存储策略，建立网络分布式文件系统；

存储单元，用于获取网络分布式文件系统的存储规则，基于所述存储规则将测试脚本进行处理，生成共享测试脚本文件，将共享测试脚本文件存储至网络分布式文件系统。

本实施例中，硬盘存储策略是指当前多分布病理图形分析系统的中各个夫服务器的存储方式。

本实施例中，存储规则是指以多台服务器的硬盘为基础建立的网络分布式文件系统的共享文件的存储方式。

上述技术方案的有益效果：本发明全部待测试GPU的功率限制设置为额定功率，为多分布病理图像分析系统的测试提供稳定的硬件基础，减少测试过程的其他因素的干扰提高系统测试结果的准确性；获取多台服务器的硬盘存储策略，建立网络分布式文件系统，网络分布式文件系统的搭建为方便了测试脚本的存储和调用，为多分布病理图像分析系统的测试提供软件基础获取网络分布式文件系统的存储规则，基于所述存储规则将测试脚本进行处理，生成共享测试脚本文件，将共享测试脚本文件存储至网络分布式文件系统，有利于对多分布病理图像分析系统进行多种使用配置的测试，提高测试系统的测试能力。

实施例4：

在实施例1的基础上，系统测试模块，如图4所示，包括：

流程确定单元，用于获取当前多分布病理图像分析系统的系统配置参数，基于系统配置参数，确定当前多分布病理图像分析系统的预设测试流程；

脚本获取单元，用于基于网络分布式文件系统，结合预设测试流程，依次获取对应的测试脚本；

结果获取单元，用于基于测试脚本进行预设重复测试，记录不同脚本对应的不同使用配置环境对应的病理切片图像的多个分析时间，并对多个分析时间进行预处理，获得系统性能的度量指标以及系统拓展因子。

本实施例中，系统配置参数是指当前多分布病理图像分析系统的服务i去数以及各个服务器的GPU数量。

本实施例中，当前多分布病理图像分析系统是指正在进行测试的多分布病理图像分析系统。

本实施例中，使用配置是指测试过程是使用的服务器数量以及GPU数量。

本实施例中，分析时间是指在单次测试过程中每个病理切片图像对应的分析时间，每个切片图形需要进行预设次数(例如，5次)的测试，减小统计学偏差对结果的影响。

上述技术方案的有益效果：本发明获取当前多分布病理图像分析系统的系统配置参数，基于系统配置参数，确定当前多分布病理图像分析系统的预设测试流程，保证当前多分布病理图像分析系统整个测试过程的有序进行；基于网络分布式文件系统，结合预设测试流程，依次获取对应的测试脚本，触发对应的测试脚本保证当前测试的正确进行，提高测试准确性；基于测试脚本进行预设重复测试，记录不同脚本对应的不同使用配置环境对应的病理切片图像的多个分析时间，并对多个分析时间进行预处理，获得系统性能的度量指标以及系统拓展因子实现了对病理图像分析系统的病理图像分析效率和可拓展性进行系统性的自动评估。

实施例5：

在实施例4的基础上，流程确定单元，包括：

信息获取子单元，用于获取当前多分布病理图像分析系统的系统配置参数；

测试配置子单元，用于基于系统配置参数，设定多分布病理图像分析系统的测试运行次数以及每次测试运行的使用配置，生成预设测试流程。

本实施例中，测试运行次数与多分布病理图像分析系统的服务器数量以及GPU数量相关。

上述技术方案的有益效果：本发明在进行测试前，获取当前多分布病理图像分析系统的系统配置参数，基于系统配置参数，设定多分布病理图像分析系统的测试运行次数以及每次测试运行的使用配置，生成预设测试流程，保证当前多分布病理图像分析系统整个测试过程的有序进行，保证系统测试全面性和完整性，避免出现漏测问题。

实施例6：

在实施例4的基础上，脚本获取单元，包括：

确定子单元，用于基于预设测试流程，生成测试序列，根据测试序列，确定测试的使用配置的配置调控序列；

获取子单元，用于基于配置调控序列，在网络分布式文件系统中搜索，获取每次测试对应的测试脚本，生成脚本调用序列；

关系建立子单元，用于基于测试序列与配置调控序列映射关系以及脚本调用序列与配置调控序列映射关系，确定测试序列、配置调控序列以及脚本调用序列的目标映射关系。

本实施例中，测试序列是指多分布病理图像分析系统的测试顺序，例如首先进行单服务器测试，然后进行多服务器测试，单服务器测试和多服务器测试中还包括单GPU测试和多GPU测试。

本实施例中，配置调控序列是指测试序列中每次测试对应的使用配置形成的序列。

本实施例中，脚本调用序列是指根据配置调控序列确定的脚本调用序列。

本实施例中，目标映射关系是指测试序列、配置调控序列以及脚本调用序列中各个元素直接的对应关系。

上述技术方案的有益效果：本发明用于基于预设测试流程，生成测试序列，根据测试序列，确定测试的使用配置的配置调控序列，基于配置调控序列，在网络分布式文件系统中搜索，获取每次测试对应的测试脚本，生成脚本调用序列，然后基于测试序列与配置调控序列映射关系以及脚本调用序列与配置调控序列映射关系，确定测试序列、配置调控序列以及脚本调用序列的目标映射关系，有利于多分布病理图像分析系统在按照预设测试流程进行测试的过程中，对测试硬件设置既使用配置进行快速调控的同时完成测试软件既测试脚本的快速调用，缩短多分布病理图像分析系统测试响应时间，提高多分布病理图像分析系统测试效率。

实施例7：

在实施例6的基础上，结果获取单元，包括：

分析准备子单元，用于准备设定数量的病理切片图像，作为多分布病理图像分析系统测试时的输入数据；

分析跟踪子单元：用于基于脚本调用序列，对使用配置进行调控，并根据目标映射关系，调用目标测试脚本，对多分布病理图像分析系统进行测试，并在测试运行过程中，记录多分布病理图像分析系统对病理切片图像进行分析所需要的分析时间；

系统评估子单元：用于根据每次测试运行的分析时间计算多分布病理图像分析系统的度量指标，并根据不同使用配置下测试运行的度量指标评估得到多分布病理图像分析系统的系统拓展因子。

本实施例中，病理切片图像为随机抽取的病理切片图像，使用多种数字病理切片扫描仪(例如，江丰生物KF-PRO-005、帝麦克斯DMS-10、优纳科技PRECICE 500、滨松NanoZoomer S360、罗氏Ventana DP200等)进行数字化，能够排除读图SDK(softwaredevelopment kit)对系统性能的干扰，取得更加客观的测试结果。

本发明以3台多GPU服务器(包含3台服务器，且每台配置4颗GPU芯片)集群为例，在不同的机器配置下，将10张数字病理切片顺序输入病理图像分析系统中。如图5所示为单服务器多GPU系统性能随GPU数的变化，随着GPU数目的增加，理想系统性能展示出近似线性的增长。在其中一个实验中，4颗GPU的配置下，系统的拓展因子(scalability factor)为3.59。如图6所示为多服务器多GPU系统性能随GPU数的变化，表现了每台服务器1至4颗GPU配置的情况下系统性能变化，在每台服务器配置4颗GPU(共计12颗GPU)的条件下，相比每台服务器配置1颗GPU系统的拓展因子达到了3.47。其中，图5和图6中的数据均使用单GPU的系统性能进行归一化处理。

如图7所示为多服务器12颗GPU切片平均分析时间，10张数字病理切片平均分析时间为20秒左右，则此时的系统性能(P)的度量指标P＝1/20＝0.05。

上述技术方案的有益效果：本发明通过准备设定数量的病理切片图像，作为多分布病理图像分析系统测试时的输入数据，能够排除读图SDK对系统性能的干扰，有利于获得更加客观的测试结果，基于脚本调用序列，对使用配置进行调控，并根据目标映射关系，调用目标测试脚本，对多分布病理图像分析系统进行测试，并在测试运行过程中，记录多分布病理图像分析系统对病理切片图像进行分析所需要的分析时间，根据每次测试运行的分析时间计算多分布病理图像分析系统的度量指标，并根据不同使用配置下测试运行的度量指标评估得到多分布病理图像分析系统的系统拓展因子，在快速完成系统测试任务的同时，获得系统评估基础数据，为多分布病理图像分析系统的评估提供数据支撑，实现了对多分布病理图像分析系统的效率和可拓展性系统性的评估。

实施例8：

在实施例7的基础上，分析跟踪子单元，包括：

预处理子单元，用于基于测试序列生成多个测试数据记录表，根据多分布病理图像分析系统的预设测试流程确定测试数据种类生成数据目录；

获取所述测试数据记录表的包含的项目名称，对测试数据记录表中的数据及进行数据拆分，基于拆分数据对应的使用配置确定数据属性，将所述拆分数据与数据目录进行挂接，获得预处理数据记录表；

记录显示子单元，用于基于预处理数据记录表记录对应的分析时间，根据预设图像生成设置，按照数据目录，获取目标数据，对目标数据进行处理后生成分析图像进行显示。

本实施例中，测试数据记录表用于记录每一次测试的测试数据，例如分析时间、GPU使用效率等。

本实施例中，数据目录又测试数据种类的数据种类确定，包含了多种测试数据。

本实施例中，使用配置不同则拆分数据的数据属性不同。

本实施例中，目标数据是指用于生成分析图像的数据，分析图形是指根据测试结果生成的显示图像。

上述技术方案的有益效果：本发明基于测试序列生成多个测试数据记录表，根据多分布病理图像分析系统的预设测试流程确定测试数据种类生成数据目录，获取所述测试数据记录表的包含的项目名称，对测试数据记录表中的数据及进行数据拆分，基于拆分数据对应的使用配置确定数据属性，将所述拆分数据与数据目录进行挂接，获得预处理数据记录表，运用挂接方式将测试数据记录表中的各个数据与数据目录进行连接，将同类数据进行聚类提高了测试数据之间的关联性，方便同类数据的录入，有利于在测试完成后用户根据自身测试需求获取对应的测试数据，自定义分析图像。基于预处理数据记录表记录对应的分析时间，根据预设图像生成设置，按照数据目录，获取目标数据，对目标数据进行处理后生成分析图像进行显示，自主完成测试数据的分析以及分析结果的显示选择的同时为用户提供直观的结果显示。

实施例9：

在实施例8的基础上，分析跟踪子单元，还包括：

数据关联子单元，用于在多分布病理图像分析系统的数据存放位置发生变化时，基于数据目录与拆分数据的挂接关系，确定多分布病理图像分析系统对病理切片图像进行再分析所需要的分析时间的二次记录位置；

对比处理子单元，用于在二次记录完成后，将原记录数据与二次记录数据进行，获得对比结果，确定存储位置对系统性能的影响。

本实施例中，数据存放位置是指多分布病理图像分析系统数据存放的硬盘种类，包括固态硬盘和机械硬盘。

本实施例中，二次记录是指根据将多分布病理图像分析系统的数据存放到与原来存放硬盘不一样的硬盘中后基于原视频用配置对病理切片图像进行再分析进行再次分析时记录分析时间。

上述技术方案的有益效果：本发明基于数据关联子单元以及对比处理子单元实现存储位置对系统性能的影响的评估，扩展了测试系统的测试范围。

实施例10：

一种多分布病理图像分析系统的测试方法，如图8所示，包括：

步骤1：基于多分布病理图像分析系统的多个测试用例，生成多个测试脚本；

步骤2：对若干待测试GPU的功率限制进行设置，并搭建网络分布式文件系统，并将测试脚本存储至网络分布式文件系统中；

步骤3：基于网络分布式文件系统，结合预设测试流程获取对应测试脚本对当前多分布病理图像分析系统进行测试，获得对应的系统性能的度量指标以及系统拓展因子。

上述技术方案的有益效果：本发明基于分布病理图像分析系统的多个测试用例，生成多个测试脚本，并对待测试GPU的功率限制进行设置，并搭建网络分布式文件系统，并将测试脚本存储至网络分布式文件系统中，有利于测试过程中测试文件的同时调用，支持多个服务器同时进行系统性能测试，基于网络分布式文件系统，结合预设测试流程获取对应测试脚本对分布病理图像分析系统进行测试，获得对应的系统性能的度量指标以及系统拓展因子，实现对病理图像分析系统的病理图像分析效率和可拓展性进行系统性的自动评估。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。