一种基于Kubernetes的自动化模型测试方法及系统

技术领域

本发明实施例涉及机器学习技术领域，具体涉及一种基于Kubernetes的自动化模型测试方法及系统。

背景技术

随着机器学习和人工智能的迅猛发展，业界出现了许多开源的机器学习平台。目前，大多数场景仍旧是多人共享一台或多台机器，每次进模型测试前，用户手动登录远程服务器，下载代码并依据requirements文件(项目依赖关系清单)配置环境和代码包，这其中极易出现安装包版本的冲突并且过程繁琐，耗时较长，例如：有些依赖CUDA9，而有的却需要CUDA10；还有就是对深度学习框架不同版本的依赖，如pytorch0.X版、pytorch1.X版、tensorflow1.8版……。深度学习网络模型的测试是指对使用制定好的测试用例去测试模型，并评估模型的性能。对于多维度的模型测试，如果采用传统的人工部署的方式，即：针对不同维度进行环境的搭建并完成代码包的下载，在模型能力测试层面，需要人工SSH(专为远程登录会话和其他网络服务提供安全性的协议)的各种操作。

发明内容

为此，本发明实施例提供一种基于Kubernetes的自动化模型测试方法及系统，以解决现有的深度学习网络模型测试需要人工冗余和反复的操作，模型测试效率低的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

根据本发明实施例的第一方面，提出了一种基于Kubernetes的自动化模型测试方法，所述方法包括：

打包整理测试数据集和测试脚本；

创建虚拟化容器；

安装并执行依赖的环境；

将所述测试数据集和测试脚本进行拷贝；

在所述虚拟化容器中自动化执行拷贝的测试脚本代码；

存储测试结果。

进一步地，在测试完成之后，所述方法还包括：

将所述虚拟化容器进行销毁。

进一步地，所述方法还包括：

生成历史日志以便在测试完成后进行查询。

根据本发明实施例的第二方面，提出了一种基于Kubernetes的自动化模型测试系统，所述系统包括：

测试数据和脚本整理模块，用于打包整理测试数据集和测试脚本；

容器创建模块，用于创建虚拟化容器；

环境安装模块，应用安装并执行依赖的环境；

拷贝模块，用于将所述测试数据集和测试脚本进行拷贝；

测试模块，用于在所述虚拟化容器中自动化执行拷贝的测试脚本代码；

存储模块，用于存储测试结果。

进一步地，所述系统还包括：

容器销毁模块，用于将所述虚拟化容器进行销毁。

进一步地，所述系统还包括：

历史日志模块，用于生成历史日志以便在测试完成后进行查询。

根据本发明实施例的第三方面，提出了一种计算机存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种基于Kubernetes的自动化模型测试系统执行如上任一项所述的基于Kubernetes的自动化模型测试方法。

本发明实施例具有如下优点：

本发明实施例提出的一种基于Kubernetes的自动化模型测试方法及系统，Kubernetes提供了生命周期管理的API，用户基于API即可一键式完成模型任务的测试，可以大幅提升用户体验和效率，用户将测试数据和测试代码进行打包整理，Kubernetes集群可自动筛选物理机或虚拟机节点进行部署测试，只需要满足该节点的数据要求，无需人工反复的SSH操作。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

图1为本发明实施例1提供的一种基于Kubernetes的自动化模型测试方法的流程示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例1提出了一种基于Kubernetes的自动化模型测试方法，如图1所示，该方法包括：

S110、打包整理测试数据集和测试脚本。

S120、创建虚拟化容器。根据配置文件进行容器创建，并结合测试数据完成创建。

S130、安装并执行依赖的环境。配置容器运行适合的环境，包括安装包版本、深度学习框架版本、系统架构等等。

S140、将测试数据集和测试脚本进行拷贝。

S150、在虚拟化容器中自动化执行拷贝的测试脚本代码。

S160、存储测试结果。

进一步地，在测试完成之后，该方法还包括：将虚拟化容器进行销毁。

进一步地，该方法还包括：生成历史日志以便在测试完成后进行查询。

本发明实施例提出的一种基于Kubernetes的自动化模型测试方法，Kubernetes提供了生命周期管理的API，用户基于API即可一键式完成模型任务的测试，可以大幅提升用户体验和效率，用户将测试数据和测试代码进行打包整理，Kubernetes集群可自动筛选物理机或虚拟机节点进行部署测试，只需要满足该节点的数据要求，无需人工反复的SSH操作。

与上述实施例1相对应的，本发明实施例2提出了一种基于Kubernetes的自动化模型测试系统，该系统包括：

测试数据和脚本整理模块，用于打包整理测试数据集和测试脚本；

容器创建模块，用于创建虚拟化容器；

环境安装模块，应用安装并执行依赖的环境；

拷贝模块，用于将所述测试数据集和测试脚本进行拷贝；

测试模块，用于在所述虚拟化容器中自动化执行拷贝的测试脚本代码；

存储模块，用于存储测试结果。

进一步地，该系统还包括：容器销毁模块，用于将所述虚拟化容器进行销毁。

进一步地，该系统还包括：历史日志模块，用于生成历史日志以便在测试完成后进行查询。

本发明实施例提供的一种基于Kubernetes的自动化模型测试系统中各模块所执行的功能均已在上述实施例1中做了详细介绍，因此这里不做过多赘述。

本发明实施例3提出了一种计算机存储介质，计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于被一种基于Kubernetes的自动化模型测试系统执行如实施例1所述的一种基于Kubernetes的自动化模型测试。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。