一种服务运行方法和装置

技术领域

本申请涉及计算机技术领域，特别是涉及一种服务运行方法和一种服务运行装置。

背景技术

随着技术的发展，基于模型实现的语音识别、人脸检测等服务的需求也逐渐扩大。基于模型的服务可以根据用户实际需要，部署至至少一个服务器处运行。然而，由于基于模型的服务所使用的模型需要更新，不同服务器的运行环境存在区别，基于模型的服务在不同时间的使用量不同，导致实时运行的服务的数量需要调整等原因，用户可能需要频繁地针对多种服务器部署基于模型的服务，导致基于模型的服务的部署以及运行工作繁琐。

申请内容

鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种服务运行方法和相应的一种服务运行装置。

为了解决上述问题，本申请实施例公开了一种服务运行方法，包括：

获取用户发送的服务配置模板信息；

采用所述服务配置模板信息，生成镜像文件以及运行环境部署文件；

采用所述镜像文件以及所述运行环境部署文件，在预设的服务节点运行基于所述预设模型的服务。

可选地，所述采用所述服务配置模板信息，生成包含预设模型的镜像文件以及运行环境部署文件的步骤，包括：

在所述服务配置模板信息中，提取模型配置信息以及容器部署配置信息；

采用所述模型配置信息，确定所述基于预设模型的服务对应的依赖库；

采用所述依赖库以及所述模型配置信息，生成镜像文件；

采用所述容器部署配置信息，生成适配预设的服务节点的运行环境部署文件。

可选地，所述采用所述依赖库以及所述模型配置信息，生成镜像文件的步骤，包括：

采用所述模型配置信息，确定所述预设模型的模型调用文件；

创建针对所述模型调用文件的调用接口信息；

采用所述依赖库，所述调用接口信息、以及所述模型调用文件，生成镜像文件。

可选地，所述采用所述容器部署配置信息，生成适配预设的服务节点的运行环境部署文件的步骤，包括：

解析所述容器部署配置信息，确定所述基于预设模型的服务对应的运行需求资源信息；

采用所述运行需求资源信息，生成适配预设的服务节点的运行环境部署文件。

可选地，所述服务节点包括边缘服务节点；

所述采用所述镜像文件以及所述运行环境部署文件，在预设的服务节点运行基于所述预设模型的服务的步骤，包括：

采用所述镜像文件以及所述运行环境部署文件，在预设的边缘服务节点运行基于所述预设模型的服务。

本申请实施例还公开了一种服务运行装置，包括：

获取模块，用于获取用户发送的服务配置模板信息；

生成模块，用于采用所述服务配置模板信息，生成包含预设模型的镜像文件以及运行环境部署文件；

运行模块，用于采用所述镜像文件以及所述运行环境部署文件，在预设的服务节点运行基于所述预设模型的服务。

可选地，所述生成模块包括：

提取子模块，用于在所述服务配置模板信息中，提取模型配置信息以及容器部署配置信息；

确定子模块，用于采用所述模型配置信息，确定所述基于所述预设模型的服务对应的依赖库；

第一生成子模块，用于采用所述依赖库以及所述模型配置信息，生成镜像文件；

第二生成子模块，用于采用所述容器部署配置信息，生成适配预设的服务节点的运行环境部署文件。

可选地，所述第一生成子模块的步骤，包括：

确定单元，用于采用所述模型配置信息，确定所述预设模型的模型调用文件；

创建单元，用于创建针对所述模型调用文件的调用接口信息；

第一生成单元，用于采用所述依赖库，所述调用接口信息、以及所述模型调用文件，生成镜像文件。

可选地，所述第二生成子模块包括：

解析单元，用于解析所述容器部署配置信息，确定所述基于所述预设模型的服务对应的运行需求资源信息；

第二生成单元，用于采用所述运行需求资源信息，生成适配预设的服务节点的运行环境部署文件。

可选地，所述服务节点包括边缘服务节点；

所述运行模块包括：

运行子模块，用于采用所述镜像文件以及所述运行环境部署文件，在预设的边缘服务节点运行基于所述预设模型的服务。

本申请实施例还公开了一种装置，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如本申请实施例所述的一个或多个的方法。

本申请实施例还公开了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如本申请实施例所述的一个或多个的方法。

本申请实施例包括以下优点：

通过本申请实施例的服务运行方法，采用所述服务配置模板信息，生成镜像文件以及运行环境部署文件，并采用所述镜像文件以及所述运行环境部署文件，在预设的服务节点运行基于预设模型的服务。从而可以采用服务配置模板信息，实现基于预设模型的服务的镜像文件以及运行环境部署文件的快速生成，并实现基于预设模型的服务的快速部署以及运行，提高了基于预设模型的服务的部署以及运行效率。

附图说明

图1是本申请的一种服务运行方法实施例的步骤流程图；

图2是本申请的另一种服务运行方法实施例的步骤流程图；

图3是本申请的一种服务运行方法实施例的流程示意图；

图4是本申请的一种服务运行装置实施例的结构框图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

参照图1，示出了本申请的一种服务运行方法实施例的步骤流程图，具体可以包括如下步骤：

步骤101，获取用户发送的服务配置模板信息；

在本申请实施例中，所述服务可以应用于至少一个服务器中。所述服务器可以为本地服务器，也可以为云服务器，本申请对此不做限制。具体地，服务器可以组成云服务器集群，云服务器集群可以包括若干分布于不同地点的服务节点。所述服务节点可以由至少一个服务器组成。用户可以通过网络与所述服务节点连接，并操作所述服务节点。服务节点可以包括中心服务节点以及边缘服务节点。中心服务节点可以更加接近云服务集群的管理者，便于管理者通过中心服务节点对云服务集群进行管理，并提供更高的运算能力。边缘服务节点可以更加接近云服务集群的用户，便于用户可以更快地访问服务节点中提供的服务。

在本申请实施例中，所述服务可以为基于预设模型实现的服务，例如，语音识别、人脸检测、文本分类等。在所述服务中，可以包括样本数据采集、样本数据清洗、模型训练、模型部署、模型推理等内容。

在本申请实施例中，所述预设模型可以为基于监督式学习的模型，例如，决策树、随机森林、支持向量机、相关向量机等。所述模型也可以为基于半监督式学习的模型，例如，生成式模型、半监督支持向量机等。所述模型也可以为神经网络模型，例如，自编码器、多层感知机、循环神经网络模型、卷积神经网络模型等，本申请对此不做限制。

在本申请实施例中，可以根据实际需要，将所述服务中的不同内容分别分配给不同的服务器。例如，在一云服务器集群中，将所述服务中样本数据采集、样本数据清洗、模型训练的工作交由云服务器集群中的中心服务节点进行处理，而将模型部署、模型推理的工作交由云服务器集群中的边缘服务节点进行处理。还可以根据实际需要，将所述服务中的所有内容分配给至少一个服务器共同处理。例如，将样本数据采集、样本数据清洗、模型训练、模型部署、模型推理的工作皆交由一云服务器集群中的中心服务节点进行处理。本申请对此不做限制。

在本申请实施例中，用户可以在至少一个服务器中部署并运行基于预设模型的服务。可以获取用户发送的配置模板信息，所述服务配置模板信息可以包括用户基于预设的配置模板填写的服务配置信息。从而可以基于所述服务配置模板信息，得知用户需要部署的服务种类、服务所要部署的服务节点、需要为服务保留的运算资源等信息。

步骤102，采用所述服务配置模板信息，生成包含预设模型的镜像文件以及运行环境部署文件；

在本申请实施例中，在模型已经完成预训练之后，用户可以将模型部署至实际应用中，以实现语音识别、人脸检测、文本分类等工作。由于不同的服务节点，其在运行环境上可以存在不同，因此，可以采用所述服务配置模板信息，生成包含预设模型的镜像文件以及运行环境部署文件，使所述基于预设模型的服务可以在服务节点运行。

在本申请实施例中，所述包含预设模型的镜像文件可以用于运行推理服务。所述镜像文件可以包括基于预设模型的服务以及运行所述基于预设模型的服务所需要的数据。从而所述服务节点可以通过加载所述镜像文件，实现所述基于预设模型的服务的运行。所述运行环境部署文件可以用于描述在服务节点中运行所述基于预设模型的服务所需要的环境以及所述镜像文件的加载方式，从而所述服务节点可以采用所述运行环境部署文件准备运行环境并加载所述镜像文件。

在本申请实施例中，用户可以采用所述服务配置模板信息，在服务节点中快速生成在服务节点运行基于预设模型的服务的所需的镜像文件以及运行环境部署文件。特别是对于在边缘服务节点运行基于所述预设模型的服务的情况下，由于边缘服务节点数量多，资源情况各不相同，通过所述服务配置模板信息，可以高效地生成适配所述边缘服务节点的镜像文件以及运行环境部署文件，便于在边缘服务节点快速部署基于所述预设模型的服务。

步骤103，采用所述镜像文件以及所述运行环境部署文件，在预设的服务节点运行基于所述预设模型的服务。

在本申请实施例中，可以采用所述镜像文件以及所述运行环境部署文件，在预设的服务节点运行基于所述预设模型的服务，从而实现在服务节点快速部署基于所述预设模型的服务。

在具体实现中，可以采用所述运行环境部署文件，准备运行基于预设模型的服务所需要的环境。例如，在所述服务节点中准备所述基于预设模型的服务所需要CPU资源量、内存资源量、GPU资源量，设置镜像文件的加载方式、生命周期等。其后，所述服务节点可以加载所述镜像文件，从而加载运行所述基于预设模型的服务所需要的数据、所述基于预设模型的服务使用的预设模型，从而实现在在所述服务节点中加载所述基于预设模型的服务。

通过本申请实施例的服务运行方法，采用所述服务配置模板信息，生成镜像文件以及运行环境部署文件，并采用所述镜像文件以及所述运行环境部署文件，在预设的服务节点运行基于预设模型的服务。从而可以采用服务配置模板信息，实现基于预设模型的服务的镜像文件以及运行环境部署文件的快速生成，并实现基于预设模型的服务的快速部署以及运行，提高了基于预设模型的服务的部署以及运行效率。

参照图2，示出了本申请的另一种服务运行方法实施例的步骤流程图，具体可以包括如下步骤：

步骤201，获取用户发送的服务配置模板信息；

在本申请实施例中，所述服务可以应用于至少一个服务器中。所述服务器可以为本地服务器，也可以为云服务器，本申请对此不做限制。具体地，服务器可以组成云服务器集群，云服务器集群可以包括若干分布于不同地点的服务节点。所述服务节点可以由至少一个服务器组成。用户可以通过网络与所述服务节点连接，并操作所述服务节点。服务节点可以包括中心服务节点以及边缘服务节点。中心服务节点可以更加接近云服务集群的管理者，便于管理者通过中心服务节点对云服务集群进行管理，并提供更高的运算能力。边缘服务节点可以更加接近云服务集群的用户，便于用户可以更快地访问服务节点中提供的服务。

在本申请实施例中，所述服务可以为基于预设模型实现的服务，例如，语音识别、人脸检测、文本分类等。在所述服务中可以包括样本数据采集、样本数据清洗、模型训练、模型部署、模型推理等内容。

在本申请实施例中，所述预设模型可以为基于监督式学习的模型，例如，决策树、随机森林、支持向量机、相关向量机等。所述模型也可以为基于半监督式学习的模型，例如，生成式模型、半监督支持向量机等。所述模型也可以为神经网络模型，例如，自编码器、多层感知机、循环神经网络模型、卷积神经网络模型等，本申请对此不做限制。

在本申请实施例中，可以根据实际需要，将所述服务中的不同内容分别分配给不同的服务器。例如，在一云服务器集群中，将所述服务中样本数据采集、样本数据清洗、模型训练的工作交由云服务器集群中的中心服务节点进行处理，而将模型部署、模型推理的工作交由云服务器集群中的边缘服务节点进行处理。还可以根据实际需要，将所述服务中的所有内容分配给至少一个服务器共同处理。例如，将样本数据采集、样本数据清洗、模型训练、模型部署、模型推理的工作皆交由一云服务器集群中的中心服务节点进行处理。本申请对此不做限制。

在本申请实施例中，用户可以在至少一个服务器中部署并运行基于预设模型的服务。可以获取用户发送的服务配置模板信息，所述服务配置模板信息可以包括用户基于预设的配置模板填写的服务配置信息。从而可以基于所述服务配置模板信息，得知用户需要部署的服务种类、服务所要部署的服务节点、需要为服务保留的运算资源等信息。

步骤202，在所述服务配置模板信息中，提取模型配置信息以及容器部署配置信息；

在本申请实施例中，在模型已经完成预训练之后，用户可以将模型部署至实际应用中，以实现语音识别、人脸检测、文本分类等工作。由于不同的服务节点，其在运行环境上可以存在不同，因此，可以采用所述服务配置模板信息，生成镜像文件以及运行环境部署文件，使基于预设模型的服务可以在服务节点运行。

在本申请实施例中，所述服务配置模板信息中，可以提取配置预设模型的所需要的模型配置信息以及采用容器方式部署所述预设模型所需要的容器部署配置信息。

在具体实现中，所述服务配置模板信息可以包含用户基于预设模板填写的，针对所述基于预设模型的服务的简要配置信息。作为本申请的一种示例，所述预设模板可以包括：预设模型的名称、预设模型的调用方法对应的文件路径、预设模型对外提供的访问端口、预设模型所需要的CPU资源量、预设模型所需要的内存资源量、预设模型所需要的GPU资源量、部署预设模型的服务节点等信息。用户可以在所述预设模板中填入相应的信息，从而得到所述服务配置模板信息。其后，在所述服务配置模板信息中，可以分别提取配置预设模型的所需要的模型配置信息以及采用容器方式部署所述预设模型所需要的容器部署配置信息，便于为预设模型的快速部署进行准备。

在具体实现中，部署预设模型的服务节点，可以基于所述服务配置模板信息中用户填写的信息确定，也可以由云服务器集群根据用户所在位置，为用户确定至少一个连接速度快的服务节点，本申请对此不做限制。

在具体实现中，所述服务节点可以同时运行若干基于预设模型的服务，从而所述服务配置模板信息中的对外访问端口可能已经被占用，此时可以将所述基于预设模型的服务的对外访问端口自适应地修改为其他可用的端口。

步骤203，采用所述模型配置信息，确定所述基于预设模型的服务对应的依赖库；

在本申请实施例中，所述预设模型可以为运行所述基于预设模型的服务所需要的模型。可以基于所述模型配置信息，确定所述基于预设模型的服务所需要的模型，并确定以及所述服务节点运行所述预设模型所需要的依赖库。

在具体实现中，可以基于所述模型配置信息，确定所述基于预设模型的服务所需要的预设模型，并进一步确定所述模型配置信息指定的模型载入路径、载入方法、基于预设模型的服务的输入数据格式以及输出数据格式。其后，可以基于所述预设模型、模型载入路径、载入方法、基于预设模型的服务的输入数据格式以及输出数据格式等信息，以及服务节点中的资源情况、运行环境等信息，确定运行所述预设模型所需要依赖库。

步骤204，采用所述依赖库以及所述模型配置信息，生成包含所述预设模型的镜像文件；

在本申请实施例中，可以采用所述依赖库以及所述模型配置信息，生成包含所述预设模型的镜像文件。所述镜像文件可以包括所述依赖库，还可以包括基于所述模型配置信息获取的预设模型。从而服务节点可以通过加载镜像文件，在一容器中加载所述依赖库以及加载所述预设模型，并通过所述预设模型对数据进行处理，实现基于预设模型的服务。

在本申请实施例中，所述服务节点可以同时运行至少一个容器，所述容器之间可以互不干扰。所述服务节点可以通过建立新的容器并在所述容器中加载所述镜像文件，实现基于预设模型的服务的快速部署。

在本申请的一种实施例中，所述采用所述依赖库以及所述模型配置信息，生成包含所述预设模型的镜像文件的步骤，包括：

S11，采用所述模型配置信息，确定所述预设模型的模型调用文件；

在本申请实施例中，所述模型配置信息可以包括模型调用文件的名称、调用路径等信息，从而可以采用所述模型配置信息，确定所述基于预设模型的服务所要使用的所述预设模型的模型调用文件。所述模型调用文件可以包括了预设模型的存储位置、载入方法、所述预设模型的数据输入格式以及数据输出格式等信息。

S12，创建针对所述模型调用文件的调用接口信息；

在本申请实施例中，可以创建针对所述模型调用文件的调用接口信息，以通过所述调用接口信息生成所述模型调用文件的调用接口，并通过所述调用接口启动所述模型调用文件，从而可以采用接口调用的方式使用所述基于预设模型的服务，使所述基于预设模型的服务可以具有一定的独立性，便于快速调用所述基于预设模型的服务，以及所述基于预设模型的服务的后续更新、扩展等需求。

在具体实现中，可以采用Restful API(Representational State TransferApplication Programming Interface，表征性状态转移接口)构建器创建针对所述模型调用文件的调用接口信息，使所述模型调用文件可以以Restful API的形式启动。基于容器技术以及Restful API，可以将所述基于预设模型的服务构建为微服务架构，使所述基于预设模型的服务可以具有一定的独立性，便于快速调用所述基于预设模型的服务，以及所述基于预设模型的服务的后续更新、扩展等需求。

S13，采用所述依赖库，所述调用接口信息、以及所述模型调用文件，生成包含所述预设模型的包含所述预设模型的镜像文件。

在本申请实施例中，可以采用所述依赖库，所述调用接口信息、以及所述模型调用文件生成包含所述预设模型的镜像文件。具体地，可以采用所述依赖库，生成镜像构建文件，并将所述调用接口信息加入所述镜像构建文件中。其后，可以采用所述镜像构建文件以及所述模型调用文件，生成镜像文件。所述镜像文件中可以包括依赖库、调用接口信息，还可以包括基于所述模型调用文件获取的预设模型，或者包括基于所述模型调用文件获取的预设模型的调用路径，从而在加载镜像文件时可以基于所述预设模型的调用路径获取所述预设模型。

步骤205，采用所述容器部署配置信息，生成适配预设的服务节点的运行环境部署文件；

在本申请实施例中，可以基于所述服务节点的资源情况、运行环境等因素，采用所述容器部署配置信息，生成适配所述服务节点的运行环境部署文件。所述运行环境部署文件可以用于描述在服务节点中运行所述基于预设模型的服务所需要的环境以及所述镜像文件的加载方式，从而所述服务节点可以采用所述运行环境部署文件准备运行环境。

在本申请的一种实施例中，所述采用所述容器部署配置信息，生成适配预设的服务节点的运行环境部署文件的步骤，包括：

S21，解析所述容器部署配置信息，确定所述基于预设模型的服务对应的运行需求资源信息；

在本申请实施例中，所述容器部署配置信息可以包括预设模型所需要的CPU资源量、预设模型所需要的内存资源量、预设模型所需要的GPU资源量、部署预设模型的服务节点等信息。可以通过解析所述容器部署配置信息，确定所述预设服务对应的运行需求资源信息。所述运行需求资源信息可以为服务节点运行所述预设服务所要准备的资源的信息。

S22，采用所述运行需求资源信息，生成适配预设的服务节点的运行环境部署文件。

在本申请实施例中，可以根据所述服务节点的运行情况，采用所述运行需求资源信息，生成适配预设的服务节点的运行环境部署文件。所述运行环境部署文件可以用于描述在服务节点中运行所述基于预设模型的服务所需要的环境、资源量以及所述镜像文件的加载方式，从而所述服务节点可以采用所述运行环境部署文件准备运行环境，并为所述基于预设模型的服务准备相应的运算资源。

在本申请实施例中，用户可以采用所述服务配置模板信息，在服务节点中快速生成在服务节点运行基于预设模型的服务的所需的镜像文件以及运行环境部署文件。特别是对于在边缘服务节点运行基于预设模型的服务的情况下，由于边缘服务节点数量多，资源情况各不相同，通过所述服务配置模板信息，可以高效地生成适配所述边缘服务节点的镜像文件以及运行环境部署文件，便于在边缘服务节点快速部署基于预设模型的服务。

步骤206，采用所述镜像文件以及所述运行环境部署文件，在预设的服务节点运行所述基于所述预设模型的服务。

在本申请实施例中，可以采用所述镜像文件以及所述运行环境部署文件，在预设的服务节点运行基于所述预设模型的服务，从而实现在服务节点快速部署基于预设模型的服务。

在具体实现中，可以采用所述运行环境部署文件，准备运行所述基于预设模型的服务所需要的环境。例如，在所述服务节点中准备所述基于预设模型的服务所需要CPU资源量、内存资源量、GPU资源量，设置镜像文件的加载方式、生命周期等。其后，所述服务节点可以加载所述镜像文件，从而加载运行所述预设模型所需要的数据以及预设模型，从而实现在所述服务节点中加载所述基于预设模型的服务。

作为本申请的一种示例，图3为一种服务运行方法实施例的流程示意图。可以获取所述用户发送的服务配置模板信息301，所述服务配置模板信息301可以为：

其中，name:image-classifier表示服务配置模板信息301的标题为为图像分类。Predictor表示模型相关信息，其中path:ImageClassifier.py表示图形分类模型对应的文件路径为ImageClassifier.py；model_name:ImageClassifier表示模型名称为图片分类；api_port:5000表示API接口为5000。compute表示计算资源相关信息，其中cpu:2表示cpu需求量为2；mem:4G表示内存需求量为4G。region表示基于预设模型的服务所要部署的服务节点，其中beijing-cmcc表示北京移动，beijing-unicom表示北京联通，beijing-telecom表示北京电信。

可以读取所述服务配置模板信息301，并从所述服务配置模板信息提取得到所述模型配置信息302以及容器部署配置信息303。其中，predictor下所属的path、model_name、api_port信息可以为模型配置信息，compute下所属的cpu信息、mem信息，以及region可以为容器部署配置信息。

其后，可以解析所述模型配置信息302，确定所述基于预设模型的服务对应的依赖库以及模型调用文件，并采用Restful API构建器304以及所述模型调用文件，创建针对所述模型调用文件的调用接口信息。所述调用接口信息可以包括API启动命令信息，便于其后采用API启动命令调用所述模型调用文件，从而调用预设模型处理所述基于预设模型的服务。可以采用所述依赖库，生成镜像构建文件305，并将所述调用接口信息加入所述镜像构建文件305中。其后，可以采用所述镜像构建文件305以及所述模型调用文件，生成镜像文件306。

与此同时，可以解析所述容器部署配置信息303，确定所述基于预设模型的服务对应的运行需求资源信息，并采用所述运行需求资源信息，生成适配预设的服务节点的运行环境部署文件307。

所述服务节点可以采用采用所述镜像文件306以及所述运行环境部署文件307，运行基于预设模型的服务308，实现在所述服务节点中快速加载所述基于预设模型的服务308。

在本申请的一种实施例中，所述服务节点包括边缘服务节点；

所述采用所述镜像文件以及所述运行环境部署文件，在预设的服务节点运行基于所述预设模型的服务的步骤，包括：

S31，采用所述镜像文件以及所述运行环境部署文件，在预设的边缘服务节点运行基于所述预设模型的服务。

在本申请实施例中，服务器可以组成云服务器集群，云服务器集群可以包括若干分布于不同地点的服务节点。所述服务节点可以由至少一个服务器组成。服务节点可以包括中心服务节点以及边缘服务节点。中心服务节点可以更加接近云服务集群的管理者，便于管理者通过中心服务节点对云服务集群进行管理，并提供更高的运算能力。边缘服务节点可以更加接近云服务集群的用户，便于用户可以更快地访问服务节点中提供的服务。

在本申请实施例中，为了提高用户访问所述基于预设模型的服务，可以将所述基于预设模型的服务设置于边缘服务节点中。但是，由于边缘服务节点的资源情况各不相同，因此，较难简单地在边缘服务节点直接部署所述基于预设模型的服务。而需要人工根据边缘服务节点不同的情况，在边缘服务节点设置预设模型的运行环境、设置调用接口以及依赖库等，工作较为繁琐。

在本申请实施例，可以获取用户发送的服务配置模板信息，采用所述服务配置模型信息，生成包含预设模型的镜像文件以及运行环境部署文件。其后，可以采用所述镜像文件以及所述运行环境部署文件，在预设的边缘服务节点运行基于所述预设模型的服务。从而可以通过所述镜像文件以及所述运行环境部署文件，实现在边缘服务节点快速部署并运行所述基于预设模型的服务，降低了在边缘服务节点部署所述基于预设模型的服务的难度，使普通用户可以简单地完成在边缘服务节点中部署所述基于预设模型的服务。

其后，可以通过部署在所述边缘服务节点的所述基于预设模型的服务，为用户提供快速的人脸检测、语音识别、文本分类等服务，可以进一步提高基于预设模型的服务效率。

通过本申请实施例的服务运行方法，在所述服务配置模板信息中，提取模型配置信息以及容器部署配置信息，采用模型配置信息生成镜像文件，采用容器部署配置信息生成运行环境部署文件，并采用所述镜像文件以及所述运行环境部署文件，在预设的服务节点运行所述基于预设模型的服务。从而可以采用服务配置模板信息，实现基于预设模型的服务的镜像文件以及运行环境部署文件的快速生成，并实现基于预设模型的服务的快速部署以及运行，提高了基于预设模型的服务的部署以及运行效率。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。

参照图4，示出了本申请的一种服务运行装置实施例的结构框图，具体可以包括如下模块：

获取模块401，用于获取用户发送的服务配置模板信息；

生成模块402，用于采用所述服务配置模板信息，生成包含预设模型的镜像文件以及运行环境部署文件；

运行模块403，用于采用所述镜像文件以及所述运行环境部署文件，在预设的服务节点运行基于所述预设模型的服务。

在本申请的一种实施例中，所述生成模块包括：

提取子模块，用于在所述服务配置模板信息中，提取模型配置信息以及容器部署配置信息；

确定子模块，用于采用所述模型配置信息，确定所述基于预设模型的服务对应的依赖库；

第一生成子模块，用于采用所述依赖库以及所述模型配置信息，生成包含所述预设模型的镜像文件；

第二生成子模块，用于采用所述容器部署配置信息，生成适配预设的服务节点的运行环境部署文件。

在本申请的一种实施例中，所述第一生成子模块的步骤，包括：

确定单元，用于采用所述模型配置信息，确定预设模型的模型调用文件；

创建单元，用于创建针对所述模型调用文件的调用接口信息；

第一生成单元，用于采用所述依赖库，所述调用接口信息、以及所述模型调用文件，生成包含所述预设模型的镜像文件。

在本申请的一种实施例中，所述第二生成子模块包括：

解析单元，用于解析所述容器部署配置信息，确定所述基于预设模型的服务对应的运行需求资源信息；

第二生成单元，用于采用所述运行需求资源信息，生成适配预设的服务节点的运行环境部署文件。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在本申请的一种实施例中，所述服务节点包括边缘服务节点；

所述运行模块包括：

运行子模块，用于采用所述镜像文件以及所述运行环境部署文件，在预设的边缘服务节点运行基于所述预设模型的服务。

本申请实施例还提供了一种装置，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行本申请实施例所述的方法。

本申请实施例还提供了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行本申请实施例所述的方法。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种服务运行方法和一种服务运行装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。