一种跨集群的任务发布方法、装置、电子设备及存储介质

技术领域

本申请涉及数据开发技术领域，尤其是涉及一种跨集群的任务发布方法、装置、电子设备及存储介质。

背景技术

随着社会的发展和科技的进步，在日常的开发过程中，开发人员往往是在测试集群环境进行数据加工的开发，然后在生产环境发布，而当开发人员将加工后的数据在生产环境中发布时，需要重新将所有的脚本传到生产集群中，然后重新进行相关的工作流以及调度等配置，这样无形中大大增加了劳动力。

目前，市场上所使用的对开发出的数据任务进行发布的方式大多分为两部分，一部分为基于离线的数据任务去实现数据的发布，一部分为基于docker或者maven编译等指定的环境等进行整体的软件发布，然而这两种情况的任务发布方式仍存在一定的弊端，如在基于离线的数据任务去实现数据任务发布的方式中，会要求开发集群大多为的统一用户，这样会造成任务发布的单一性，而基于docker或者maven编译等指定的环境等进行整体的软件发布的方式中，发布的任务会受到发布环境的限制，当强行进行跨环境的发布时，会出现任务在不同的环境中不兼容的问题，这会大大的降低开发人员在集群环境中发布任务的效率。

发明内容

有鉴于此，本申请的目的在于提供一种跨集群的任务发布方法、装置、电子设备及存储介质，本申请通过在保证来源集群的集群环境与目标集群的集群环境一致的情况下，将具有目标集群用户权限的目标用户发布的任务发布请求中携带的任务的版本信息，确定为发布任务的目标版本，并在目标集群中发布所述目标版本的任务，既实现了跨集群的任务发布，降低了任务在不同集群中的兼容问题，又实现了可以通过用户权限发布任务的目标版本，大大的增加了任务发布的多样性，在降低了开发人员劳动力的同时，提高了发布版本的准确率和效率。

本申请主要包括以下几个方面：

第一方面，本申请实施例提供了一种跨集群的任务发布方法，所述方法包括：

在接收到目标用户针对目标集群的任务发布请求时，确定所述目标用户的来源集群的集群环境与所述目标集群的集群环境是否一致；

若一致，判断所述目标用户是否具有所述目标集群的用户权限；

若具有所述用户权限，根据所述任务发布请求中携带的任务的版本信息，确定在所述目标集群上发布的所述任务的目标版本，并在所述目标集群中发布所述目标版本的任务。

在一种可能的实施方式中，通过以下方式确定所述目标用户的来源集群的集群环境与所述目标集群的集群环境是否一致：

校验所述来源集群中的配置文件与所述目标集群中的配置文件是否相匹配，以及校验所述来源集群中的相关组件环境与所述目标集群中的相关组件环境是否一致。

在一种可能的实施方式中，所述校验所述来源集群中的配置文件与所述目标集群中的配置文件是否相匹配，包括：

若所述来源集群中的配置文件与所述目标集群中配置文件满足预设匹配规则，则确定所述来源集群中的配置文件与所述目标集群中配置文件相匹配。

在一种可能的实施方式中，所述根据所述任务发布请求中携带的任务的版本信息，确定在所述目标集群上发布的所述任务的目标版本，并在所述目标集群中发布所述目标版本的任务，包括：

根据所述任务发布请求中携带的任务的版本信息，判断所述目标集群上是否存在所述版本信息；

若存在，则确定所述目标集群上的所述版本信息为最新版本信息，并将所述版本信息对应的任务版本确定为所述目标版本，在所述目标集群中发布所述目标版本的任务。

在一种可能的实施方式中，所述在所述目标集群中发布所述目标版本的任务之后，所述任务发布方法还包括：

根据所述任务的所述目标版本以及预设映射规则，将所述目标版本中的元数据信息同步更新至所述目标集群中。

在一种可能的实施方式中，所述任务发布方法还包括：

在接收到目标用户针对目标集群中指定版本的任务的回退请求时，对所述指定版本的任务进行回退处理；

若确定回退处理需由目标集群的集群环境变更到来源集群的集群环境，则删除当前所述目标集群中所述任务的所述指定版本以及与所述指定版本对应的元数据信息。

第二方面，本申请实施例还提供了一种跨集群的任务发布装置，所述装置包括：

确定模块，用于在接收到目标用户针对目标集群的任务发布请求时，确定所述目标用户的来源集群的集群环境与所述目标集群的集群环境是否一致；

判断模块，用于若一致，判断所述目标用户是否具有所述目标集群的用户权限；

发布模块，用于若具有所述用户权限，根据所述任务发布请求中携带的任务的版本信息，确定在所述目标集群上发布的所述任务的目标版本，并在所述目标集群中发布所述目标版本的任务。

在一种可能的实施方式中，通过以下方式确定模块中所述目标用户的来源集群的集群环境与所述目标集群的集群环境是否一致：

校验所述来源集群中的配置文件与所述目标集群中的配置文件是否一致，以及校验所述来源集群中的相关组件环境与所述目标集群中的相关组件环境是否一致。

第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的任务发布方法的步骤。

第四方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的任务发布方法的步骤。

本申请实施例提供的跨集群的任务发布方法及装置，与现有技术中的任务发布方法相比，本申请通过在保证来源集群的集群环境与目标集群的集群环境一致的情况下，将具有目标集群用户权限的目标用户发布的任务发布请求中携带的任务的版本信息，确定为发布任务的目标版本，并在目标集群中发布所述目标版本的任务，既实现了跨集群的任务发布，降低了任务在不同集群中的兼容问题，又实现了可以通过用户权限发布任务的目标版本，大大的增加了任务发布的多样性，在降低了开发人员劳动力的同时，提高了发布版本的准确率和效率。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种跨环境的任务发布方法的流程图；

图2示出了本申请实施例所提供的另一种跨环境的任务发布方法的流程图；

图3示出了本申请实施例所提供的一种跨环境的任务发布装置的结构示意图；

图4示出了本申请实施例所提供的一种电子设备的结构示意图。

图中：

300-任务发布装置；310-确定模块；320-判断模块；330-发布模块；340-回退模块；350-处理模块；400-电子设备；410-处理器；420-存储器；430-总线。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。

经研究发现，目前，市场上所使用的对开发出的数据任务进行发布的方式大多分为两部分，一部分为基于离线的数据任务去实现数据的发布，一部分为基于docker或者maven编译等指定的环境等进行整体的软件发布，然而这两种情况的任务发布方式仍存在一定的弊端，如在基于离线的数据任务去实现数据任务发布的方式中，会要求开发集群大多为的统一用户，这样会造成任务发布的单一性，而基于docker或者maven编译等指定的环境等进行整体的软件发布的方式中，发布的任务会受到发布环境的限制，当强行进行跨环境的发布时，会出现任务在不同的环境中不兼容的问题，这会大大的降低开发人员在集群环境中发布任务的效率。

基于此，本申请实施例提供了一种跨环境的任务发布方法，通过在保证来源集群的集群环境与目标集群的集群环境一致的情况下，将具有目标集群用户权限的目标用户发布的任务发布请求中携带的任务的版本信息，确定在目标集群上发布的任务的目标版本，并在目标集群中发布所述目标版本的任务，即实现了跨集群的任务发布，又实现了可以通过用户权限发布任务的目标版本，在降低了开发人员劳动力的同时，提高了发布版本的准确率和效率。

请参阅图1，图1为本申请实施例所提供的一种跨环境的任务发布方法的流程图。所如图1中所示，本申请实施例提供的一种跨环境的任务发布方法，包括以下步骤：

S101、在接收到目标用户针对目标集群的任务发布请求时，确定所述目标用户的来源集群的集群环境与所述目标集群的集群环境是否一致。

该步骤中，当目标用户(即开发的工作人员)需要在目标集群上发布测试的任务时，需要首先向所述目标集群发送针对目标集群的任务发布请求，并通过所述任务发布请求确定所述目标用户的来源集群的集群环境与所述目标集群的集群环境是否一致，只有在所述目标用户的来源集群的集群环境与所述目标集群的集群环境一致的基础上，才可以进行跨环境以及跨集群的任务发布。

这里，所述来源集群的集群环境可具体为所述目标用户在任务发布过程中使用到的测试环境，所述标集群的集群环境可具体为所述目标用户在任务发布过程中使用到的生产环境。

其中，若所述目标用户的来源集群的集群环境与所述目标集群的集群环境不一致，则无法进行跨环境以及跨集群的任务发布，需要所述目标用户(即开发人员)重新校验两个集群的集群环境，使得两个集群的集群环境一致。

进一步的，通过以下方式确定所述目标用户的来源集群的集群环境与所述目标集群的集群环境是否一致：

校验所述来源集群中的配置文件与所述目标集群中的配置文件是否相匹配，以及校验所述来源集群中的相关组件环境与所述目标集群中的相关组件环境是否一致。

这里，所述判断所述目标用户的来源集群的集群环境与所述目标集群的集群环境是否一致的标准由两部分组成，一部分为对所述来源集群中的配置文件与所述目标集群中的配置文件进行校验，另一部分为所述来源集群中的相关组件环境与所述目标集群中的相关组件环境进行校验。

其中，所述来源集群中的配置文件与所述目标集群中的配置文件可具体包含有两种集群中各个工作流中的节点类型、集群中的本地存储目录、集群中的hdfs存储目录、以及标集群的所述目标用户的用户权限；所述判断来源集群中的相关组件环境与所述目标集群中的相关组件环境是否一致可具体所述目标集群和所述来源集群中所拥有的组件是否一致。如：判断hive、spark、hdfs等环境组件是否正常可用。

进一步的，所述校验所述来源集群中的配置文件与所述目标集群中的配置文件是否相匹配，包括：

若所述来源集群中的配置文件与所述目标集群中配置文件满足预设匹配规则，则确定所述来源集群中的配置文件与所述目标集群中配置文件相匹配。

这里，所述预设匹配规则为指示所述目标集群中配置文件与所述来源集群中的配置文件之间的key值，所述目标集群中配置文件通过所述key值与所述来源集群中的配置文件进行一一对应，当对应到所述来源集群中的配置文件存在所述目标集群中配置文件关于所述key值相对应的配置文件，确定所述来源集群中的配置文件与所述目标集群中配置文件相匹配。

其中，如所述来源集群中的配置文件的日志目录为logs＝/tmp/test/dir，根据所述key值，在所述目标群的配置文件中存在logs＝/tmp/pro/dir，则说明关于logs的所述来源集群中的配置文件与所述目标集群中配置文件相匹配，即/tmp/test/dir->/tmp/pro/dir。

S102、若一致，判断所述目标用户是否具有所述目标集群的用户权限。

该步骤中，若所述来源集群中的配置文件与所述目标集群中的配置文件满足匹配规则后，以及所述来源集群中的相关组件环境与所述目标集群中的相关组件环境一致后，获取所述目标用户的所述用户权限。

其中，由于不同的开发人员或者所述目标用户拥有不同的开发权限，并且所述目标用户对应的所述目标集群的操作权限不同，因此，首先获取用户权限，进行所述来源集群的集群环境与所述目标集群的集群环境两个环境中的用户权限的检查。

具体的，如在以测试环境为代表的所述来源集群的集群环境检测存在的所述目标用户，判断在以生产环境为代表的所述目标集群的集群环境上是否存在所述目标用户的所述用户限权。

S103、若具有所述用户权限，根据所述任务发布请求中携带的任务的版本信息，确定在所述目标集群上发布的所述任务的目标版本，并在所述目标集群中发布所述目标版本的任务。

该步骤中，若所述目标集群的集群环境上存在所述用户限权，进行后续版本的选择，根据所述任务发布请求中携带的任务的版本信息，确定在所述目标集群上发布的所述任务的目标版本，并在所述目标集群中发布所述目标版本的任务。

这样，若所述目标集群的集群环境上不存在所述用户限权，需要所述目标用户同步将在所述来源集群的集群环境中的所述用户限权同步至所述目标集群的集群环境上，在进行版本的选择。

进一步的，所述任务发布方法还包括：在接收到目标用户针对目标集群中指定版本的任务的回退请求时，对所述指定版本的任务进行回退处理。

这里，在接收到目标用户针对目标集群中指定版本的任务的回退请求时，根据所述回退请求，将当前的版本退回到所述指定版本。

若确定回退处理需由目标集群的集群环境变更到来源集群的集群环境，则删除当前所述目标集群中所述任务的所述指定版本以及与所述指定版本对应的元数据信息。

这里，当所述回退请求中回退的指定版本需由目标集群的集群环境变更到来源集群的集群环境时，删除当前所述目标集群中所述任务的当前的版本以及与所述当前版本对应的元数据信息，并将所述任务的所述指定版本以及所述指定版本对应的元数据信息进行同步。

其中，若所述回退请求中回退的指定版本无需由目标集群的集群环境变更到来源集群的集群环境时，则滚动指定版本即可。

本申请实施例提供的跨集群的任务发布方法，通过在保证来源集群的集群环境与目标集群的集群环境一致的情况下，将具有目标集群用户权限的目标用户发布的任务发布请求中携带的任务的版本信息，确定为发布任务的目标版本，并在目标集群中发布所述目标版本的任务，既实现了跨集群的任务发布，降低了任务在不同集群中的兼容问题，又实现了可以通过用户权限发布任务的目标版本，大大的增加了任务发布的多样性，在降低了开发人员劳动力的同时，提高了发布版本的准确率和效率，且本申请支持跨集群的版本回退发布以及基于用户权限的指定版本发布。

请参阅图2，图2为本申请另一实施例提供的跨环境的任务发布方法的流程图。如图2中所示，本申请实施例提供的跨环境的任务发布法，包括：

S201、在接收到目标用户针对目标集群的任务发布请求时，确定所述目标用户的来源集群的集群环境与所述目标集群的集群环境是否一致。

S202、若一致，判断所述目标用户是否具有所述目标集群的用户权限。

其中，S201至S202的描述可以参照S101至S102的描述，并且能达到相同的技术效果，对此不做赘述。

S203、若具有所述用户权限，根据所述任务发布请求中携带的任务的版本信息，判断所述目标集群上是否存在所述版本信息。

该步骤中，若所述目标集群的集群环境上存在所述用户限权，根据所述任务发布请求中携带的任务的版本信息，判断所述目标集群上是否存在所述版本信息，并根据所述判断结果，对所述版本信息进行选择。

S204、若存在，则确定所述目标集群上的所述版本信息为最新版本信息，并将所述版本信息对应的任务版本确定为所述目标版本，在所述目标集群中发布所述目标版本的任务。

该步骤中，若所述目标集群上存在所述版本信息，确定所述目标集群上的所述版本信息为最新版本信息，并将所述版本信息对应的任务版本确定为所述目标版本，在所述目标集群中发布所述目标版本的任务。

这里，若所述目标集群上不存在所述版本信息，则初始化所述版本信息，初始版本表示为v000001版本。

进一步的，所述在所述目标集群中发布所述目标版本的任务之后，所述任务发布方法还包括：

根据所述任务的所述目标版本以及预设映射规则，将所述目标版本中的元数据信息同步更新至所述目标集群中。

这里，首先获取不同所述目标版本之间的预设映射规则，其次，所述元数据包括所述目标所有信息和资源包括脚本，文件，shell，hql等信息全部存储，所以，在配置完相应的用户和需要的版本之后，结合所述目标版本之间的预设映射规则，将所述目标版本中的元数据信息同步更新至所述目标集群中，保证目标集群中的文件的配置和元数据资源配置的一致性。

其中，若为hdfs目录则使用hadoop distcp进行复制，若为本地文件，使用ftp服务器进行复制。如若中间发生错误，会自动发送邮件给所述目标用户。

本申请实施例提供的任务发布方法，与现有技术中的任务发布方法相比，本申请通过在保证来源集群的集群环境与目标集群的集群环境一致的情况下，将具有目标集群用户权限的目标用户发布的任务发布请求中携带的任务的版本信息，确定为发布任务的目标版本，并在目标集群中发布所述目标版本的任务，既实现了跨集群的任务发布，降低了任务在不同集群中的兼容问题，又实现了可以通过用户权限发布任务的目标版本，大大的增加了任务发布的多样性，在降低了开发人员劳动力的同时，提高了发布版本的准确率和效率。

请参阅图3，图3为本申请实施例所提供的一种跨环境的任务发布装置的结构示意图。如图3中所示，所述任务发布装置300包括：

确定模块310，用于在接收到目标用户针对目标集群的任务发布请求时，确定所述目标用户的来源集群的集群环境与所述目标集群的集群环境是否一致。

进一步的，通过以下方式确定确定模块310中所述目标用户的来源集群的集群环境与所述目标集群的集群环境是否一致：

校验所述来源集群中的配置文件与所述目标集群中的配置文件是否相匹配，以及校验所述来源集群中的相关组件环境与所述目标集群中的相关组件环境是否一致。

进一步的，所述校验所述来源集群中的配置文件与所述目标集群中的配置文件是否相匹配，包括：

若所述来源集群中的配置文件与所述目标集群中配置文件满足预设匹配规则，则确定所述来源集群中的配置文件与所述目标集群中配置文件相匹配。

判断模块320，用于若一致，判断所述目标用户是否具有所述目标集群的用户权限。

发布模块330，用于若具有所述用户权限，根据所述任务发布请求中携带的任务的版本信息，确定在所述目标集群上发布的所述任务的目标版本，并在所述目标集群中发布所述目标版本的任务。

进一步的，所述发布模块330中根据所述任务发布请求中携带的任务的版本信息，确定在所述目标集群上发布的所述任务的目标版本，并在所述目标集群中发布所述目标版本的任务，包括：

根据所述任务发布请求中携带的任务的版本信息，判断所述目标集群上是否存在所述版本信息。

若存在，则确定所述目标集群上的所述版本信息为最新版本信息，并将所述版本信息对应的任务版本确定为所述目标版本，在所述目标集群中发布所述目标版本的任务。

进一步的，所述在所述目标集群中发布所述目标版本的任务之后，所述任务发布方法还包括：

根据所述任务的所述目标版本以及预设映射规则，将所述目标版本中的元数据信息同步更新至所述目标集群中。

回退模块340。用于在接收到目标用户针对目标集群中指定版本的任务的回退请求时，对所述指定版本的任务进行回退处理。

处理模块350，用于若确定回退处理需由目标集群的集群环境变更到来源集群的集群环境，则删除当前所述目标集群中所述任务的所述指定版本以及与所述指定版本对应的元数据信息。

本申请实施例提供的任务发布装置300，与现有技术中的任务发布装置相比，本申请通过在保证来源集群的集群环境与目标集群的集群环境一致的情况下，将具有目标集群用户权限的目标用户发布的任务发布请求中携带的任务的版本信息，确定为发布任务的目标版本，并在目标集群中发布所述目标版本的任务，既实现了跨集群的任务发布，降低了任务在不同集群中的兼容问题，又实现了可以通过用户权限发布任务的目标版本，大大的增加了任务发布的多样性，在降低了开发人员劳动力的同时，提高了发布版本的准确率和效率。

请参阅图4，图4为本申请实施例所提供的一种电子设备400的结构示意图。如图4中所示，所述电子设备400包括处理器410、存储器420和总线430，所述存储器420存储有所述处理器410可执行的机器可读指令，当电子设备400运行时，所述处理器410与所述存储器420之间通过所述总线430进行通信，所述机器可读指令被所述处理器410运行时执行如上述实施例中任一所述的任务发布方法的步骤。

具体地，所述机器可读指令被所述处理器410执行时可以执行如下处理：

在接收到目标用户针对目标集群的任务发布请求时，确定所述目标用户的来源集群的集群环境与所述目标集群的集群环境是否一致。

若一致，判断所述目标用户是否具有所述目标集群的用户权限。

若具有所述用户权限，根据所述任务发布请求中携带的任务的版本信息，确定在所述目标集群上发布的所述任务的目标版本，并在所述目标集群中发布所述目标版本的任务。

本申请通过在保证来源集群的集群环境与目标集群的集群环境一致的情况下，将具有目标集群用户权限的目标用户发布的任务发布请求中携带的任务的版本信息，确定为发布任务的目标版本，并在目标集群中发布所述目标版本的任务，既实现了跨集群的任务发布，降低了任务在不同集群中的兼容问题，又实现了可以通过用户权限发布任务的目标版本，大大的增加了任务发布的多样性，在降低了开发人员劳动力的同时，提高了发布版本的准确率和效率。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器410运行时可以执行如上述图1以及图2所示方法实施例中的任务发布方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。