一种多云多地数据处理方法、平台搭建方法及系统

技术领域

本申请涉及云计算技术领域，尤其涉及一种多云多地数据处理方法、平台搭建方法及系统。

背景技术

为保证面向异构多节点多云环境的高效适配方法的拓展性和灵活性，多云管理需要提供纳管第三方厂商提供的云平台的能力，也需要云平台能够支持标准化接口以便异构云的集成。

但现有的部署方式容易导致不同云平台因系统差异导致的不可预见的错误，兼容性较差，以及业务服务器压力较大，任务流转速度降低，增加了任务处理时间。

发明内容

鉴于此，本申请实施例提供了一种多云多地数据处理方法、平台搭建方法及系统，以消除或改善现有技术中存在的一个或更多个缺陷。

本发明的第一个实施例，一种多云多地数据处理方法，所述方法包括：

步骤101：用户使用客户端上传或者获取数据，会通过负载均衡器将请求转发至对应云平台业务服；

步骤102：所述平台业务服处理用户的请求，将数据使用兼容的SDK存储在MySql集群以及对象存储中，并且汇总用户所需的数据，进行返回；

步骤103：所述平台业务服针对用户上传的模型数据，进行二次处理，所述平台业务服将数据存储后，通过模块化后的定时任务模块，将其推送至管理服进行处理；

步骤104：当模型数据被处理完成以后，处理状态会在管理服统计，并且将结果再次通过所述定时任务模块同步至所述平台业务服；

步骤105：用户通过所述客户端查看转换以后的模型数据内容。

进一步的，所述步骤102具体为：

当数据传输到所述平台业务服，将数据通过高适配的SDK存储在MySql集群中，并且通过统一的接口调用查询，返回用户所需的数据。

进一步的，所述步骤103通过模块化后的定时任务模块，将其推送至管理服进行处理具体为：同一功能的多个模块，部署在同一内网中，使用云主机的内网以及容器化后的私网进行数据交互。

本发明的第二个实施例，一种多云多地数据处理平台搭建方法，所述方法包括：

步骤201：对各云平台搭建应用内网集群，根据各云平台的异构开启对外端口来提供服务，设置虚拟机进行持续运维工作，统一使用内网 ssh 通道进行集群内业务内容的部署；

步骤202：对所述各云平台统一的使用docker 容器技术部署，建立注册中心服务和其他业务使用容器内建的网络通信；

步骤203：将定时任务功能和同一功能的多个模块，部署在同一内网中，使用云主机的内网以及容器化后的私网进行数据交互；

步骤204：进行应用层面的二次封装，自定义接口规范，并且使用各自SDK 进行兼容实现，根据不同配置使用同一套接口上传到对应的云对象存储上；

步骤205：使用内部ORM以及配置，针对云商主从架构的服务，使用分表分库、读写分离方式，对只读延时备份的架构服务，采用主业务单库运行，其他业务使用集群功能。

本发明的第三个实施例，一种多云多地数据处理平台系统，所述系统包括：

搭建模块：对各云平台搭建应用内网集群，根据各云平台的异构开启对外端口来提供服务，设置虚拟机进行持续运维工作，统一使用内网 ssh 通道进行集群内业务内容的部署；

通信模块：对所述各云平台统一的使用docker 容器技术部署，建立注册中心服务和其他业务使用容器内建的网络通信；

功能化模块：将定时任务功能和同一功能的多个模块，部署在同一内网中，使用云主机的内网以及容器化后的私网进行数据交互；

接口模块：进行应用层面的二次封装，自定义接口规范，并且使用各自SDK 进行兼容实现，根据不同配置使用同一套接口上传到对应的云对象存储上；

数据库模块：使用内部ORM以及配置，针对云商主从架构的服务，使用分表分库、读写分离方式，对只读延时备份的架构服务，采用主业务单库运行，其他业务使用集群功能.

与现有技术相比，本发明的多云多地数据处理方法、平台搭建方法及系统，通过统一使用内网 ssh 通道进行集群内业务内容的部署，统一的使用docker 容器技术部署，建立服务和其他业务使用容器内建的网络通信，同一功能的多个模块部署在同一内网中，使用云主机的内网以及容器化后的私网进行数据交互，使用各自SDK 进行兼容实现，根据不同配置，使用同一套接口上传到对应的云对象存储上。可以解决不同云平台因系统差异导致的不可预见的错误，实现了兼容性较好、以及业务服务器压力较小，任务流转速度加快，减少了任务处理时间。

附图说明

图1为本发明第一实施例的流程图；

图2为本发明第二实施例的流程图；

图3为本发明第三实施例的模块结构示意图；

图4为本发明的对象存储架构结构示意图；

图5为本发明的统一接口结构示意图。

实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本申请，在附图中仅仅示出了与根据本申请的方案密切相关的结构和/或处理步骤，而省略了与本申请关系不大的其他细节。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。

在下文中，将参考附图描述本申请的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。

多云环境高效适配方法基于微服务架构设计理念，将多云管理功能进行了模块化拆分，主要分为核心模块、扩展模块，其中核心模块包括了多云管理的基础核心功能。多云适配器针对不同云平台的同类云服务进行抽象，对上层用户提供统一的资源操作接口，不同云平台可以是阿里云、AWSA、zure、OCI，其可以提供同类的云主机、云存储、云网络等云服务功能时，其具体实现方式和调用接口均不同，用户若直接对接不同云平台则需要分别开发相应云平台的服务调用接口。因此，原始的部署方式容易导致不同云平台因系统差异导致的不可预见的错误，兼容性较差，以及业务服务器压力较大，任务流转速度降低，增加了任务处理时间。

在不同云平台，搭建应用内网集群，并且针对性的开启对外端口来提供服务，同时设置一台虚拟机作为“堡垒机”进行持续运维工作，运维的方式为：统一使用内网 ssh 通道进行集群内业务内容的部署。这种方式可以兼容各个云平台，并且提高了资源安全性。

应用管理服务器：多个云平台，统一的使用docker 容器技术部署，并且“注册中心”服务和其他业务使用容器内建的网络通信，这种方式，避免了不同云平台因系统差异导致的不可预见的错误。

定时任务服务器：定时任务功能模块化，同一功能的多个模块，部署在同一内网中，使用云主机的内网以及容器化后的私网进行数据交互。这样，因云平台SDK不同导致的功能差异化的模块被隔离出来，进行兼容性处理。

结构化数据与对象数据存储：不同云平台的对象存储服务，对应各自不同的SDK，并且遵循的协议和对外链接也存在很大差异性，可以端上传文件的方式也不同。针对这种情况，进行应用层面的二次封装，自定义了接口规范，并且使用各自SDK 进行兼容实现，根据不同配置，使用同一套接口上传到对应的云对象存储上。

使用了云平台的MySql集群服务，因使用了分表分库功能，不同云商的集群服务也有所差异。使用内部ORM以及配置，针对云商主从架构的服务，使用分表分库、读写分离方式， 对只读延时备份的架构服务，采用主业务单库运行，其他业务使用集群功能。

应用启动：用户使用施工助手客户端（pc、app）上传或者获取数据，会通过负载均衡器将请求转发至对应云平台业务服，业务服会处理用户的请求，将数据使用兼容的SDK存储在MySql集群以及对象存储中，并且汇总用户所需的数据，进行返回；针对用户上传的模型数据，需要进行二次处理，业务服会将数据存储后，通过模块化后的定时任务模块，将其推送至管理服进行处理，当模型数据被处理完成以后，处理状态会在管理服统计，并且将结果再次通过定时任务模块同步至业务服，那么用户通过客户端即可查看转换以后的模型数据内容。

数据流转与数据存储：用户通过客户端提交的非文件类的数据，当数据传输到业务服，会将数据通过高适配的SDK存储在MySql集群中，并且通过统一的接口调用查询，返回用户所需的数据。

当用户提交的是模型数据，那么业务服会将使用自定义SDK将数据存储在配置的“对象存储”中，并且“定时任务”模块会将其流转到后续服务中进行处理，并且各云平台“对象存储”在其内网中是有高速网络通道，SDK兼容各平台，使得任务会适配其云服务选择对应的内网通道。这种通过“对象存储”流转大文件的方式，很大程度上减少了业务服务器压力，并且提高了任务流转速度，降低了任务处理时间。

对于用户提交的图片、pdf等文件，业务服会临时授权给客户端，这些资源是被存放在“对象存储”中，因临时授权方式的不同，使用兼容的SDK进行适配，实现了统一的“临时授权”功能，让接口更有规范，并且可适配不同的需求，比如 CDN功能等。

具体通过下述实施例进行详细说明。

基于此，本申请实施例提供一种多云多地数据处理方法，参见图1，所述多云多地数据处理方法具体包含有如下内容：

步骤101：用户使用客户端上传或者获取数据，会通过负载均衡器将请求转发至对应云平台业务服。用户使用施工助手客户端（pc、app）上传或者获取数据，会通过负载均衡器将请求转发至对应云平台业务服。

步骤102：所述平台业务服处理用户的请求，将数据使用兼容的SDK存储在MySql集群以及对象存储中，并且汇总用户所需的数据，进行返回。

步骤103：所述平台业务服针对用户上传的模型数据，进行二次处理，所述平台业务服将数据存储后，通过模块化后的定时任务模块，将其推送至管理服进行处理。

步骤104：当模型数据被处理完成以后，处理状态会在管理服统计，并且将结果再次通过所述定时任务模块同步至所述平台业务服。

步骤105：用户通过所述客户端查看转换以后的模型数据内容。

用户通过客户端提交的非文件类的数据，当数据传输到业务服，会将数据通过高适配的SDK存储在MySql集群中，并且通过统一的接口调用查询，返回用户所需的数据。

当用户提交的是模型数据，那么业务服会将使用自定义SDK将数据存储在配置的“对象存储”中，并且“定时任务”模块会将其流转到后续服务中进行处理，并且各云平台“对象存储”在其内网中是有高速网络通道，SDK兼容各平台，使得任务会适配其云服务选择对应的内网通道。这种通过“对象存储”流转大文件的方式，很大程度上减少了业务服务器压力，并且提高了任务流转速度，降低了任务处理时间。

对于用户提交的图片、pdf等文件，业务服会临时授权给客户端，这些资源是被存放在“对象存储”中，因临时授权方式的不同，使用兼容的SDK进行适配，实现了统一的“临时授权”功能，让接口更有规范，并且可适配不同的需求，比如 CDN功能等。

而本申请实施例提供一种多云多地数据处理平台搭建方法，参见图2，所述多云多地数据处理平台搭建方法具体包含有如下内容：

步骤201：对各云平台搭建应用内网集群，根据各云平台的异构开启对外端口来提供服务，设置虚拟机进行持续运维工作，统一使用内网 ssh 通道进行集群内业务内容的部署。

在不同云平台，搭建应用内网集群，并且针对性的开启对外端口来提供服务，同时设置一台虚拟机作为“堡垒机”进行持续运维工作，运维的方式为：统一使用内网 ssh 通道进行集群内业务内容的部署。上述手段可以可以兼容各个云平台，并且提高了资源安全性。

步骤202：对所述各云平台统一的使用docker 容器技术部署，建立注册中心服务和其他业务使用容器内建的网络通信。

多个云平台，统一的使用docker 容器技术部署，并且“注册中心”服务和其他业务使用容器内建的网络通信。上述手段可以避免了不同云平台因系统差异导致的不可预见的错误。

步骤203：将定时任务功能和同一功能的多个模块，部署在同一内网中，使用云主机的内网以及容器化后的私网进行数据交互。

定时任务功能模块化，同一功能的多个模块，部署在同一内网中，使用云主机的内网以及容器化后的私网进行数据交互。这样，因云平台SDK不同导致的功能差异化的模块被隔离出来，进行兼容性处理。

步骤204：进行应用层面的二次封装，自定义接口规范，并且使用各自SDK 进行兼容实现，根据不同配置使用同一套接口上传到对应的云对象存储上。

不同云平台的对象存储服务，对应各自不同的SDK，并且遵循的协议和对外链接也存在很大差异性，可以端上传文件的方式也不同。针对这种情况，进行应用层面的二次封装，自定义了接口规范，并且使用各自SDK 进行兼容实现，根据不同配置，使用同一套接口上传到对应的云对象存储上。

步骤205：使用内部ORM以及配置，针对云商主从架构的服务，使用分表分库、读写分离方式， 对只读延时备份的架构服务，采用主业务单库运行，其他业务使用集群功能。

使用了云平台的MySql集群服务，因使用了分表分库功能，不同云商的集群服务也有所差异。使用内部ORM以及配置，针对云商主从架构的服务，使用分表分库、读写分离方式， 对只读延时备份的架构服务，采用主业务单库运行，其他业务使用集群功能。

而本申请实施例提供一种多云多地数据处理平台系统，参见图3，所述多云多地数据处理平台系统具体包含有如下内容：

搭建模块：对各云平台搭建应用内网集群，根据各云平台的异构开启对外端口来提供服务，设置虚拟机进行持续运维工作，统一使用内网 ssh 通道进行集群内业务内容的部署。

在不同云平台，搭建应用内网集群，并且针对性的开启对外端口来提供服务，同时设置一台虚拟机作为“堡垒机”进行持续运维工作，运维的方式为：统一使用内网 ssh 通道进行集群内业务内容的部署。上述手段可以可以兼容各个云平台，并且提高了资源安全性。

通信模块：对所述各云平台统一的使用docker 容器技术部署，建立注册中心服务和其他业务使用容器内建的网络通信。

多个云平台，统一的使用docker 容器技术部署，并且“注册中心”服务和其他业务使用容器内建的网络通信。上述手段可以避免了不同云平台因系统差异导致的不可预见的错误。

功能化模块：将定时任务功能和同一功能的多个模块，部署在同一内网中，使用云主机的内网以及容器化后的私网进行数据交互。

定时任务功能模块化，同一功能的多个模块，部署在同一内网中，使用云主机的内网以及容器化后的私网进行数据交互。这样，因云平台SDK不同导致的功能差异化的模块被隔离出来，进行兼容性处理。

接口模块：进行应用层面的二次封装，自定义接口规范，并且使用各自SDK 进行兼容实现，根据不同配置使用同一套接口上传到对应的云对象存储上。

不同云平台的对象存储服务，对应各自不同的SDK，并且遵循的协议和对外链接也存在很大差异性，可以端上传文件的方式也不同。针对这种情况，进行应用层面的二次封装，自定义了接口规范，并且使用各自SDK 进行兼容实现，根据不同配置，使用同一套接口上传到对应的云对象存储上。

数据库模块：使用内部ORM以及配置，针对云商主从架构的服务，使用分表分库、读写分离方式， 对只读延时备份的架构服务，采用主业务单库运行，其他业务使用集群功能。

使用了云平台的MySql集群服务，因使用了分表分库功能，不同云商的集群服务也有所差异。使用内部ORM以及配置，针对云商主从架构的服务，使用分表分库、读写分离方式， 对只读延时备份的架构服务，采用主业务单库运行，其他业务使用集群功能。

本发明的多云多地数据处理方法、平台搭建方法及系统，通过统一使用内网 ssh通道进行集群内业务内容的部署，统一的使用docker 容器技术部署，建立服务和其他业务使用容器内建的网络通信，同一功能的多个模块部署在同一内网中，使用云主机的内网以及容器化后的私网进行数据交互，使用各自SDK 进行兼容实现，根据不同配置，使用同一套接口上传到对应的云对象存储上。可以解决不同云平台因系统差异导致的不可预见的错误，实现了兼容性较好、以及业务服务器压力较小，任务流转速度加快，减少了任务处理时间。

本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。

需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

本申请中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。

以上所述仅为本申请的优选实施例，并不用于限制本申请，对于本领域的技术人员来说，本申请实施例可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。