一种基于多云服务器的分布式在线机器学习模型构建方法

技术领域

本申请涉及机器学习技术领域，尤其涉及一种基于多云服务器的分布式在线机器学习模型构建方法。

背景技术

目前，随着人工智能技术的快速发展，人工智能技术在很多领域得到了应用，其中，机器学习作为人工智能的技术核心，也已经取得重大的突破。

在现有技术中，通常是用户端基于自身获得的训练样本，进行机器学习模型的本地构建。

但是，由于用户端计算能力有限，能获得的训练样本量也有限，导致最终构建的机器学习模型的精度较低。

发明内容

本申请提供一种基于多云服务器的分布式在线机器学习模型构建方法，以解决现有技术构建的机器学习模型的精度较低等缺陷。

本申请第一个方面提供一种基于多云服务器的分布式在线机器学习模型构建方法，应用于云服务器，所述云服务器与用户簇一一对应，所述用户簇包括若干个用户端，所述方法包括：

接收所述用户簇中各用户端发送的在线量测数据；

基于所述在线量测数据构建机器学习模型，得到全局模型参数；

基于云服务器网络，获取若干个互享云服务器的互享全局模型参数，其中，所述互享云服务器与所述云服务器之间存在边缘连接关系；

根据所述全局模型参数和互享全局模型参数，对所述全局模型参数进行迭代更新，以得到目标全局模型参数。

在一种可选的实施方式中，所述基于所述在线量测数据构建机器学习模型，得到全局模型参数，包括：

对所述在线量测数据进行数据整合，得到模型训练集；

基于所述模型训练集构建机器学习模型，得到全局模型参数。

在一种可选的实施方式中，所述基于所述模型训练集构建机器学习模型，得到全局模型参数，包括：

基于所述模型训练集，计算目标概率分布，得到所述机器学习模型；

根据所述机器学习模型的预测结果，确定全局模型参数。

在一种可选的实施方式中，所述全局模型参数包括全局预测期望和全局预测方差。

在一种可选的实施方式中，在基于云服务器网络，获取若干个互享云服务器的互享全局模型参数之前，所述方法还包括：

获取云服务器边缘有向图；

根据所述云服务器边缘有向图，在云服务器集群中筛选互享云服务器。

在一种可选的实施方式中，所述基于云服务器网络，获取若干个互享云服务器的互享全局模型参数，包括：

根据所述互享云服务器，确定目标互享链路；

基于所述目标互享链路，获取互享云服务器的互享全局模型参数；

其中，所述目标互享链路连通所述云服务器和互享云服务器，所述云服务器网络包括所述目标互享链路。

在一种可选的实施方式中，所述根据所述全局模型参数和互享全局模型参数，对所述全局模型参数进行迭代更新，以得到目标全局模型参数，包括：

获取云服务器权重矩阵；

根据所述云服务器权重矩阵，为所述互享云服务器分配互享权重；

根据所述全局模型参数、互享全局模型参数及互享权重，对所述全局模型参数进行迭代更新，以得到目标全局模型参数。

在一种可选的实施方式中，所述云服务器权重矩阵用于表征各云服务器之间的互享置信度。

在一种可选的实施方式中，所述根据所述全局模型参数、互享全局模型参数及互享权重，对所述全局模型参数进行迭代更新，以得到目标全局模型参数，包括：

基于如下公式，确定所述目标全局模型参数：

，/>

，/>

其中，

在一种可选的实施方式中，所述目标全局模型参数满足如下约束条件：

其中，

在一种可选的实施方式中，所述方法还包括：

将所述目标全局模型参数发送至对应的用户簇中的各个用户端。

本申请第二个方面提供一种基于多云服务器的分布式在线机器学习模型构建装置，应用于云服务器，所述云服务器与用户簇一一对应，所述用户簇包括若干个用户端，所述装置包括：

接收模块，用于接收所述用户簇中各用户端发送的在线量测数据；

构建模块，用于基于所述在线量测数据构建机器学习模型，得到全局模型参数；

互享模块，用于基于云服务器网络，获取若干个互享云服务器的互享全局模型参数，其中，所述互享云服务器与所述云服务器之间存在边缘连接关系；

更新模块，用于根据所述全局模型参数和互享全局模型参数，对所述全局模型参数进行迭代更新，以得到目标全局模型参数。

本申请第三个方面提供一种基于多云服务器的分布式在线机器学习模型构建系统，包括：用户簇及与所述用户簇一一对应的云服务器，所述用户簇包括若干个用户端；

所述用户端用于获取在线量测数据，并将所述在线量测数据发送至对应的云服务器；

所述云服务器采用如上第一个方面以及第一个方面各种可能的设计所述的方法，构建机器学习模型，并得到目标全局模型参数。

本申请第四个方面提供一种电子设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一个方面以及第一个方面各种可能的设计所述的方法。

本申请第五个方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一个方面以及第一个方面各种可能的设计所述的方法。

本申请技术方案，具有如下优点：

本申请提供一种基于多云服务器的分布式在线机器学习模型构建方法，该方法包括：接收用户簇中各用户端发送的在线量测数据；基于在线量测数据构建机器学习模型，得到全局模型参数；基于云服务器网络，获取若干个互享云服务器的互享全局模型参数，其中，互享云服务器与云服务器之间存在边缘连接关系；根据全局模型参数和互享全局模型参数，对全局模型参数进行迭代更新，以得到目标全局模型参数。上述方案提供的方法，通过在各云服务器得到全局模型参数后，在云服务器间实现全局模型参数互享，提高了最终得到的目标全局模型参数的准确性，从而提高了机器学习模型的精度。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请实施例基于的网络结构示意图；

图2为本申请实施例提供的基于多云服务器的分布式在线机器学习模型构建方法的流程示意图；

图3为本申请实施例提供的云服务器与用户端之间的网络结构示意图；

图4为本申请实施例提供的云服务器的模型构建原理图；

图5为本申请实施例提供的基于多云服务器的分布式在线机器学习模型构建装置的结构示意图；

图6为本申请实施例提供的基于多云服务器的分布式在线机器学习模型构建系统的结构示意图；

图7为本申请实施例提供的电子设备的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。

目前，智能化系统逐步融入大众的日常生活，这些系统包括智能交通系统（十字路口车流量的预测）、智慧医疗（患者医学检查影像的病理诊断）、智能电网（家庭用电量需求的预测）、以及新兴且未来可期的无人驾驶车辆（移动需求系统中区域内接人次数的预测）、自主机器人（语音识别、故障规避和地图构建）等。其中，计算机视觉、自然语言处理和推荐系统中的大量任务需要从庞大的数据集中学习复杂的规则和映射，而且大尺度规模物联网系统会产生庞大的分布数据。例如，一辆现代汽车的传感器在几个小时可以采集上百Gb的量测数据，然而，如现代汽车等用户端的计算能力有限，能获得的训练样本量也有限，导致最终构建的机器学习模型的精度较低。

针对上述问题，本申请实施例提供一种基于多云服务器的分布式在线机器学习模型构建方法，该方法包括：接收用户簇中各用户端发送的在线量测数据；基于在线量测数据构建机器学习模型，得到全局模型参数；基于云服务器网络，获取若干个互享云服务器的互享全局模型参数，其中，互享云服务器与云服务器之间存在边缘连接关系；根据全局模型参数和互享全局模型参数，对全局模型参数进行迭代更新，以得到目标全局模型参数。上述方案提供的方法，通过在各云服务器得到全局模型参数后，在云服务器间实现全局模型参数互享，提高了最终得到的目标全局模型参数的准确性，从而提高了机器学习模型的精度。

下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明实施例进行描述。

首先，对本申请所基于的网络结构进行说明：

本申请实施例提供的基于多云服务器的分布式在线机器学习模型构建方法，适用于构建精度较高的机器学习模型。如图1所示，为本申请实施例基于的网络结构示意图，主要包括云服务器及由若干个用户端组成的用户簇，各用户端用于向云服务器发送在线量测数据，云服务器在得到用户簇中各用户端发送的在线量测数据后，进行机器学习模型的构建工作，以得到目标全局模型参数。

本申请实施例提供了一种基于多云服务器的分布式在线机器学习模型构建方法，应用于云服务器，云服务器与用户簇一一对应，用户簇包括若干个用户端，该方法用于构建精度较高的机器学习模型。本申请实施例的执行主体为电子设备，比如服务器、台式电脑、笔记本电脑、平板电脑及其他可用于构建精度较高的机器学习模型的电子设备。

如图2所示，为本申请实施例提供的基于多云服务器的分布式在线机器学习模型构建方法的流程示意图，该方法包括：

步骤201，接收用户簇中各用户端发送的在线量测数据。

需要说明的是，为了提高数据处理、计算以及存储效率，本申请实施例采用多个云服务器分别对局部用户簇中的所有用户端发送的在线量测数据进行模型训练；另外，为了解决传统集中式训练的弊端，即当用户端数量增多，云服务器的计算效率将会低下，联邦学习采用训练本地化，只将训练参数发送给云服务器。采用多个云服务器按照所规划的用户簇进行配置，可以大大提高云服务器的计算效率。

步骤202，基于在线量测数据构建机器学习模型，得到全局模型参数。

具体地，可以采用高斯过程回归算法，基于在线量测数据构建机器学习模型，得到全局模型参数，云服务器在得到在线量测数据后，具体可以利用full-GPR获取全局模型参数。实际上，高斯过程模型在某种意义下可以等价为机器学习模型，包括Bayesian 线性模型和多层神经网络。根据中心极限定理，假设神经网络中的权重服从高斯正态分布，随着神经网络的宽度趋近于无穷，那么这样的神经网络等价于高斯过程回归。然而高斯过程回归是一个非超参数的统计概率模型，不像传统的学习模型，比如线性回归、逻辑回归和神经网络，需要求解优化问题使得损失函数最小来得到最优的模型参数，高斯过程回归并不需要求解优化问题。给定训练数据和测试输入，高斯过程回归的预测分为推断和预测两步。推断过程假设要学习的函数服从高斯过程，给出模型的高斯先验概率分布，然后利用观测值和Bayesian规则，求出模型的高斯后验概率分布。高斯过程回归有三个特点：第一，通过合适地选取协方差函数以及在某些弱化的假设条件下，高斯过程回归可以逼近任意连续函数；第二，高斯过程回归可以实施递归形式，减小计算复杂度和内存；第三，高斯过程回归可以量化不确定，这是因为高斯过程回归利用了后验概率分布来对目标函数进行了预测。

步骤203，基于云服务器网络，获取若干个互享云服务器的互享全局模型参数。

其中，互享云服务器与云服务器之间存在边缘连接关系。

需要说明的是，云服务器网络为服务器集群中不同的云服务器之间构建的稀疏的通信网络，在服务器集群中并不是云服务器两两之间均存在边缘连接，部分云服务器之间为路径连接，本申请实施例为保证全局模型参数的互享效率，各云服务器在模型构建过程中，仅获取与其存在边缘连接关系的互享云服务器的互享全局模型参数。

步骤204，根据全局模型参数和互享全局模型参数，对全局模型参数进行迭代更新，以得到目标全局模型参数。

具体地，可以通过对全局模型参数和互享全局模型参数进行加权聚合，实现对全局模型参数的迭代更新，进而得到目标全局模型参数，以进一步优化机器学习模型的精度。

在上述实施例的基础上，如图3所示，为本申请实施例提供的云服务器与用户端之间的网络结构示意图，测试输入即为在线量测数据，用户端（用户1~n）在得到在线量测数据后，将其作为训练样本，以构建训练子集，最后将训练样本发送至对应的云服务器，作为一种可实施的方式，在一实施例中，基于在线量测数据构建机器学习模型，得到全局模型参数，包括：

步骤2021，对在线量测数据进行数据整合，得到模型训练集；

步骤2022，基于模型训练集构建机器学习模型，得到全局模型参数。

具体地，在一实施例中，可以基于模型训练集，计算目标概率分布，得到机器学习模型；根据机器学习模型的预测结果，确定全局模型参数。

其中，目标概率分布具体可以为高斯概率分布，全局模型参数包括全局预测期望和全局预测方差。

具体地，如图4所示，为本申请实施例提供的云服务器的模型构建原理图，该云服务器通过整合用户端1~n发送的在线量测数据，得到模型训练集，进而通过后验概率分布计算，确定预测输出（全局模型参数）。其中，用户端-云服务器集中式在线学习的目标是设计一个算法使得局部多个用户端分别发送自己的在线量测数据至云服务器，然后云服务器通过整合接收到的所有用户量测数据，得到模型训练集，以进行在线学习一个函数。因此，定义目标函数为

其中，

定义对称正半定的核函数

其中，

其中，

利用高斯过程的性质，高斯过程回归利用训练集

其中，

在本申请实施例中，核函数选择squared exponential function，表达式如下：

第

其中，每一个云服务器

在上述实施例的基础上，作为一种可实施的方式，在一实施例中，在基于云服务器网络，获取若干个互享云服务器的互享全局模型参数之前，该方法还包括：

步骤301，获取云服务器边缘有向图；

步骤302，根据云服务器边缘有向图，在云服务器集群中筛选互享云服务器。

需要说明的是，云服务器边缘有向图为一种有向图模型，具体可以根据云服务器网络中的信息交换建立该有向图模型，如果在

具体地，可以根据云服务器边缘有向图表征的各云服务器之间边缘连接关系，筛选与当前云服务器存在边缘连接关系的互享云服务器。

具体地，在一实施例中，可以根据互享云服务器，确定目标互享链路；基于目标互享链路，获取互享云服务器的互享全局模型参数。

其中，目标互享链路连通云服务器和互享云服务器，云服务器网络包括目标互享链路。

具体地，可以根据各个互享云服务器与当前云服务器之间的位置关系，确定目标互享链路，以使当前云服务器可以基于目标互享链路，获取各互享云服务器的互享全局模型参数。

在上述实施例的基础上，作为一种可实施的方式，在一实施例中，根据全局模型参数和互享全局模型参数，对全局模型参数进行迭代更新，以得到目标全局模型参数，包括：

步骤2041，获取云服务器权重矩阵；

步骤2042，根据云服务器权重矩阵，为互享云服务器分配互享权重；

步骤2043，根据全局模型参数、互享全局模型参数及互享权重，对全局模型参数进行迭代更新，以得到目标全局模型参数。

其中，所述云服务器权重矩阵用于表征各云服务器之间的互享置信度，云服务器之间的互享置信度的确定标准可以根据实际应用场景确定，本申请实施例不做限定。

需要说明的是，云服务器权重矩阵可以表示为

具体地，在一实施例中，可以基于如下公式，确定目标全局模型参数：

，/>

，/>

其中，

具体地，由于每个云服务器都拥有一个通过计算得到的全局预测期望和全局预测方差，因此，本申请实施例遍历云服务器网络中的所有云服务器，进行求平均运算。然而，在云服务器网络中，并没有一个中心调度来进行全局预测信息（全局模型参数）的收集和平均运算，因此本申请实施例采用分布式计算求平均的方法，即采用静态平均共识性算法。各个云服务器目标是通过彼此传输自己聚合的全局预测使得最终的全局预测（全局模型参数）收敛到初始值的平均数。具体来说，在每一个时刻 ，每一个云服务器收到来自邻居（互享云服务器）当前的估计值

具体地，在一实施例中，当时间尺度迭代无穷步后，每个云服务器的状态

其中，

进一步地，在一实施例中，可以将目标全局模型参数发送至对应的用户簇中的各个用户端。

具体地，在云服务器互享网络中，当静态平均共识性算法迭代无穷步，云服务器最终的全局预测达到了共识。然后各个云服务器将最终共识的全局预测（目标全局模型参数）发送回各个用户端，以进行预测的反馈。

本申请实施例提供的基于多云服务器的分布式在线机器学习模型构建方法，通过接收用户簇中各用户端发送的在线量测数据；基于在线量测数据构建机器学习模型，得到全局模型参数；基于云服务器网络，获取若干个互享云服务器的互享全局模型参数，其中，互享云服务器与云服务器之间存在边缘连接关系；根据全局模型参数和互享全局模型参数，对全局模型参数进行迭代更新，以得到目标全局模型参数。上述方案提供的方法，通过在各云服务器得到全局模型参数后，在云服务器间实现全局模型参数互享，提高了最终得到的目标全局模型参数的准确性，从而提高了机器学习模型的精度。并且，通过割裂用户端形成用户簇，并分别配置云服务器，可以改善网络用户可扩展性差的缺点。并且，由于配置了多个云服务器，那么可以利用full-GPR来获得全局预测期望和全局预测方差，这样得到的预测结果利用了更多的在线量测信息，使得全局模型参数更加逼近函数的真实值，这样的基于full-GPR获得的预测期望和方差在多云服务器网络中，通过静态共识性算法达成共识。而且由于应用了全部训练数据，那么基于full-GPR的集中式学习方式，可以获得更准确的预测结果，即充分保证的最终得到的目标全局模型参数的准确性。

本申请实施例提供了一种基于多云服务器的分布式在线机器学习模型构建装置，应用于云服务器，云服务器与用户簇一一对应，用户簇包括若干个用户端，该装置用于执行上述实施例提供的基于多云服务器的分布式在线机器学习模型构建方法。

如图5所示，为本申请实施例提供的基于多云服务器的分布式在线机器学习模型构建装置的结构示意图。该装置50包括：接收模块501、构建模块502、互享模块503和更新模块504。

其中，接收模块，用于接收用户簇中各用户端发送的在线量测数据；构建模块，用于基于在线量测数据构建机器学习模型，得到全局模型参数；互享模块，用于基于云服务器网络，获取若干个互享云服务器的互享全局模型参数，其中，互享云服务器与云服务器之间存在边缘连接关系；更新模块，用于根据全局模型参数和互享全局模型参数，对全局模型参数进行迭代更新，以得到目标全局模型参数。

关于本实施例中的基于多云服务器的分布式在线机器学习模型构建装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本申请实施例提供的基于多云服务器的分布式在线机器学习模型构建装置，用于执行上述实施例提供的基于多云服务器的分布式在线机器学习模型构建方法，其实现方式与原理相同，不再赘述。

本申请实施例提供了一种基于多云服务器的分布式在线机器学习模型构建系统，用于执行上述实施例提供的基于多云服务器的分布式在线机器学习模型构建方法。

如图6所示，为本申请实施例提供的基于多云服务器的分布式在线机器学习模型构建系统的结构示意图，该系统包括：用户簇及与用户簇一一对应的云服务器，用户簇包括若干个用户端。

其中，用户端用于获取在线量测数据，并将在线量测数据发送至对应的云服务器；云服务器采用上述实施例提供的基于多云服务器的分布式在线机器学习模型构建方法，构建机器学习模型，并得到目标全局模型参数。

需要说明的是，假设网络中存在

本申请实施例提供的基于多云服务器的分布式在线机器学习模型构建系统，用于执行上述实施例提供的基于多云服务器的分布式在线机器学习模型构建方法，其实现方式与原理相同，不再赘述。

本申请实施例提供了一种电子设备，用于执行上述实施例提供的基于多云服务器的分布式在线机器学习模型构建方法。

如图7所示，为本申请实施例提供的电子设备的结构示意图。该电子设备70包括：至少一个处理器71和存储器72。

存储器存储计算机执行指令；至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如上实施例提供的基于多云服务器的分布式在线机器学习模型构建方法。

本申请实施例提供的电子设备，用于执行上述实施例提供的基于多云服务器的分布式在线机器学习模型构建方法，其实现方式与原理相同，不再赘述。

本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上任一实施例提供的基于多云服务器的分布式在线机器学习模型构建方法。

本申请实施例提供的包含计算机可执行指令的存储介质，可用于存储前述实施例中提供的基于多云服务器的分布式在线机器学习模型构建方法的计算机执行指令，其实现方式与原理相同，不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。