一种分布式训练方法、装置、系统、存储介质及电子设备

技术领域

本发明涉及分布式机器学习技术领域，尤其涉及一种分布式训练方法、装置、系统、存储介质及电子设备。

背景技术

随着人工智能技术的发展与数据量的爆炸式增长，机器学习的规模正变得越来越大。为了提高大规模机器学习模型的训练速度，分布式学习被提出并应用于视觉、语音等多个领域的机器学习训练。一种较为常见的分布式学习部署环境是中心化分布式结构，这一结构由若干计算节点和一个中心服务器组成，其中，中心服务器负责统筹计算节点的计算结果。

在实现本发明的过程中，发现现有技术中至少存在以下技术问题：大规模机器学习的模型参数量通常会很大，导致随机梯度的维度非常高，最终使得P-SGD中计算节点与中心服务器之间的通讯成本非常大，降低模型训练的效率。

发明内容

本发明提供了一种分布式训练方法、装置、系统、存储介质及电子设备，以减小通讯成本的基础上，保证机器学习模型的训练精度。

根据本发明的一方面，提供了一种分布式训练方法，应用于计算节点设备，所述方法包括：

在对机器学习模型的迭代训练过程中，确定机器学习模型在当前次迭代的随机梯度；

对所述当前次迭代的随机梯度进行压缩处理，得到当前次迭代的压缩梯度，并将所述压缩梯度发送至中心服务器节点，其中，所述中心服务器节点基于各计算节点设备发送的压缩梯度，确定当前次迭代的中心梯度；

接收所述中心服务器节点反馈的中心梯度，并基于所述当前次迭代的随机梯度和所述压缩梯度确定补偿梯度，基于所述补偿梯度对所述中心梯度进行补偿得到所述当前次迭代的目标梯度，并基于所述目标梯度对机器学习模型进行当前次迭代更新。

根据本发明的另一方面，提供了一种分布式训练方法，应用于中心服务器节点设备，所述方法包括：

在对机器学习模型的迭代训练过程中，接收各计算节点发送的机器学习模型在当前次迭代的压缩梯度；

基于各计算节点发送的压缩梯度以及当前次迭代的误差确定当前次迭代的中心梯度；

在当前次迭代次数不满足预设条件的情况下，对所述当前次迭代的中心梯度进行压缩处理，并将所述压缩后的中心梯度反馈至各计算节点；以及，在当前次迭代次数满足预设条件的情况下，将所述当前次迭代的中心梯度反馈至各计算节点，其中，所述计算节点基于所述当前次迭代的随机梯度、所述压缩梯度、所述中心梯度对机器学习模型进行当前次迭代更新。

根据本发明的另一方面，提供了一种分布式训练装置，集成于计算节点设备，所述装置包括：

随机梯度确定模块，用于在对机器学习模型的迭代训练过程中，确定机器学习模型在当前次迭代的随机梯度；

压缩梯度确定模块，用于对所述当前次迭代的随机梯度进行压缩处理，得到当前次迭代的压缩梯度，并将所述压缩梯度发送至中心服务器节点，其中，所述中心服务器节点基于各计算节点设备发送的压缩梯度，确定当前次迭代的中心梯度；

模型更新模块，用于接收所述中心服务器节点反馈的中心梯度，并基于所述当前次迭代的随机梯度和所述压缩梯度确定补偿梯度，基于所述补偿梯度对所述中心梯度进行补偿得到所述当前次迭代的目标梯度，并基于所述目标梯度对机器学习模型进行当前次迭代更新。

根据本发明的另一方面，提供了一种分布式训练装置，集成于中心服务器节点设备，所述装置包括：

压缩梯度接收模块，用于在对机器学习模型的迭代训练过程中，接收各计算节点发送的机器学习模型在当前次迭代的压缩梯度；

中心梯度确定模块，用于基于各计算节点发送的压缩梯度以及当前次迭代的误差确定当前次迭代的中心梯度；

中心梯度发送模块，用于在当前次迭代次数不满足预设条件的情况下，对所述当前次迭代的中心梯度进行压缩处理，并将所述压缩后的中心梯度反馈至各计算节点，以及，在当前次迭代次数满足预设条件的情况下，将所述当前次迭代的中心梯度反馈至各计算节点，其中，所述计算节点基于所述当前次迭代的随机梯度、所述压缩梯度、所述中心梯度对机器学习模型进行当前次迭代更新。

根据本发明的另一方面，提供了一种分布式训练系统，包括中心服务器节点和多个计算节点，其中，

所述计算节点，在对机器学习模型的迭代训练过程中，确定机器学习模型在当前次迭代的随机梯度，以及，对所述当前次迭代的随机梯度进行压缩处理，得到当前次迭代的压缩梯度，并将所述压缩梯度发送至中心服务器节点；

所述中心服务器节点，基于各计算节点设备发送的压缩梯度，确定当前次迭代的中心梯度，并在当前次迭代次数不满足预设条件的情况下，对所述中心梯度压缩处理后发送至各计算节点；

所述计算节点，接收所述中心服务器节点反馈的中心梯度，并基于所述当前次迭代的随机梯度和所述压缩梯度确定补偿梯度，基于所述补偿梯度对所述中心梯度进行补偿得到所述当前次迭代的目标梯度，并基于所述目标梯度对机器学习模型进行当前次迭代更新。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的分布式训练方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的分布式训练方法。

本实施例提供的技术方案，每一计算节点在与中心服务器节点的传输过程中，对每一个迭代过程中的随机梯度进行压缩处理，并对压缩得到的压缩梯度进行传输，减少了计算节点在与中心服务器节点之间的通讯成本。进一步的，中心服务器节点反馈的中心梯度可以是通过压缩处理的梯度，计算节点在与中心服务器节点的双向传输中均对梯度进行压缩处理，进一步减少了通信成本。同时，通过压缩处理导致的误差，确定补偿梯度，通过补偿梯度对中心服务器节点反馈的当前次迭代的中心节点进行补偿，并基于补偿后的目标梯度进行当前次的模型参数更新，在当前次迭代过程中进行梯度补偿，实现在减小通讯成本的基础上，避免了梯度压缩导致的收敛慢的问题，提升了分布式训练过程的收敛速度。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种分布式训练方法的流程图；

图2是本发明实施例提供的本发明实施例的流程示意图；

图3是本发明实施例提供的一种分布式训练方法的流程图；

图4是本发明实施例提供的一种分布式训练方法的流程图；

图5是本发明实施例提供的一种分布式训练装置的结构示意图；

图6是本发明实施例提供的一种分布式训练装置的结构示意图；

图7是本发明实施例提供的一种分布式训练系统的结构示意图；

图8是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在中心化分布式环境中采用并行随机梯度下降(P-SGD)的方式实现对机器学习模型的训练，需要如下步骤：1.每个计算节点基于本地模型和数据计算随机梯度并将其发送到中心服务器；2.中心服务器对收集到的随机梯度进行平均并将其返回到计算节点；3.计算节点用平均梯度进行模型平均。其中，多个计算节点和中心服务器节点构成的分布式训练系统，中心服务器节点可以是配置在中心服务器设备中，计算节点配置在计算节点设备中，其中，不同的计算节点可以是配置在不同的计算节点设备，或者，两个或两个以上的计算节点可配置在同一计算节点设备中，此处不做限定。

本实施例中，计算节点与服务器节点共同训练得到机器学习模型。此处不限定分布式训练的应用场景，即不限定机器学习模型的类型，以及训练得到的机器学习模型的功能。在一些实施例中，机器学习模型可以包括但不限于神经网络模型、逻辑回归模型等，其中，神经网络模型可以是包括但不限于卷积神经网络模型CNN、循环神经网络模型RNN、长短期记忆网络模型LSTM、残差网络模型ResNet50等。机器学习模型的分布式训练可应用于图像分类模型、图像分割模型、图像特征提取模型、图像压缩模型、图像增强模型、图像降噪模型、图像标签生成模型、文本分类模型、文本翻译模型、文本摘要提取模型、文本预测模型、关键词转换模型、文本语义分析模型、语音识别模型、音频降噪模型、音频合成模型、音频均衡器转换模型、天气预测模型、商品推荐模型、文章推荐网路、动作识别模型、人脸识别模型、面部表情识别模型等机器学习模型。上述应用场景仅作为示例性说明，本申请对该神经模型的生成方法的应用场景不进行限定。

在机器学习模型的分布式训练中，计算节点在本地对机器学习模型进行迭代训练。相应的，计算节点预先设置有样本数据，基于样本数据对机器学习模型进行迭代训练，其中，不限定对机器学习模型的训练方式，例如可以是有监督的训练、无监督的训练等，能够对机器学习模型进行训练，更新网络参数即可。

样本数据可以是图像数据，机器学习模型的预测结果为图像处理结果；或者，样本数据为文本数据，机器学习模型的预测结果为文本处理结果；或者，样本数据为音频数据，机器学习模型的预测结果为音频处理结果。

示例性的，若样本数据为图像数据，则机器学习模型可以是图像分类模型，机器学习模型输出的预测结果可以是图像分类结果；或者，机器学习模型可以是图像分割模型，预测结果可以是图像分割结果；或者，机器学习模型可以是图像特征提取模型，预测结果可以是图像特征提取结果；或者，机器学习模型可以是图像压缩模型，预测结果可以是图像压缩结果；或者，机器学习模型可以是图像增强模型，预测结果可以是图像增强结果；或者，机器学习模型可以是图像降噪模型，预测结果可以是图像降噪结果；或者，机器学习模型可以是图像标签生成模型，预测结果可以是图像标签，等。若样本数据为文本数据，则机器学习模型可以是文本分类模型，机器学习模型输出的预测结果可以是文本分类结果；或者，机器学习模型可以是文本预测模型，预测结果可以是文本预测结果；或者，机器学习模型可以是文本摘要提取模型，预测结果可以是文本摘要提取结果；或者，机器学习模型可以是文本翻译模型，预测结果可以是文本翻译结果；或者，机器学习模型可以是关键词转换模型，预测结果可以是关键词转换结果；或者，机器学习模型可以是文本语义分析模型，预测结果可以是文本语义分析结果等。若样本数据为音频数据，则机器学习模型可以是语音识别模型，机器学习模型输出的预测结果可以是语音识别结果；或者，机器学习模型可以是音频降噪模型，预测结果可以是音频降噪结果；或者，机器学习模型可以是音频合成模型，预测结果可以是音频合成结果；或者，机器学习模型可以是音频均衡器转换模型，预测结果可以音频均衡器转换结果等。

每一计算节点在任一次分布式训练的迭代中，执行上述任意场景的机器学习模型的本地训练，并基于本地模型和数据计算随机梯度并将其发送到中心服务器节点。每一计算节点与中心服务器节点之间的数据传输存在大量的通讯成本，为了减小通讯成本，可对传输的梯度进行压缩处理，同时压缩处理导致对机器学习模型的训练过程收敛慢的问题。

针对上述技术问题，本发明实施例提供了一种分布式训练方法，图1是本发明实施例提供的一种分布式训练方法的流程图，本实施例可适用于在计算节点对机器学习模型进行训练的情况，该方法可以由分布式训练装置来执行，该分布式训练装置可以采用硬件和/或软件的形式实现，该分布式训练装置可配置于计算节点设备中，该计算节点设备可以是诸如计算机、手机、PC端等的电子设备。如图1所示，该方法包括：

S110、在对机器学习模型的迭代训练过程中，确定机器学习模型在当前次迭代的随机梯度。

S120、对所述当前次迭代的随机梯度进行压缩处理，得到当前次迭代的压缩梯度，并将所述压缩梯度发送至中心服务器节点，其中，所述中心服务器节点基于各计算节点设备发送的压缩梯度，确定当前次迭代的中心梯度。

S130、接收所述中心服务器节点反馈的中心梯度，并基于所述当前次迭代的随机梯度和所述压缩梯度确定补偿梯度，基于所述补偿梯度对所述中心梯度进行补偿得到所述当前次迭代的目标梯度，并基于所述目标梯度对机器学习模型进行当前次迭代更新。

本实施例中，任一计算节点在完成本地训练的情况下，确定机器学习模型在当前次迭代的随机梯度，其中，机器学习模型在当前次迭代的随机梯度可以是基于机器学习模型的损失函数确定，该损失函数可以是预先设置的，此处不做限定。示例性的，损失函数可以是标记为f

各计算节点需将当前次迭代的随机梯度发送至中心服务器节点，为了减少通讯成本，可对当前次迭代的随机梯度进行压缩处理，得到压缩梯度，并将压缩梯度发送至中心服务器阶段。相对于原始的随机梯度，压缩梯度数量小，传输快，减少了计算节点和中心服务器节点之间的通讯成本。

可选的，对所述当前次迭代的随机梯度进行压缩处理，得到当前次迭代的压缩梯度，包括：调用压缩器，基于所述压缩器对所述当前次迭代的随机梯度进行压缩处理，得到当前次迭代的压缩梯度。计算节点中配置有压缩器，此处不限定压缩器的类型，示例性的，压缩器可以是δ压缩器，该δ压缩器为满足对任意的向量x，有

本实施例中，计算节点与中心服务器节点之间传输压缩梯度，以替代传输模型参数，由于模型参数无法进行压缩，通讯成本高，通过传输压缩梯度，可降低分布式训练的通讯成本。

中心服务器节点通过接收各个计算节点传输的压缩梯度，基于该压缩梯度确定当前次迭代的中心梯度，在一些实施例中，中心梯度为各计算节点上传压缩梯度的均值，在一实施例中，中心梯度为各计算节点上传压缩梯度的均值与当前次误差补偿值的和。其中，误差补偿可以是基于上一次迭代过程中的中心梯度和中心梯度的压缩梯度确定，例如，e

在一些实施例中，中心服务器节点将中心梯度发送至各计算节点，在一些实施例中，中心服务器节点将中心梯度进行压缩处理后，将压缩后的中心梯度发送至各计算节点，通过对中心梯度进行压缩处理，实现中心服务器节点与计算节点之间的双向的梯度压缩，以减少通讯成本。

对于每一计算节点，基于中心服务器节点反馈的中心梯度对机器学习模型进行当前次迭代更新。计算节点接收的中心梯度可以是压缩处理的中心梯度，或者，未经压缩处理的中心梯度。由于中心服务器节点与各计算节点之间存在单向或双向的梯度压缩，相应的存在压缩处理导致的收敛慢的问题。针对该问题，本实施例中，基于压缩处理导致的压缩误差，确定补偿梯度，通过补偿梯度对当前次迭代过程的中心梯度进行补偿，相应的，基于补偿后梯度对机器学习模型进行当前次迭代更新，避免分布式训练收敛慢的问题。需要说明的是，通过当前次迭代过程中形成的补偿梯度对当前次迭代过程中的中心梯度进行补偿，相对于在计算节点上将压缩遗留的梯度元素累积在误差变量的情况，从而减少了整个分布式训练流程中误差变量里的梯度元素，减轻了误差里的元素延迟更新模型带来的影响，进而提升了分布式训练过程的收敛速度。

可选的，基于所述当前次迭代的随机梯度和所述压缩梯度确定补偿梯度，基于所述补偿梯度对所述中心梯度进行补偿得到所述当前次迭代的目标梯度，包括：基于当前次迭代的随机梯度和所述压缩梯度的差值确定补偿梯度；基于所述补偿梯度与所述中心梯度的和，确定当前次迭代的目标梯度。具体的，当前次迭代的随机梯度可以是

在上述实施例的基础上，计算节点基于目标梯度对机器学习模型进行参数更新可以是基于如下公式实现：

多个计算节点与中心服务器节点构成的分布式训练系统中，每一计算节点基于上述的过程完成一次迭代过程，在每一迭代过程中与中心服务器节点进行梯度交互，实现确定每一次迭代过程的目标梯度，以对机器学习模型进行模型参数的更新，迭代执行上述过程，直到到达收敛状态，各计算节点可得到训练完成的机器学习模型。

本实施例提供的技术方案，每一计算节点在与中心服务器节点的传输过程中，对每一个迭代过程中的随机梯度进行压缩处理，并对压缩得到的压缩梯度进行传输，减少了计算节点在与中心服务器节点之间的通讯成本。进一步的，中心服务器节点反馈的中心梯度可以是通过压缩处理的梯度，计算节点在与中心服务器节点的双向传输中均对梯度进行压缩处理，进一步减少了通信成本。同时，通过压缩处理导致的误差，确定补偿梯度，通过补偿梯度对中心服务器节点反馈的当前次迭代的中心节点进行补偿，并基于补偿后的目标梯度进行当前次的模型参数更新，在当前次迭代过程中进行梯度补偿，实现在减小通讯成本的基础上，避免了梯度压缩导致的收敛慢的问题，提升了分布式训练过程的收敛速度。

在上述实施例基础上，本发明实施例还提供了一种分布式训练方法，参见图2，图2是本发明实施例提供的本发明实施例的流程示意图。可选的，在对所述当前次迭代的随机梯度进行压缩处理之前，还包括对当前迭代次数进行判定，在当前次迭代次数不满足预设条件的情况下，对所述当前次迭代的随机梯度进行压缩处理；在当前次迭代次数满足预设条件的情况下，将当前次迭代的随机梯度作为压缩梯度发送至中心服务器节点。相应的，该方法具体包括如下步骤：

S210、在对机器学习模型的迭代训练过程中，确定机器学习模型在当前次迭代的随机梯度。

S220、在当前次迭代次数不满足预设条件的情况下，对所述当前次迭代的随机梯度进行压缩处理；在当前次迭代次数满足预设条件的情况下，将当前次迭代的随机梯度作为压缩梯度发送至中心服务器节点。

S230、接收所述中心服务器节点反馈的中心梯度，并基于所述当前次迭代的随机梯度和所述压缩梯度确定补偿梯度，基于所述补偿梯度对所述中心梯度进行补偿得到所述当前次迭代的目标梯度，并基于所述目标梯度对机器学习模型进行当前次迭代更新。

由于不同计算节点对机器学习模型的训练过程存在差异，示例性的，可以是样本数据差异、压缩器差异等问题，尤其是在每一迭代中，各计算节点与中心服务器节点之间的双向梯度压缩，导致在迭代训练过程不同计算节点上训练的机器学习模型的模型参数差异。本实施例中，为了减少上述不同计算节点之间的模型参数差异，在迭代过程中，对部分次数的迭代中进行梯度压缩，以缓解不同计算节点之间的模型参数差异。

预先设置迭代次数的判定条件，在满足迭代次数的判定条件的情况下，不进行梯度压缩，在不满足迭代次数的判定条件的情况下，进行梯度压缩。可选的，进行梯度压缩的迭代次数大于不进行梯度压缩的迭代次数，以在减少通讯成本的基础上，减小不同计算节点上训练的机器学习模型的差异。

在一些实施例中，预设条件包括预设间隔次数条件，例如预设间隔次数可以是50次，或者100次等，即在当前迭代次数与上一不进行梯度压缩的迭代次数的间隔次数满足预设间隔次数的情况下，确定当前迭代次数满足预设条件，当前次迭代过程中不进行梯度压缩，在当前迭代次数与上一不进行梯度压缩的迭代次数的间隔次数不满足预设间隔次数的情况下，确定当前迭代次数不满足预设条件，当前次迭代过程中进行梯度压缩。

在一些实施例中，预设条件包括基于压缩器中压缩关联参数对迭代次数判定条件。可选的，预设条件可以是

在上述实施例的基础上，在确定当前次迭代的随机梯度后，对当前迭代次数进行判定，在当前次迭代次数不满足预设条件的情况下，对当前次迭代的随机梯度进行压缩处理，并将得到的压缩梯度发送至中心服务器节点；在当前次迭代次数满足预设条件的情况下，将当前次迭代的随机梯度作为压缩梯度发送至中心服务器节点。相应的，在当前次迭代次数不满足预设条件，即

中心服务器节点基于接收的压缩梯度确定中心梯度，例如中心梯度为

计算节点在不同的迭代次数的迭代过程中，对机器学习模型的模型参数的更新方式不同，例如，在当前次迭代次数不满足预设条件的情况下，基于补偿梯度对中心梯度补偿后，在上一迭代次数得到的模型参数的基础上进行模型参数的更新，例如通过

本实施例的技术方案，通过在分布式训练过程中，计算节点与中心服务器节点之间进行双向的梯度压缩，减少分布式训练过程的通讯成本。同时，通过周期性的模型平均，减少误差补偿机制带来了各个计算节点上的本地模型不同的问题，实现了在减少了通讯成本的同时，保证计算节点上机器学习模型的模型精度。

图3是本发明实施例提供的一种分布式训练方法的流程图，本实施例可适用于在中心服务器节点对机器学习模型进行训练的情况，该方法可以由集成在中心服务器节点的分布式训练装置来执行，该分布式训练装置可以采用硬件和/或软件的形式实现，该分布式训练装置可配置于中心服务器节点设备中，该中心服务器节点设备可以是诸如计算机、服务器等的电子设备。如图3所示，该方法包括：

S310、在对机器学习模型的迭代训练过程中，接收各计算节点发送的机器学习模型在当前次迭代的压缩梯度。

S320、基于各计算节点发送的压缩梯度以及当前次迭代的误差确定当前次迭代的中心梯度。

S330、在当前次迭代次数不满足预设条件的情况下，对所述当前次迭代的中心梯度进行压缩处理，并将所述压缩后的中心梯度反馈至各计算节点，以及，在当前次迭代次数满足预设条件的情况下，将所述当前次迭代的中心梯度反馈至各计算节点。其中，计算节点基于所述当前次迭代的随机梯度、所述压缩梯度、所述中心梯度对机器学习模型进行当前次迭代更新。

本实施例中，中心服务器节点接收的计算节点发送的压缩梯度可以是基于随机梯度进行压缩处理得到，还可以是将随机梯度作为压缩梯度得到。其中，压缩梯度的确定方式可以是基于当前迭代次数确定，例如对当前迭代次数进行判断，在当前次迭代次数不满足预设条件的情况下，压缩梯度为随机梯度经过压缩处理得到，在当前次迭代次数满足预设条件的情况下，压缩梯度为计算节点计算得到的随机梯度。

中心服务器节点基于压缩梯度以及当前次迭代的误差确定当前次迭代的中心梯度，例如中心梯度可以是

中心服务器节点对当前迭代次数进行判断，在在当前次迭代次数不满足预设条件，即

本实施例的技术方案，通过在分布式训练过程中，计算节点与中心服务器节点之间进行双向的梯度压缩，减少分布式训练过程的通讯成本。同时，通过周期性的模型平均，减少误差补偿机制带来了各个计算节点上的本地模型不同的问题，实现了在减少了通讯成本的同时，保证计算节点上机器学习模型的模型精度。

在上述实施例的基础上，本发明实施例还提供一种分布式训练方法的优选示例，参见图4，图4是本发明实施例提供的一种分布式训练方法的流程图，即在当前迭代次数不满足预设条件情况下的执行流程。任意的第i个计算节点计算出随机梯度

具体的，计算节点根据本地模型

中心服务器节点先对计算节点发送的梯度求平均，用误差变量对结果进行误差补偿：

计算节点上进行模型更新：当迭代轮次t满足

对于以上实施例中，可得到以下的收敛性结论：对于一个非凸的优化目标，在连续性假设，方差有界以及梯度有界的假设下，当算法使用δ压缩器时，假设学习率

这一结果表明本方案实施例达到了与传统误差补偿机制下单向梯度压缩算法相同的收敛速度上界，优于双向梯度算法的的收敛速度上界，从而达到了较快的收敛速度和较低的通讯成本的目标。

图5是本发明实施例提供的一种分布式训练装置的结构示意图。如图5所示，该装置包括：

随机梯度确定模块410，用于在对机器学习模型的迭代训练过程中，确定机器学习模型在当前次迭代的随机梯度；

压缩梯度确定模块420，用于在当前次迭代次数不满足预设条件的情况下，对所述当前次迭代的随机梯度进行压缩处理，得到当前次迭代的压缩梯度，并将所述压缩梯度发送至中心服务器节点，其中，所述中心服务器节点基于各计算节点设备发送的压缩梯度，确定当前次迭代的中心梯度；

模型更新模块430，用于接收所述中心服务器节点反馈的中心梯度，并基于所述当前次迭代的随机梯度和所述压缩梯度确定补偿梯度，基于所述补偿梯度对所述中心梯度进行补偿得到所述当前次迭代的目标梯度，并基于所述目标梯度对机器学习模型进行当前次迭代更新。

在上述实施例的基础上，可选的，模型更新模块330用于：基于当前次迭代的随机梯度和所述压缩梯度的差值确定补偿梯度；基于所述补偿梯度与所述中心梯度的和，确定当前次迭代的目标梯度。

在上述实施例的基础上，可选的，所述中心服务器节点反馈的中心梯度经过压缩处理的中心梯度。

在上述实施例的基础上，可选的，压缩梯度确定模块320用于：

调用压缩器，基于所述压缩器对所述当前次迭代的随机梯度进行压缩处理，得到当前次迭代的压缩梯度。

在上述实施例的基础上，可选的，压缩梯度确定模块420用于：在当前次迭代次数不满足预设条件的情况下，对所述当前次迭代的随机梯度进行压缩处理；

在当前次迭代次数满足预设条件的情况下，将当前次迭代的随机梯度作为压缩梯度发送至中心服务器节点；

相应的，所述中心服务器节点反馈的中心梯度为在前次迭代次数判定满足预设条件的情况下，未经压缩处理的中心梯度。

在上述实施例的基础上，可选的，所述预设条件包括预设间隔次数条件，或者，基于压缩器中压缩关联参数对迭代次数判定条件。

本发明实施例所提供的分布式训练装置可执行本发明任意实施例所提供的分布式训练方法，具备执行方法相应的功能模块和有益效果。

图6是本发明实施例提供的一种分布式训练装置的结构示意图。如图6所示，该装置包括：

压缩梯度接收模块510，用于在对机器学习模型的迭代训练过程中，接收各计算节点发送的机器学习模型在当前次迭代的压缩梯度；

中心梯度确定模块520，用于基于各计算节点发送的压缩梯度以及当前次迭代的误差确定当前次迭代的中心梯度；

中心梯度发送模块530，用于在当前次迭代次数不满足预设条件的情况下，对所述当前次迭代的中心梯度进行压缩处理，并将所述压缩后的中心梯度反馈至各计算节点，以及，在当前次迭代次数满足预设条件的情况下，将所述当前次迭代的中心梯度反馈至各计算节点其中，所述计算节点基于所述当前次迭代的随机梯度、所述压缩梯度、所述中心梯度对机器学习模型进行当前次迭代更新。

本发明实施例所提供的分布式训练装置可执行本发明任意实施例所提供的分布式训练方法，具备执行方法相应的功能模块和有益效果。

本发明实施例提供了一种分布式训练系统，参见图7，图7是本法吗实施例提供的一种分布式训练系统的结构示意图。图7中分布式训练系统包括中心服务器节点610和多个计算节点620。其中，计算节点620用于在对机器学习模型的迭代训练过程中，确定机器学习模型在当前次迭代的随机梯度，以及，对所述当前次迭代的随机梯度进行压缩处理，得到当前次迭代的压缩梯度，并将所述压缩梯度发送至中心服务器节点。

中心服务器节点610用于：基于各计算节点设备发送的压缩梯度，确定当前次迭代的中心梯度，并在当前次迭代次数不满足预设条件的情况下，对所述中心梯度压缩处理后发送至各计算节点。

计算节点620还用于接收所述中心服务器节点反馈的中心梯度，并基于所述当前次迭代的随机梯度和所述压缩梯度确定补偿梯度，基于所述补偿梯度对所述中心梯度进行补偿得到所述当前次迭代的目标梯度，并基于所述目标梯度对机器学习模型进行当前次迭代更新。

可选的，计算节点620在当前次迭代次数不满足预设条件的情况下，对所述当前次迭代的随机梯度进行压缩处理；在当前次迭代次数满足预设条件的情况下，将当前次迭代的随机梯度作为压缩梯度发送至中心服务器节点。

可选的，中心服务器节点610用于：在当前次迭代次数不满足预设条件的情况下，对所述当前次迭代的中心梯度进行压缩处理，并将所述压缩后的中心梯度反馈至各计算节点620；以及，在当前次迭代次数满足预设条件的情况下，将所述当前次迭代的中心梯度反馈至各计算节点620。

本实施例提供的技术方案，每一计算节点在与中心服务器节点的传输过程中，对每一个迭代过程中的随机梯度进行压缩处理，并对压缩得到的压缩梯度进行传输，减少了计算节点在与中心服务器节点之间的通讯成本。进一步的，中心服务器节点反馈的中心梯度可以是通过压缩处理的梯度，计算节点在与中心服务器节点的双向传输中均对梯度进行压缩处理，进一步减少了通信成本。同时，通过压缩处理导致的误差，确定补偿梯度，通过补偿梯度对中心服务器节点反馈的当前次迭代的中心节点进行补偿，并基于补偿后的目标梯度进行当前次的模型参数更新，在当前次迭代过程中进行梯度补偿，实现在减小通讯成本的基础上，避免了梯度压缩导致的收敛慢的问题，提升了分布式训练过程的收敛速度。

图8是本发明实施例提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图8所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如分布式训练方法。

在一些实施例中，分布式训练方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM13并由处理器11执行时，可以执行上文描述的分布式训练方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行分布式训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的分布式训练方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行一种分布式训练方法，该方法包括：

在对机器学习模型的迭代训练过程中，确定机器学习模型在当前次迭代的随机梯度；

对所述当前次迭代的随机梯度进行压缩处理，得到当前次迭代的压缩梯度，并将所述压缩梯度发送至中心服务器节点，其中，所述中心服务器节点基于各计算节点设备发送的压缩梯度，确定当前次迭代的中心梯度；

接收所述中心服务器节点反馈的中心梯度，并基于所述当前次迭代的随机梯度和所述压缩梯度确定补偿梯度，基于所述补偿梯度对所述中心梯度进行补偿得到所述当前次迭代的目标梯度，并基于所述目标梯度对机器学习模型进行当前次迭代更新。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。