基于人工智能的数据高效训练方法及系统

技术领域

本发明实施例涉及计算机技术领域，具体涉及一种基于人工智能的数据高效训练方法及系统。

背景技术

目前，在大规模的深度学习训练中，由于训练数据集的数据量较大，为了提高数据训练的效率，通常采用多台训练主机同时对数据进行训练。在数据训练的初始化过程中，每台训练主机可以获取并存储同一训练数据集，并由指定的训练主机基于训练数据集生成文件名列表，该文件名列表中包括训练数据集中所有数据的名称。在数据训练过程中，训练主机对文件名列表进行随机洗牌处理，并将随机洗牌处理后的文件名列表发送至所有其他训练主机，每个训练主机基于文件名列表中固定位置的数据名称从已存储的训练数据集中获取相应的数据，并对数据进行训练。该数据训练方法存在的缺点在于数据训练过程中所占用的带宽以及网络开销较大，且数据训练系统的稳定性较差。

基于上述现有技术在数据训练方法过程中存在的不足，中国专利申请号为201711377963.3，名称为《数据训练方法、装置及系统、计算机设备》的发明专利，公开了一种数据训练方法、装置及系统、计算机设备，其技术方案为第一训练主机可以与其他训练主机获取同一伪随机数种子，在每次训练过程中，第一训练主机可以基于该伪随机数种子，对文件名集合进行随机化处理得到更新后的文件名集合，并基于更新后的文件名集合对第一数据子集进行训练，无需在每次训练过程中由指定的训练主机向其他训练主机发送文件名集合，减小了数据训练所占用的带宽，提高了数据训练系统的稳定性。但其仍存在学习效率相对较弱、不能应对快速学习得出结果以解决实际应用的问题。

发明内容

本发明实施例提供一种基于人工智能的数据高效训练方法及系统，基于分组进行学习，通过策略服务器集群指导计算服务集群在特定的时机实施特定的计算策略，有效改进学效果，提高学习效率。

为解决上述技术问题，本发明公开了如下技术方案：

本发明第一方面提供了一种基于人工智能的数据高效训练方法，包含以下步骤：

建立样本数据集合，并将样本数据集合装入策略服务集群；

根据计算目标选择相应的计算服务集群，然后选取适合当前计算目标的计算策略，并通知计算服务集群进行计算；

将计算结果送入策略服务集群；

判断计算结果是否满足预期，

若满足，则结束训练；

若不满足，则根据时间阈值或者计算结果次数进行策略计算，根据计算结果给出新的计算策略，并将新的计算策略下发至计算服务集群进行新一轮计算，直至实现数据训练所需结果。

基于上述方案，本方法做如下优化：

优选的，所述将样本数据集合装入策略服务集群后，策略服务集群通过SparkRDD生成样本数据集合的大矩阵。

进一步的，所述将计算结果送入策略服务集群，包括下述步骤：

建立消息服务集群，利用消息服务集群接收计算服务集群输出的计算结果；

将计算结果通过消息队列的形式送入策略服务集群。

进一步的，所述选取适合当前计算目标的计算策略，包括下述步骤：

根据样本数据集合的大矩阵进行数据批次分配，其中每个批次使用同样的键值；

基于分组进行学习，设定学习次数进行参数平衡；

通过平衡机制改进学习时间和学习效果。

进一步的，所述根据计算结果给出新的计算策略，其判定依据为参数的变动剧烈程度，新的计算策略包括样本的选取策略及参数的更新策略，调整率依据参数或阈值设置进行调整。

上述方案中，所述判断计算结果是否满足预期，其判断依据基于高效学习训练内容设定或者自动学习机制自行判定。

本发明第二方面提供了一种基于人工智能的数据高效训练系统，包括策略服务集群、计算服务集群及消息服务集群；

所述策略服务集群用于根据计算目标选择相应的计算服务集群，并选取适合当前计算目标的计算策略，或者根据时间阈值或计算结果次数进行策略计算给出新的计算策略，然后将计算策略下发至计算服务集群进行计算；

所述计算服务集群用于接收策略服务集群发送的计算策略进行策略计算，并在计算完毕后将计算结果发送至消息服务集群；

所述消息服务集群用于接收计算服务集群输出的计算结果，并将计算结果通过消息队列的形式送入策略服务集群。

进一步的，所述策略服务集群还用于接收样本数据集合，并通过SparkRDD生成样本数据集合的大矩阵。策略服务集群选取适合当前计算目标的计算策略，具体包括：策略服务集群根据样本数据集合的大矩阵进行数据批次分配，其中每个批次使用同样的键值；然后基于分组进行学习，设定学习次数进行参数平衡；最后通过平衡机制改进学习时间和学习效果。

进一步的，所述策略服务集群给出新的计算策略，其判定依据为参数的变动剧烈程度，新的计算策略包括样本的选取策略及参数的更新策略，调整率依据参数调整服务及设置阈值。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：

本申请实施例提供的基于人工智能的数据高效训练方法，基于Spark技术生成样本数据集合的大矩阵，根据大矩阵进行数据批次的分配，选取适合计算目标的计算策略，并当计算结果不满足预期时，基于分组进行学习，通过平衡机制改进学习时间和学习效果，使计算服务集群在特定的时机实施特定的计算策略，直至实现数据训练所需结果。本实施例的数据训练方法可以并行进行批次学习，解决现有技术中存在的学习效率较弱、不能应对快速学习得出计算结果的问题，并由于平衡机制的存在，能够更好的优化学习效果，在学习时间和学习效果上有着更大的改进。

本申请实施例提供的基于人工智能的数据高效训练系统，能够实现第一方面的方法，并取得相同的效果。

附图说明

此处的附图被并入说明书中并构成说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请提供的一种基于人工智能的数据高效训练方法一种实施例流程图；

图2为本申请提供的一种基于人工智能的数据高效训练方法另一种实施例流程图；

图3为本申请实施例提供的一种基于人工智能的数据高效训练系统结构示意图；

附图标记：

1-策略服务集群，2-计算服务集群，3-消息服务集群。

具体实施方式

为使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

图1示出了本申请提供的一种基于人工智能的数据高效训练方法一种实施例流程图。

参照图1，该实施例方法的实现步骤如下：

建立样本数据集合，并将样本数据集合装入策略服务集群；

根据计算目标选择相应的计算服务集群，然后选取适合当前计算目标的计算策略，并通知计算服务集群进行计算；

将计算结果送入策略服务集群；

判断计算结果是否满足预期，

若满足，则结束训练；

若不满足，则根据时间阈值或者计算结果次数进行策略计算，根据计算结果给出新的计算策略，并将新的计算策略下发至计算服务集群进行新一轮计算，直至实现数据训练所需结果。

具体而言，上述实现方法中，所述将样本数据集合装入策略服务集群后，策略服务集群通过SparkRDD生成样本数据集合的大矩阵。

更具体来说，所述将计算结果送入策略服务集群，包括下述步骤：

建立消息服务集群，利用消息服务集群接收计算服务集群输出的计算结果；

将计算结果通过消息队列的形式送入策略服务集群。

进一步而言，所述选取适合当前计算目标的计算策略，包括下述步骤：

根据样本数据集合的大矩阵进行数据批次分配，其中每个批次使用同样的键值；

基于分组进行学习，设定学习次数进行参数平衡；

通过平衡机制改进学习时间和学习效果。

更进一步而言，所述根据计算结果给出新的计算策略，其判定依据为参数的变动剧烈程度，新的计算策略包括样本的选取策略及参数的更新策略，调整率依据参数或阈值设置进行调整。

如上所述的基于人工智能的数据高效训练方法，所述判断计算结果是否满足预期，其判断依据基于高效学习训练内容设定或者自动学习机制自行判定。

图2示出了本申请提供的一种基于人工智能的数据高效训练方法另一种实施例流程图。

参照图2，该实施例的方法，以近3年过车数据为例进行说明。过车数据按照省平均来算，每日100万左右的车路径数据，因此形成了大量的过车记录数据。基于最近3年的数据积累，大概有10多亿的数据，根据这些数据需要进行训练出套牌车特征。其实现过程如下：

将最近3年的过车数据(约10多亿)和套牌车训练程序提交输入到策略服务集群(SparkRDD)；

策略服务集群在接收到提交信息后，根据当前集群状况和提交数据源、数据量等因素情况进行评估，后续计算批次大小并进行批次分组；

策略服务集群在分组后，优先取部分数据批次进行预训练操作，并依据预训练制定初步策略训练预案；

针对策略服务集群中的预案参数或者后续训练结果参数，判断计算结果是否满足预期，

如果满足，则获取套牌车特征数据(刚刚开始的结果，一般不会满足)；

如果不满足预期，则根据时间阈值或者计算结果次数进行策略计算，调整训练结果参数，并依据结果重新制定策略，并进行下发至计算服务集群；

计算服务器集群计算周期完毕，将计算结果(参数集)通过消息服务(MQ)送入策略服务器；

策略服务器接收到计算服务器集群的训练结果后，根据训练状况处理策略优化；

策略服务器会实时对计算服务器集群的训练过程(训练瓶颈节点、过慢节点及过快节点等)进行监控，基于监控结果对训练策略批次分组进行微调；

训练策略批次分组的微调结果与调整后的训练结果参数重新制定的策略一起下发至计算服务集群中；

循环进行上述操作，直到实现数据训练所需结果(训练达到指定的准确率或者到达训练最大次数)为止。

图3示出了本申请实施例提供的一种基于人工智能的数据高效训练系统结构示意图。

参照图3，本实施例系统包括策略服务集群1、计算服务集群2及消息服务集群3；

所述策略服务集群1用于根据计算目标选择相应的计算服务集群2，并选取适合当前计算目标的计算策略，或者判断当计算结果不满足预期时，根据时间阈值或计算结果次数进行策略计算给出新的计算策略，然后将计算策略下发至计算服务集群2进行计算；

所述计算服务集群2用于接收策略服务集群1发送的计算策略进行策略计算，并在计算完毕后将计算结果发送至消息服务集群3；

所述消息服务集群3用于接收计算服务集群2输出的计算结果，并将计算结果通过消息队列的形式送入策略服务集群1。

具体而言，上述系统中，所述策略服务集群1还用于接收样本数据集合，并通过SparkRDD生成样本数据集合的大矩阵。

进一步而言，所述策略服务集群1选取适合当前计算目标的计算策略，具体包括：策略服务集群1根据样本数据集合的大矩阵进行数据批次分配，其中每个批次使用同样的键值；然后基于分组进行学习，设定学习次数进行参数平衡；最后通过平衡机制改进学习时间和学习效果。

更进一步来说，所述策略服务集群1给出新的计算策略，其判定依据为参数的变动剧烈程度，新的计算策略包括样本的选取策略及参数的更新策略，调整率依据参数调整服务及设置阈值。

如上所述的基于人工智能的数据高效训练系统，所述策略服务集群1判断计算结果是否满足预期的判断依据为基于高效学习训练内容设定或者自动学习机制自行判定。

本申请实施例中提供的基于人工智能的数据高效训练方法及系统，策略服务集群根据计算目标选择相应的计算服务集群，选取适合当前计算目标的计算策略，并当计算结果不满足预期时，根据时间阈值或者计算结果次数进行策略计算，根据计算结果给出新的计算策略，然将新的计算策略下发至计算服务集群进行新一轮计算，直至实现数据训练所需结果。本方案解决了现有技术中存在的学习效率较弱、不能应对快速学习得出计算结果的问题，可以更好的优化学习时间和学习效果。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。