一种基于机器学习的芯片逻辑综合优化加速方法

技术领域

本发明涉及机器学习领域，特别涉及一种基于机器学习的芯片逻辑综合优化加速方法。

背景技术

Spark是Databricks开源的大数据计算处理引擎，于2010年成为Apache顶级项目，其核心计算是弹性分布式数据集(RDD)，提供了比Hadoop更加丰富的MapReduce模型，能够快速在内存中对数据集迭代计算，支持复杂的机器学习算法与图论算法。

现有技术中的机器学习方法如下所示：

首先，执行步骤1)原始数据的收集：数据生产方会生成多种类型的数据，如log文件、图像数据、文本数据等等，数据质量会随着用户的不适当行为或者系统的一些问题产生很多噪声数据，很难避免错误数据的产生；另外一些多媒体数据如文本、图像还需要一些特别的工具来进行数据载入；

然后，执行步骤2)数据预处理：从步骤1)中收集到的数据中含有很多脏数据、无效数据、以及一些多媒体数据，必须经过一系列的措施来进行处理，常采用Hive、MR、以及Spark的preprocess模块来对数据进行去脏处理、缺失值填充等等；针对多媒体数据的处理，会有第三方的工具包用来转换为计算机能够处理的数据，如OpenCV，Word2vec；

然后，执行步骤3)特征工程：特征工程主要包括对预处理数据的再次处理、数据的格式化，采样、数据的转换以及特征的设计与选择，常使用MR、Spark features模块以及一些专业的第三方工具来对数据进行处理，处理后输出特征数据，用来做模型的训练；

然后，执行步骤4)模型训练：模型训练主要是将实际业务问题通过数据方法来进行建模，常用Spark MLlib、Mahout、以及第三方包如sklearn等等来对数据进行业务建模，训练好的模型进行持久化保存；

然后，执行步骤5)模型上线：模型上线主要是讲训练好的模型接入线上数据，来为用户提供常用的分类、回归、推荐等机器学习服务；

最后，架构依赖：整个基于spark的机器学习技术方案依赖与HDFS、S3等大数据文件系统，以及包括hadoop、spark在内的各种大数据处理和部署工具。

由此可见，现有技术中的基于spark大数据的机器学习方法中的整个架构支撑涉及面广，业务难度大。因此，现有技术中基于spark大数据的机器学习算法模型的技术方案，十分复杂，设计的技术层面覆盖分布式计算、架构部署、模型计算、数据开发等方方面面，花费很大的人力物力才能完成。每一个流程都需要与文件系统频繁地进行互访操作，大大降低整个系统的性能，从而导致建模、预测及应用的可靠性降低；更重要的是会导致编程的灵活性、易维护性、代码或者组件的重用性受到较大影响，因此导致用户体验较差。

发明内容

本发明的主要目的在于提供一种基于机器学习的芯片逻辑综合优化加速方法，可以有效解决背景技术中的问题。

为实现上述目的，本发明采取的技术方案为：

一种基于机器学习的芯片逻辑综合优化加速方法，包括以下优化步骤：

S1：开机优化加速，根据开机优化加速启动项，确定需要优化加速的目标优化加速启动项；

S2：对学习系统网络模型进行数据量化处理，在用户端机器学习系统中设置自动机，通过自动机识别用户端机器学习系统中的参数服务器和工作节点，所述自动机为设置于参数服务器或交换机的网络芯片上的功能单元；参数服务器依次向每个工作节点发送对应分配的参数，在同一时间点只向一个工作节点发送对应分配的参数；

S3：运行优化加速，将卷积操作转换为矩阵乘法，首先利用滑动窗口函数根据各层的基础维度、填充维度以及步幅将含有卷积运算该层的输入特征映射扩展为列向量；再将扩展的列向量与卷积核进行矩阵乘法完成卷积运算；将输入特征图和权重都被分割成很小的存储体以便可以并行获取多个输入数据；

S4：处理流程优化加速，处理流程包括流程模块、事件服务器，流程模块包括接口模块、业务逻辑模块、服务模块及性能评估模块，事件服务器包括导入引擎、处理引擎、模型训练引擎及服务提供引擎，导入引擎负责配置数据源参数、对待处理数据进行读操作/写操作等基本处理，并支持与数据库之间进行数据交互，处理引擎负责对待处理数据执行文本数据处理，模型训练引擎，负责对实际业务问题通过数据方法来进行建模；

S5：控制方式优化加速，包括估计逻辑、最终判定逻辑和参数优化逻辑，估计逻辑接收从检测器输入的学习数据集，估计逻辑通过机器学习方法根据学习数据集估计控制值，估计逻辑基于提前学习的用户控制模式根据从检测器输入的输入数据来估计输出数据，最终判定逻辑将估计逻辑的输出和从用户接口输入的用户输入中的任一个判定为最终控制值，最终判定逻辑根据用户选择的控制系统的控制方式将估计逻辑的输出或用户接口的输出判定为最终控制值，最终判定逻辑将最终判定的最终控制值输出至控制系统以允许控制系统根据最终控制值对控制目标进行控制。

优选的，所述开机优化加速采用与初始化方式类型相对应的方式，对目标优化加速启动项进行处理，以使在用户端开机时，不启用目标优化加速启动项。

优选的，所述数据量化处理中，每个工作节点从参数服务器拉取到参数后，均立即开始根据参数计算梯度；每个工作节点在完成梯度计算后，判断此时的参数服务器是否在接收其他工作节点推送的梯度，若否，则将当前工作节点计算得到的梯度推送给参数服务器。

优选的，所述运行优化加速中，列向量的顺序与卷积核展开顺序一致。

优选的，所述处理流程优化加速中，训练好的模型进行持久化保存，并保存至第二数据库中，模型训练引擎支持在线模型训练与离线模型训练，从而提高了用户在大数据部署时的便捷性，服务提供引擎，其接受服务模块中的模型，并直接通过网络向用户提供在线服务操作。

与现有技术相比，本发明具有如下有益效果：

本发明中，通过用户自定义模板来完成开机优化加速、对学习系统网络模型进行数据量化处理、运行优化加速、处理流程优化加速、控制方式优化加速的构件，有效的提高了芯片逻辑的运行效率，极大的提高了学习系统的部署效率及对数据进行挖掘的效率，进而为高效学习提供有力的支持。

具体实施方式

下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本发明涉及一种基于机器学习的芯片逻辑综合优化加速方法，包括以下优化步骤：

S1：开机优化加速，根据开机优化加速启动项，确定需要优化加速的目标优化加速启动项；

S2：对学习系统网络模型进行数据量化处理，在用户端机器学习系统中设置自动机，通过自动机识别用户端机器学习系统中的参数服务器和工作节点，所述自动机为设置于参数服务器或交换机的网络芯片上的功能单元；参数服务器依次向每个工作节点发送对应分配的参数，在同一时间点只向一个工作节点发送对应分配的参数；

S3：运行优化加速，将卷积操作转换为矩阵乘法，首先利用滑动窗口函数根据各层的基础维度、填充维度以及步幅将含有卷积运算该层的输入特征映射扩展为列向量；再将扩展的列向量与卷积核进行矩阵乘法完成卷积运算；将输入特征图和权重都被分割成很小的存储体以便可以并行获取多个输入数据；

S4：处理流程优化加速，处理流程包括流程模块、事件服务器，流程模块包括接口模块、业务逻辑模块、服务模块及性能评估模块，事件服务器包括导入引擎、处理引擎、模型训练引擎及服务提供引擎，导入引擎负责配置数据源参数、对待处理数据进行读操作/写操作等基本处理，并支持与数据库之间进行数据交互，处理引擎负责对待处理数据执行文本数据处理，模型训练引擎，负责对实际业务问题通过数据方法来进行建模；

S5：控制方式优化加速，包括估计逻辑、最终判定逻辑和参数优化逻辑，估计逻辑接收从检测器输入的学习数据集，估计逻辑通过机器学习方法根据学习数据集估计控制值，估计逻辑基于提前学习的用户控制模式根据从检测器输入的输入数据来估计输出数据，最终判定逻辑将估计逻辑的输出和从用户接口输入的用户输入中的任一个判定为最终控制值，最终判定逻辑根据用户选择的控制系统的控制方式将估计逻辑的输出或用户接口的输出判定为最终控制值，最终判定逻辑将最终判定的最终控制值输出至控制系统以允许控制系统根据最终控制值对控制目标进行控制。

实施例2：

在实施例1的基础上，开机优化加速采用与初始化方式类型相对应的方式，对目标优化加速启动项进行处理，以使在用户端开机时，不启用目标优化加速启动项。

实施例3：

在实施例1的基础上，数据量化处理中，每个工作节点从参数服务器拉取到参数后，均立即开始根据参数计算梯度；每个工作节点在完成梯度计算后，判断此时的参数服务器是否在接收其他工作节点推送的梯度，若否，则将当前工作节点计算得到的梯度推送给参数服务器。

实施例4：

在实施例1的基础上，运行优化加速中，列向量的顺序与卷积核展开顺序一致。

实施例5：

在实施例1的基础上，处理流程优化加速中，训练好的模型进行持久化保存，并保存至第二数据库中，模型训练引擎支持在线模型训练与离线模型训练，从而提高了用户在大数据部署时的便捷性，服务提供引擎，其接受服务模块中的模型，并直接通过网络向用户提供在线服务操作。

本发明通过用户自定义模板来完成开机优化加速、对学习系统网络模型进行数据量化处理、运行优化加速、处理流程优化加速、控制方式优化加速的构件，有效的提高了芯片逻辑的运行效率，极大的提高了学习系统的部署效率及对数据进行挖掘的效率，进而为高效学习提供有力的支持。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。