一种基于LSTM模型的智能整形加工控制方法及系统

技术领域

本发明涉及工件智能整形加工技术领域，尤其涉及一种基于LSTM模型的智能整形加工控制方法及系统。

背景技术

材料整形是材料加工中的重要部分。整形是利用金属塑性，省时、省力、节材的获得产品的形状的过程。目前的整形系统中，对原始的方形材料，使用机械臂压头对前、左、右三边按照特定行程量进行按压整形加工，使三边的高度值都在标准范围之内。

目前，传统的加工量的获取主要是通过传统经验模型进行加工值的预测。

所谓经验模型，就是指在长期以来的加工生产一线的工程实践中积累的经验知识，据此总结分析而建立加工精度的预测模型。该模型是从现有数据入手，根据经验形成对应表格，建立一个专家经验库。专家经验库的内容主要是往期加工的材料前、左、右三边的初次测量的高度值，以及各边对应的加工量，通过查表以得到一次整形和二次整形的加工值。这些值都是通过人工试出。每次有新材料放入加工时，计算机查表程序都会在人工经验库中进行查找，找到与材料数据一致的信息后，从中找到对应的加工值进行加工。这样的处理方式需要针对每一个类型的加工件提前进行人工试整形，掌握对不同形状、尺寸和材质工件的合适加工量，而且需要专门工程师在产线设备周边值守，适时调整，无疑是浪费了大量人力资源，降低了材料整形效率。

在实际生产实践中，基于传统的整形加工预测模型(如附图1)进行整形有以下缺点：

1)由于以往加工方法基于专家经验库，容易受到噪声干扰、材料弹性形变和未知隐藏变量的影响，并且使得决策和加工过程通常与预期相差较大；

2)目前通过采样和人工调节获取经验值的方法需要将所有的情况进行测量，取样困难，且对样本数量存在依赖；

3)目前专家库参数更新过程存在次数限制，更多依赖于最近一段时间的调整，这使得专家经验库适用于短期的整形加工，无法长期使用；

4)缺乏自适应能力，专家库参数的每一步更新都是一个线性调节。这就相当于通过分段线性拟合工件形变与压头行程的非线性约束。在形变较大时，需要更细粒度的分段拟合，需要投入较大的人力物力。

发明内容

本发明的目的在于：提供一种基于LSTM模型的智能整形加工控制方法及系统，基于深度学习的LSTM模型，对加工工件的形状测量参数进行数据分析和处理，利用LSTM模型的记忆功能提高预测的准确率。

为了实现上述目的，一方面，本发明公开了一种基于LSTM模型的智能整形加工控制方法，包括以下步骤：

S1、建立用于预测待整形工件的加工值的LSTM模型；

S2、将工件放入整形机并固定在整形平台上，通过扫描仪对工件前、左、右三边的点位进行扫描，得到所有点位的高度值，并将所有点位的高度值传入工业计算机中；

S3、工业计算机判断工件测得的所有点位的高度值是否处于合格区间，合格则从整形机取出工件，不合格则进行步骤S4；

S4、工业计算机对输入的所有点位的高度值数据进行标准化处理；

S5、工业计算机在前端界面上获取用户输入的材料属性数据，材料属性数据包括工件的规格区间和材料种类，并将材料属性数据都放入LSTM模型之中；

S6、数据放入LSTM模型之后，经过三层LSTM模型计算，预测得到对应的加工量，提交给工业计算机；

S7、工业计算机收到预测值后，将其反馈给控制器，进而控制机械臂进行下压操作，完成第一次整形加工；

S8、第一次加工完成后，扫描仪对材料进行再次测量，扫描各个点位的高度值，判断是否符合规格区间，符合则整形完成，不符合则进入第二次整形加工；

S9、第二次整形加工连接第一次的整形结果，LSTM模型输出工件第二次加工的预测值，经过控制器和机械臂完成第二次加工；

S10、第二次加工完成后，扫描仪再次进行材料相关点位的测量，判断是否符合标准，符合则取出材料，放入合格区域，反之放入不合格区域，等待处理。

作为上述技术方案的进一步描述：

在步骤S1中，LSTM模型的建立包括以下步骤：

S11、通过Tensorflow.keras来实现模型的引入，基于Sequential模型将多层结构堆叠起来，完成模型的搭建；

S12、获取LSTM模型训练用原始加工数据，原始加工数据包括工件的出产信息、每一次加工前后的点位值和直线度以及产品的目标规格区间信息，原始加工数据处理时进行分类处理，按照边和加工次数进行分类提取，得到六组数据，分别是前、左、右三边的两次加工数据；

S13、对LSTM模型的输入参数进行定义，输入模型的维度设置为232个维度，中间隐层的输出维度设置为80，最终输出的数据h为各个边的加工值，输入参数包括：

输入参数定义如下：

[Raw]：材料种类

[FR]：是否加工过

[Results]：判断这条数据加工的结果

[Status]：用于区分材料是处于第一次加工还是第二次加工的过程

[Times]：三边的加工次数

[SPC_before]：表示三个边某次加工前的直线度数值

[SPC]：表示三个边某次加工后的直线度数值

[SPC_res]：表示三个边某次加工前后的直线度的差值(＝SPC_before-SPC)

[C

[C

表示各个点位加工前后高度值的差值

S14、原始的六组数据集进行2∶8分配为测试集、训练集，以训练集对模型进行训练；

S15、使用MAE指标对LSTM模型进行评估，MAE采用预测值和真实值之间的范数来定义误差，MAE计算公式如下：

其中，n为测试集中数据集总数；y

作为上述技术方案的进一步描述：

在步骤S4中，工业计算机对输入的所有点位的高度值数据进行处理时，通过z-score标准化将将不同量级的数据转化为统一量度。

作为上述技术方案的进一步描述：

在步骤S9中，二次整形加工流程包括以下步骤：

S91、将第二次测量的工件各个点位的高度值以及工件的材料属性数据放入模型中；

S92、二次加工时，每一层LSTM模型会收到第一次加工时对应层的输出值，进而与第一次加工建立起联系，

S93、经过三层模型的处理和预测得到80维度的点位值和加工次数，进而得到工件第二次加工的预测值，经过控制器和机械臂完成第二次加工。

另一方面，本发明还公开了一种基于LSTM模型的智能整形加工控制系统，包括：

工业计算机，其用于运行整形控制程序和机器学习算法，整形控制程序包括用于执行上述方法中的任一方法的指令；

扫描仪，其用于工件各边待测点位的高度值，进而将点位的高度值传入工业计算机中实现机器学习算法与整形控制；

整形平台，其用于放置待加工产品；

机械臂压头，其用于压迫待加工产品变形并保持一段时间；

控制器，其用于控制器收到工业计算机中的信号之后，进行信号转换，并传送到机械臂上，实现对机械臂压头的控制。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明中，利用机器学习方法，特别是基于深度学习的LSTM模型，对加工工件的形状测量参数进行数据分析和处理，自动计算得到每次整形加工的行程量，从而自动化得到目标形变的加工数据以及方法的装置。

2、本发明中，使加工过程更加智能化，改善加工效率降低人工成本。同时，采用数据处理和机器学习的方法进行加工值的预测，能够有效减少异常数据造成的影响，从结果上看效果更好，且适应能力更强。

3、本发明中，将某一种材料以前的一部分生产数据放入模型中进行训练，进而得到对应的模型，这种方式相较于人工经验，所需要的数据量有所降低。LSTM模型是一种长短记忆模型，对于长期的数据也有记忆功能，能够有效利用长期的数据。

4、本发明中，系统搭建机器模型选用LSTM模型，在预测加工量时，将两次的加工量都考虑在内。部分材料一次加工后仍需要二次加工才能够符合目标规格区间，因此两次加工量之间会存在相对应的关系。而LSTM循环神经网络模型可以利用对数据的记忆功能将这种对应关系与最终的加工量相关联，并且可以有效的解决简单循环神经网络的梯度爆炸或消失问题。利用LSTM模型的记忆功能，对N个工件进行LSTM训练时，期望前面N-1个工件的残差也贡献到当前工件的加工中来提高精度。在实际加工时，如果一次加工不成功，二次加工中预测的加工值，会与一次加工的值产生联系，从而能够进一步提高预测的准确率。

5、本发明中，模型进行定期学习，具有自适应特性。传统方案中的加工预测取决于人工经验库，改变材料种类或规格，需要人工进行重新测量。基于机器学习的自适应方案如图7所示，能够设置时间点，自动对模型进行更新。其更新过程如图所示，对于新加入的材料，相关的实际生产数据会被放入数据库中，就可以根据现有的新数据，重新对模型进行训练更新，使得模型在具有原有属性的情况下，也可以实现对新材料的成功预测。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图例说明

图1为现有技术中基于传统经验模型的整形加工工作流程图。

图2为一种基于LSTM模型的智能整形加工控制方法中基于机器学习的整形方案总体流程图。

图3为一种基于机器学习的智能整形加工控制方法中工件整形前后示意图。

图4为一种基于LSTM模型的智能整形加工控制方法中第一次加工过程示意图。

图5为一种基于LSTM模型的智能整形加工控制方法中第二次加工过程示意图。

图6为一种基于LSTM模型的智能整形加工控制方法中LSTM模型的结构示意图。

图7为一种基于LSTM模型的智能整形加工控制方法中LSTM模型的自适应方案示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

系统构成：

整个系统主要包括设备层，数据层，算法层三大部分。设备层主要负责整形材料(工件)的采样点数据收集，具体的材料加工以及实现整个整形系统的控制。数据层主要是利用设备层提供的数据通过图像的方式构建直角坐标系，并且判断材料是否符合要求的标准。算法层主要根据数据层提供的信息来构建鲁棒性高的模型来提供给设备层对应的加工控制信号。

1.设备层：该层中包括

①扫描仪：进行材料相关参数的统计，进而将相关参数传入工业计算机中实现相关算法与控制。自带高精度激光测量子系统沿工件边缘行走，通过离散采样的方法对各个采样点进行测量。

②整形平台：用于放置材料，是整形加工的重要场景。

③控制器：控制器收到工业计算机中的信号之后，进行信号转换，并传送到机械臂压头上实现对机械臂的控制。

④机械臂压头，安装于机械臂顶端且顶部为特定曲面形状的橡胶块，在整形加工时，由机械臂驱动整形压头并作用于被整形工件，压迫工件变形并保持一段时间，从而达到整形效果。

⑤工业计算机：是运行整形控制程序和机器学习算法的计算机，其通过数据线连接扫描仪和机械臂，实现整个整形系统的控制。

2.数据层：

①从激光扫描仪获得数据后，需要将相关的高度数据通过图像的方式显示出来，为此系统中设置了60个点位，其中30个点位对应前边，20个点位对应左边，剩下20个点位对应右边，然后在材料的某个边的截面上构建直角坐标系，初始以放置材料的平面为x轴，竖直高度为y轴。进而将某一边的加工情况显示出来。如图3所示，其中，上侧曲线为整形加工后，下侧曲线为整形加工前，横坐标C11-C31表示的是材料的左边，纵坐标表示相对于初始水平面的高度，结合扫描仪的数据，可以将左边整形前后的情况显示出来。

②直线度：扫描完成后并取中间三个点绝对值最大的点位数值作为直线度数值。取中间高度最高的三个点，作为曲线的直线度。直线度作为后续重要的参数，同时也是判断材料是否符合要求的标准。

③为方便模型的训练和预测，还需要设置材料的相关属性，包括二维码，材料种类等。

3.算法层：

①获得相关数据后，通过LSTM模型进行加工量的预测和规格的判断，模型的引入通过Tensorflow.keras来实现，主要的模型是Sequential模型，通过此模型将多层结构堆叠起来，完成模型的搭建；

②为使提供数据中仅1次加工和经过2次加工的数据都适配模型，将数据进行对齐处理，其中包含两次整形的数据未做调整，将一次整形的数据扩充至两条。第二条整形前后的数据相同，保持第一条整形之后的点位信息，且二次整形行程量为0。

③此外，经过对数据的研究发现，某一边的行程量为0的情况下，如果其他边的行程量发生改变，左边监测点的位置也会发生改变，也就是说，在整个加工过程中三个边之间并不是严格地相互独立，将包含左、右、前三条边的完整数据输入到模型。

软硬件平台：

工业计算机61045H，CPU：i7-9700，内存：16G，硬盘：固态硬盘256G、机械硬盘1T，激光测距仪扫描器：基恩士(日本)CL-P015，相机：基恩士(日本)CA-H200MX/CA-H200CX。

本系统中使用Python进行开发，结合TensorFlow深度学习框架，可以在Windows，Linux运行。模型开发平台包括训练服务器和推断端计算平台，作为端设备，整形机提供了计算资源保障。利用机器学习方法，特别是基于深度学习的LSTM(LongShortTimeMemory)模型，对加工工件的形状测量参数进行数据分析和处理，自动计算得到每次整形加工的行程量，从而自动化得到目标形变的加工数据以及方法的装置。

请参阅图1-7，一方面，本发明公开了一种基于LSTM模型的智能整形加工控制方法，包括以下步骤：

S1、建立用于预测待整形工件的加工值的LSTM模型；

S2、将工件放入整形机并固定在整形平台上，通过扫描仪对工件前、左、右三边的点位进行扫描，得到所有点位的高度值，并将所有点位的高度值传入工业计算机中；

S3、工业计算机判断工件测得的所有点位的高度值是否处于合格区间，合格则从整形机取出工件，不合格则进行步骤S4；

S4、工业计算机对输入的所有点位的高度值数据进行标准化处理；

S5、工业计算机在前端界面上获取用户输入的材料属性数据，材料属性数据包括工件的规格区间和材料种类，并将材料属性数据都放入LSTM模型之中；

S6、数据放入LSTM模型之后，其处理过程如图4所示，输入数据的维度为232，经过三层LSTM模型计算，预测得到对应的加工量，提交给工业计算机；

S7、工业计算机收到预测值后，将其反馈给控制器，进而控制机械臂进行下压操作，完成第一次整形加工；

S8、第一次加工完成后，扫描仪对材料进行再次测量，扫描各个点位的高度值，判断是否符合规格区间，符合则整形完成，不符合则进入第二次整形加工；

S9、第二次整形加工连接第一次的整形结果，LSTM模型输出工件第二次加工的预测值，经过控制器和机械臂完成第二次加工；

S10、第二次加工完成后，扫描仪再次进行材料相关点位的测量，判断是否符合标准，符合则取出材料，放入合格区域，反之放入不合格区域，等待处理。

步骤S9中，两次整形加工输入值对应关系如下表所示。

表1两次加工输入值对应关系

注：属性详解可看LSTM模型建立矩阵。

系统先对扫描得到的数据进行判断，若工件各边的高度值都位于合格区间，则视为合格品，无需进行整形。反之，测量得到的数据放入提前训练好的模型中，进而预测出加工值，并将相关值反馈到整形机压头上，进行材料的整形加工。加工后重新测量数据进行判断。由于工件造价较高，因此如果一次加工不合格，则进行第二次的预测和加工。两次加工后都不合格的，则取出放入不合格区域。

在步骤S1中，LSTM模型的建立包括以下步骤：

S11、通过Tensorflow.keras来实现模型的引入，基于Sequential模型将多层结构堆叠起来，完成模型的搭建；

S12、获取LSTM模型训练用原始加工数据，原始加工数据包括工件的出产信息、每一次加工前后的点位值和直线度以及产品的目标规格区间信息，原始加工数据处理时进行分类处理，按照边和加工次数进行分类提取，得到六组数据，分别是前、左、右三边的两次加工数据；

S13、LSTM模型的结构参见附图6，对LSTM模型的输入参数进行定义，输入模型的维度设置为232个维度，中间隐层的输出维度设置为80，最终输出的数据h为各个边的加工值，输入参数包括：

输入参数定义如下：

[Raw]：材料种类

[FR]：是否加工过

[Results]：判断这条数据加工的结果

[status]：用于区分材料是处于第一次加工还是第二次加工的过程

[Times]：三边的加工次数

[SPC_before]：表示三个边某次加工前的直线度数值

[SPC]：表示三个边某次加工后的直线度数值

[SPC_res]：表示三个边某次加工前后的直线度的差值(＝SPC_before-SPC)

[C

[C

表示各个点位加工前后高度值的差值

参数维度描述如下：

①Raw(材料种类)：1个维度

注：材料种类可以有多种，比如具有A、B、C三类，因此需要进行数字化，若材料为A类别，Raw值为0，B类则Raw值为1，C类则Raw值为2。

②FR(之前是否加工过)：1个维度

注：有new和old两种属性。若为new，FR置为1，Old置为2。

③Results(是否符合规格)：1个维度

注：包括OK和NG两种属性，用于判断这条数据加工的结果。若为OK，置Results为1，NG则置为0。

④Status(材料状态)：1个维度

注：包括RS-1和post两种，用于区分材料是处于第一次加工还是第二次加工的过程。若为RS-1则将Status置为0，post则置为1。

⑤Times属性：3个维度

注：LSTM模型对三条边进行整体的预测，其中包括LeftTimes、FrontTimes、RightTimes也就是“三边的加工次数”，用于区分一次加工还是二次加工。

⑥SPC_before属性：3个维度

注：为了进行直线度的测量，包括SPC_before_Left、SPC_before_Front、SPC_before_Right，表示三个边某次加工前的直线度数值。

⑦SPC：3个维度

注：包括SPC_Left、SPC_Front、SPC_Right，表示三个边某次加工后的直线度数值。

⑧SPC_res：3个维度

注：包括SPC_res_Left、SPC_res_Front、SPC_res_Right，表示三个边某次加工前后的直线度的差值(SPC_res＝SPC_before-SPC)。

⑨Ci_before：72个维度

注：表示各个点位某一次加工前的高度值。

⑩Ci：72个维度

注：表示各个点位某一次加工后的高度值。

Ci_res：72个维度

注：表示各个点位加工前后高度值的差值(Ci_res＝Ci_before-Ci)。

输出模型的内容主要为：

[PressDepth]

PressDepth向量：3个维度

注：分别为PressDepth_L，PressDepth_R、PressDepth_F，即三边的加工值，加工量的值直接影响结果因此是必要的参数项。主要放在输出部分。

S14、原始的六组数据集进行2∶8分配为测试集、训练集，以训练集对模型进行训练。S15、使用MAE指标对LSTM模型进行评估，MAE采用预测值和真实值之间的范数来定义误差，MAE计算公式如下：

其中，n为测试集中数据集总数；y

在步骤S4中，工业计算机对输入的所有点位的高度值数据进行处理时，通过z-score标准化将将不同量级的数据转化为统一量度。对于传入工业计算机的数据，不能直接用于训练，先将不需要的“二维码”、“时间”等数据剔除，并进行标准化处理，才能放入模型中使用，主要的方法为通过z-score标准化将将不同量级的数据转化为统一量度，方便使用。

在步骤S9中，二次整形加工流程包括以下步骤：

S91、将第二次测量的工件各个点位的高度值以及工件的材料属性数据放入模型中，即图中的Xt+k；

S92、二次加工时，每一层LSTM模型会收到第一次加工时对应层的输出值，进而与第一次加工建立起联系，

S93、经过三层模型的处理和预测得到80维度的点位值和加工次数，进而得到工件第二次加工的预测值，经过控制器和机械臂完成第二次加工，具体过程可参加附图5；

另一方面，本发明还公开了一种基于LSTM模型的智能整形加工控制系统，包括：

工业计算机，其用于运行整形控制程序和机器学习算法，整形控制程序包括用于执行上述方法中的任一方法的指令；

扫描仪，其用于工件各边待测点位的高度值，进而将点位的高度值传入工业计算机中实现机器学习算法与整形控制；

整形平台，其用于放置待加工产品；

机械臂压头，其用于压迫待加工产品变形并保持一段时间；

控制器，其用于控制器收到工业计算机中的信号之后，进行信号转换，并传送到机械臂上，实现对机械臂压头的控制。

工业计算机通过数据线连接扫描仪和机械臂，实现整个整形系统的控制。机械臂压头具体为安装于机械臂顶端且顶部为特定曲面形状的橡胶块，在整形加工时，由机械臂驱动整形压头并作用于被整形工件，压迫工件变形并保持一段时间，从而达到整形效果。扫描仪具体为激光扫描仪，进行材料相关参数的统计，进而将相关参数传入工业计算机中实现相关算法与控制。扫描仪自带高精度激光测量子系统沿工件边缘行走，通过离散采样的方法对各个采样点进行测量。

工作原理

基于此系统，整形机可以自动读取材料的相关数，通过机器学习模型进行分析和动态更新，给出加工预测量。这种系统的自适应能力强，能够有效降低弹性形变等因素造成的影响，误差小。用于实际生产加工时，能够改善加工效率，提高正确率，降低人工成本。该技术可用于材料加工，材料整形等场合。

利用机器学习方法，特别是基于深度学习的LSTM(LongShortTimeMemory)模型，对加工工件的形状测量参数进行数据分析和处理，自动计算得到每次整形加工的行程量，从而自动化得到目标形变的加工数据以及方法的装置。基于此系统，整形机可以自动读取材料的相关数，通过机器学习模型进行分析和动态更新，给出加工预测量。这种系统的自适应能力强，能够有效降低弹性形变等因素造成的影响，误差小。用于实际生产加工时，能够改善加工效率，提高正确率，降低人工成本。该技术可用于材料加工，材料整形等场合。

系统搭建机器模型选用LSTM模型，在预测加工量时，将两次的加工量都考虑在内。部分材料一次加工后仍需要二次加工才能够符合目标规格区间，因此两次加工量之间会存在相对应的关系。而LSTM循环神经网络模型可以利用对数据的记忆功能将这种对应关系与最终的加工量相关联，并且可以有效的解决简单循环神经网络的梯度爆炸或消失问题。利用LSTM模型的记忆功能，对N个工件进行LSTM训练时，期望前面N-1个工件的残差也贡献到当前工件的加工中来提高精度。在实际加工时，如果一次加工不成功，二次加工中预测的加工值，会与一次加工的值产生联系，从而能够进一步提高预测的准确率。

本发明中，测量点位参与计算的数量从以往的三个点到全部测量点多个点。传统的整形方案会根据每个边的三个关键点进行直线度规格的判断，其余点并没有进行相关的操作和运算。本专利中基于机器学习的方案将所有的点都考虑在内，并且致力于将所有点都加工到“最优值”。将所有点位的高度值，和规格区间的中点都放入模型，使预测出的加工量能够更好的考虑到所有点与区间中点的关系。

模型进行定期学习，具有自适应特性。传统方案中的加工预测取决于人工经验库，改变材料种类或规格，需要人工进行重新测量。基于机器学习的自适应方案如图7所示，能够设置时间点，自动对模型进行更新。其更新过程如图所示，对于新加入的材料，相关的实际生产数据会被放入数据库中，就可以根据现有的新数据，重新对模型进行训练更新，使得模型在具有原有属性的情况下，也可以实现对新材料的成功预测。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。