一种基于边云协同的定向能沉积数字孪生监控系统

技术领域

本发明涉及计算机技术领域，具体是涉及一种基于边云协同的定向能沉积数字孪生监控系统。

背景技术

从加工特性来说，在定向能沉积过程中由于快速的熔化和凝固，可能会导致材料内部产生残余应力和变形，进而导致气孔、裂纹、成分偏析等缺陷，影响制件加工质量和性能；从宏观加工环境来说，可能存在的如送粉管道堵塞、机械臂偏离既定轨迹、激光发生器的输出质量不佳等的机械设备故障，也会对定向能沉积过程产生不良影响。而现有的定向能沉积监控系统主要是针对熔池动态数据进行监控和优化，并未考虑定向能沉积全环境对制件加工质量的影响，无法做到真正意义上的孪生监控，使得制件加工质量无法得到更好的保证。

发明内容

本发明提供一种基于边云协同的定向能沉积数字孪生监控系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

第一方面，提供一种基于边云协同的定向能沉积数字孪生监控系统，所述系统包括设备层和系统层，所述设备层包括定向能沉积生产车间应用到的多个运行设备和多个数据采集设备，所述系统层包括监测模块、传输模块、云端服务器、边缘设备和管理模块；

所述监测模块用于获取所述多个运行设备上传的设备运行数据和所述多个数据采集设备上传的熔池动态数据；

所述传输模块用于将所述熔池动态数据传输至所述边缘设备，以及将所述设备运行数据传输至所述云端服务器；

所述边缘设备用于对所述熔池动态数据进行预处理和异常分析，再将预处理后的熔池动态数据和异常分析结果传输至所述管理模块；

所述云端服务器用于对所述设备运行数据进行异常分析，再将所述设备运行数据和异常分析结果传输至所述管理模块；

所述管理模块用于根据所述预处理后的熔池动态数据和所述设备运行数据对预先搭建的定向能沉积数字孪生模型进行同步更新，并对两个异常分析结果进行适应性报警。

进一步地，所述多个运行设备包括送粉器、机械臂和激光发生器，所述多个运行设备上传的设备运行数据包括送粉流量、机械臂运动姿态、激光功率、激光波长和激光脉冲频率。

进一步地，所述多个数据采集设备上传的熔池动态数据包括熔池温度、熔池图像和熔池应力。

进一步地，所述系统层还包括调控模块，用于通过预先搭建的代理-有限元模型对所述管理模块传输的所述预处理后的熔池动态数据进行分析，再根据分析结果对所述送粉器和所述激光发生器的运行状态进行调整；以及用于通过误差补偿算法对所述管理模块传输的所述机械臂运动姿态和所述熔池图像进行分析，再根据分析结果对所述机械臂的运行状态进行调整。

进一步地，所述通过预先搭建的代理-有限元模型对所述管理模块传输的所述预处理后的熔池动态数据进行分析包括：

通过代理模型对所述预处理后的熔池动态数据进行快速预测，以构建有限元模型的边界条件；

通过所述有限元模型内部构建的连续性方程、动量方程和能量方程在所述边界条件的约束下对所述预处理后的熔池动态数据进行运算，再在运算结果偏离预期值的情况下，根据偏离程度生成所述送粉流量和所述激光功率的调整量。

进一步地，在所述机械臂的末端执行器上安装所述激光发生器和CCD同轴相机，且所述激光发生器和所述CCD同轴相机在同一竖直方向上，所述CCD同轴相机用于采集所述熔池图像。

进一步地，所述机械臂运动姿态包括所述末端执行器的实际三维坐标值和实际欧拉角，所述通过误差补偿算法对所述管理模块传输的所述机械臂运动姿态和所述熔池图像进行分析包括：

在所述熔池图像中根据其包含的熔池中心划分出一个区域，获取所述区域占所述熔池图像的像素比值，再根据所述像素比值生成Z轴微调量；

获取所述末端执行器的目标三维坐标值和目标欧拉角，再利用所述Z轴微调量对所述目标三维坐标值进行更新；

根据更新后的目标三维坐标值和所述实际三维坐标值，获取第一误差值；

根据所述目标欧拉角和所述实际欧拉角，获取第二误差值；

对所述第一误差值和所述第二误差值进行逆运动学求解，得到所述机械臂中各个关节的角度调整量。

进一步地，对所述熔池动态数据进行预处理包括：对所述熔池动态数据依次进行去除异常值、填补缺失值和数据平滑化处理。

进一步地，所述定向能沉积数字孪生模型通过以下方式得到：

获取由三维扫描仪对所述定向能沉积生产车间的所有设备进行扫描建模得到的初始模型文件，再对所述初始模型文件包含的整体三维模型进行材质渲染之后输出最终模型文件；

在虚拟引擎中为所述最终模型文件包含的每个设备模型编写脚本，并根据每个设备在生产过程中应用到的实际数据接口来为关联的每个设备模型定义虚拟数据接口，得到定向能沉积数字孪生模型。

进一步地，所述系统层还包括存储模块，用于对所述监测模块获取的所述设备运行数据和所述熔池动态数据进行存储。

本发明至少具有以下有益效果：通过在搭建定向能沉积数字孪生监控系统时综合考虑到熔池动态数据和设备运行数据，相比于现有的定向能沉积监控系统而言，引入在定向能沉积过程中的更多影响因素，实现对定向能沉积过程的可视化监控以及在工艺上的微调控制，可以对定向能沉积过程实现真正意义上的孪生监控，从而更好的保证制件加工质量，且有助于提高制件加工效率。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1是本发明实施例中的一种基于边云协同的定向能沉积数字孪生监控系统的组成示意图；

图2是本发明实施例中的定向能沉积数字孪生模型的可视化示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序，应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如包含了一系列步骤或单元的过程、方法、系统、产品或装置不必限定于清楚列出的那些步骤或单元，而是可以包含没有清楚列出的对于这些过程、方法、产品或装置固有的其他步骤或单元。

首先，对本发明中涉及的部分名词进行解释如下：

定向能沉积(Directed Energy Deposition，DED)，是金属增材制造领域的一项重要技术，主要利用高能密度的激光束熔化基材表面，同时喷射金属粉末到熔化表面上，通过快速凝固形成致密的合金涂层。

数字孪生，通过充分利用物理模型数据、传感器实时数据和设备运行历史数据，对实际物理模型进行数字化/虚拟化的几何模型构建并对其物理属性进行刻画，从而使得在虚拟空间中映射出来的孪生模型达到数据可视化、过程模拟仿真、监控预警、诊断预测、决策控制等的效果。

请参考图1，图1是本发明实施例提供的一种基于边云协同的定向能沉积数字孪生监控系统的组成示意图，所述系统是由系统层和设备层所组成的，所述系统层主要包括管理模块、调控模块、监测模块、存储模块、传输模块、边缘设备和云端服务器，所述设备层主要包括定向能沉积生产车间需要使用到的多个数据采集设备和多个运行设备。

基本的，所述设备层与所述监测模块相连接，所述监测模块与所述存储模块相连接，所述监测模块与所述传输模块相连接，所述传输模块与所述边缘设备连接，所述边缘设备与所述管理模块相连接，所述传输模块与所述云端服务器相连接，所述云端服务器与所述管理模块相连接，所述管理模块与所述调控模块相连接，所述调控模块与所述设备层相连接。

在本发明的具体实施过程中，通过所述监测模块对所述多个数据采集设备所传输的熔池动态数据以及所述多个运行设备所对应的设备运行数据进行获取；通过所述传输模块在接收到所述熔池动态数据之后将其转发到所述边缘设备，以及通过所述传输模块在接收到所述设备运行数据之后将其转发到所述云端服务器；通过在本地部署的所述边缘设备对所述熔池动态数据进行预处理，再对预处理后的熔池动态数据进行异常分析以获取第一异常分析结果，随后将所述第一异常分析结果和所述预处理后的熔池动态数据发送到所述管理模块；通过所述云端服务器对所述设备运行数据进行异常分析以获取第二异常分析结果，再将所述第二异常分析结果和所述设备运行数据发送到所述管理模块；在所述管理模块的内部已经预先搭建有定向能沉积数字孪生模型，通过所述管理模块根据所述设备运行数据和所述预处理后的熔池动态数据对所述定向能沉积数字孪生模型作出同步更新处理，使得更新后的定向能沉积数字孪生模型可以反映出所述定向能沉积生产车间的当前真实生产状况，并且对所述第一异常分析结果和所述第二异常分析结果作出适应性报警处理。

为了对所述设备层作出更好的管控，通过所述调控模块对所述管理模块所发送的部分设备运行数据和所述预处理后的熔池动态数据进行分析处理，再利用最终分析结果对所述设备层中的相关设备的运行状态作出及时调整。

此外，在所述存储模块的内部预先搭建一个关系型MySQL(My Structured QueryLanguage)数据库，通过所述存储模块对所述监测模块所获取到的所述熔池动态数据和所述设备运行数据进行存储，从而实现对所述定向能沉积生产车间在整个工作期间所产生的历史熔池动态数据和历史设备运行数据进行备份管理，后续可以通过从所述关系型MySQL数据库中调用相关历史数据进行分析来帮助确定故障发生的时间、环境条件、操作情况等等，以更准确地识别故障模式，实现加工制件质量的追溯和认证，提高生产过程的透明度和可信度。

在本发明实施例中，所述多个运行设备所发送的设备运行数据间接影响熔覆制件的质量效果，所述多个运行设备主要包括激光发生器、机械臂和送粉器，所述激光发生器安装在所述机械臂的末端执行器上，所述设备运行数据主要包括与所述激光发生器直接关联的激光功率、激光脉冲频率和激光波长、与所述机械臂直接关联的机械臂运动姿态、以及与所述送粉器直接关联的送粉流量。

其中，所述激光发生器是确保激光熔覆过程的稳定性和安全性的重要设备，通过在所述激光发生器上安装功率传感器以监测所述激光发生器的输出功率，通过在所述激光发生器上安装激光波长计以监测所述激光发生器的输出波长，通过在所述激光发生器上安装频率计或者相位计以监测所述激光发生器的输出脉冲频率，由此确保激光加热效果的一致性。

其中，由于所述激光发生器和所述机械臂是联动关系，在激光熔覆过程中一旦所述机械臂出现定位误差，将直接影响熔覆道的熔覆效果，因此采用运动捕捉的方式在所述机械臂的各个关节和所述末端执行器上粘贴反光点，再通过动作捕捉系统实时获取所述机械臂的运动姿态。

其中，所述送粉器中的送粉管在激光熔覆过程中发生堵塞会影响整个熔覆过程和制件加工质量，因出现不稳定的材料供给而导致熔池的形态和尺寸发生变化，可能出现不均匀的熔化过程和凝固过程，从而影响制件的密实性和力学性能，因此在所述送粉管中安装流量传感器以监测所述送粉器的送粉流量。

此外，所述多个运行设备还包括布设在所述定向能沉积生产车间内部的温湿度传感器、空调系统、加湿器和除湿器，所述设备运行数据还包括环境温度和环境湿度，当所述环境温度和所述环境湿度依次经由所述传输模块、所述云端服务器和所述管理模块转发到所述调控模块时，通过所述调控模块在判断到所述环境温度偏离预期值时生成对所述空调系统的调节量，以及通过所述调控模块在判断到所述环境湿度偏离预期值时生成对所述加湿器或者所述除湿器的调节量，以确保所述定向能沉积生产车间内部的温湿度较为适宜，进而将环境温湿度对制件加工质量的影响降到最低。

在本发明实施例中，所述多个数据采集设备主要包括CCD(Charge coupledDevice，电荷耦合元件)同轴相机、CCD旁轴相机和红外温度场传感仪，在所述激光发生器的外侧安装用于架设所述CCD旁轴相机和所述红外温度场传感仪的半圆支架，所述半圆支架通过中轴步进电机进行驱动，所述CCD同轴相机安装在所述机械臂的末端执行器上，并且所述CCD同轴相机和所述激光发生器在同一竖直方向上；所述熔池动态数据主要包括与所述CCD同轴相机直接关联的熔池图像、与所述CCD旁轴相机直接关联的熔池应力、以及与所述红外温度场传感仪直接关联的熔池温度。

其中，所述CCD同轴相机通过现有的光学传感器自适应曝光算法调整图像的曝光度、对比度等图像属性，按照特定频率拍摄在激光熔覆过程中的熔池二维形貌变化以生成相应的熔池图像；所述CCD旁轴相机呈现对称分布，通过记录激光熔覆前后的熔覆道尺寸变化以辅助计算出熔池应力。

在本发明实施例中，若选择将所述监测模块所发送的全部数据存储至所述云端服务器中，受限于网络传输能力，造成传输实时性并不能得到很好的平衡，若选择将所述监测模块所发送的全部数据存储至所述边缘设备中，离线数据对于打破信息孤岛起不来很好的作用；为此，采用边云协同的方式，将所述监测模块所发送的全部数据划分成时延数据(即对传输延迟比较敏感的数据)和非时延数据，通过所述传输模块在接收到所述熔池动态数据时将其定义为时延数据并转发到所述边缘设备，以及在接收到所述设备运行数据时将其定义为非时延数据并通过现有的通信协议(如MQTT协议、HTTP协议等)转发到所述云端服务器，由此可以在一定程度上减轻系统的运行负担，降低对上位机的性能损耗。

在所述边缘设备中，首先对所述熔池动态数据顺次执行去除异常值、填补缺失值和数据平滑化等的预处理操作，得到最终熔池动态数据；其次采用现有的异常检测算法对所述最终熔池动态数据进行异常分析，具体表现为：当所述熔池图像、所述熔池应力和所述熔池温度中的至少一个超出相对应的允许阈值时，则生成记载有所有超出允许阈值的数据的报警信息的第一异常分析结果；当所述熔池图像、所述熔池应力和所述熔池温度均未超出相对应的允许阈值时，则生成记载有无任何数据报警信息的第一异常分析结果；最后将所述第一异常分析结果和所述最终熔池动态数据打包发送到所述管理模块。

在所述云端服务器中，首先采用现有的异常检测算法对所述设备运行数据进行异常分析，具体表现为：当所述激光功率、所述激光脉冲频率、所述激光波长、所述机械臂运动姿态、所述送粉流量中的至少一个超出相对应的允许阈值，则生成记载有所有超出允许阈值的数据的报警信息的第二异常分析结果；当所述激光功率、所述激光脉冲频率、所述激光波长、所述机械臂运动姿态、所述送粉流量均未超出相对应的允许阈值时，则生成记载有无任何数据报警信息的第二异常分析结果；其次将所述第二异常分析结果和所述设备运行数据打包发送到所述管理模块。

在本发明实施例中，针对所述管理模块的内部所采用的所述定向能沉积数字孪生模型的构建方式，具体表现为：首先采用现有的三维扫描仪在所述定向能沉积生产车间中对内部布设的所有设备进行扫描建模，生成以obj格式表示的初始模型文件，由此减轻人工测绘的负担；其次在专业的三维绘图软件Blender中导入所述初始模型文件并对其包含的整体三维模型进行材质渲染，生成以fbx格式表示的最终模型文件，由此确保模型的高保真效果；在虚拟引擎UE5中导入所述最终模型文件并对其包含的每个设备模型编写json脚本，同时按照所述定向能沉积生产车间中的每个设备在投入生产之后所使用的实际数据接口来为相对应的每个设备模型定义虚拟数据接口，进而在所述虚拟引擎UE5的界面上显示出搭建好的定向能沉积数字孪生模型，如图2所示。

在所述管理模块中，对所述第一异常分析结果和所述第二异常分析结果作出适应性报警处理，具体表现为：当仅有所述第一异常分析结果中记载有数据报警信息时，在所述虚拟引擎UE5的界面上直接显示出记载的数据报警信息，表明仅有所述熔池动态数据存在异常现象；当仅有所述第二异常分析结果中记载有数据报警信息时，在所述虚拟引擎UE5的界面上直接显示出记载的数据报警信息，表明仅有所述设备运行数据存在异常现象；当所述第一异常分析结果和所述第二异常分析结果均记载有数据报警信息时，在所述虚拟引擎UE5的界面上直接显示出记载的数据报警信息，表明所述熔池动态数据和所述设备运行数据均存在异常现象；当所述第一异常分析结果和所述第二异常分析结果均记载着无任何数据报警信息时，无需在所述虚拟引擎UE5的界面上进行显示报警。

在本发明实施例中，所述调控模块主要涉及到两个调整控制策略：第一个调整控制策略表现为利用内部预先搭建好的代理-有限元模型对所述最终熔池动态数据进行分析处理，以对所述激光发生器和所述送粉器的当前运行状态作出及时调整；第二个调整控制策略表现为利用误差补偿算法对所述机械臂运动姿态和所述最终熔池动态数据中携带的熔池图像进行分析处理，以对所述机械臂的当前运行状态作出及时调整。

具体的，针对所述第一个调整控制策略的实施方式作出说明如下：

首先说明的是，所述代理-有限元模型是由代理模型和有限元模型共同组成的，所述有限元模型用于模拟激光熔覆的物理过程，主要包括热传导、相变、缺陷产生等；为此，在所述有限元模型的内部预先构建相关控制方程，主要包括能量方程、动量方程和连续性方程；

将所述最终熔池动态数据输入至所述代理模型进行快速预测，得到的预测结果直接作为所述有限元模型的边界条件，以加快所述有限元模型的运算速度；

在所述边界条件的约束下，利用所述相关控制方程对所述最终熔池动态数据进行运算，再对运算结果进行分析判断；当所述运算结果偏离预期值时，利用现有的反馈控制系统对偏离量进行解析以生成对所述激光功率和所述送粉流量的调整量，进而对所述激光发生器和所述送粉器的当前运行状态作出及时调整；当所述运算结果在预期值附近发生小幅度波动时，保持所述激光功率和所述送粉流量不变，即保持所述激光发生器和所述送粉器的当前运行状态不变。

需要说明的是，所述运算结果还可以用作所述代理模型的训练数据，以不断提高所述代理模型的预测性能。

具体的，针对所述第二个调整控制策略的实施方式作出说明如下：

首先说明的是，所述机械臂运动姿态主要包括所述末端执行器的实际欧拉角(Roll_a,Pitch_a,Yaw_a)和实际三维坐标值(x_a,y_a,z_a)；

在激光熔覆过程中，由于上一层熔覆道高度会直接影响下一层熔覆道加工时所应用到的激光焦距，需要适当地抬升Z轴以确保整体成块质量；以所述熔池图像中包含的熔池中心所在位置为中心点，在所述熔池图像中划分出一个长度为100像素、宽度为100像素的区域，获取所述区域占所述熔池图像的像素比值，再对所述像素比值进行分析判断；当所述像素比值与预期值之间的偏差超出给定允许范围时，利用现有的反馈控制系统对所述偏差进行解析以生成不为零的Z轴微调量；当所述像素比值与预期值之间的偏差并未超出给定允许范围时，直接生成为零的Z轴微调量；

获取所述末端执行器的目标欧拉角(Roll_b,Pitch_b,Yaw_b)和目标三维坐标值(x_b,y_b,z_b)，再通过所述Z轴微调量将所述目标三维坐标值更新为(x_b,y_b,z_b+z1)，z1为所述Z轴微调量；

将所述实际三维坐标值与更新后的目标三维坐标值进行差运算，得到第一误差值为(x_a-x_b,y_a-y_b,z_a-z_b-z1)；

将所述实际欧拉角与所述目标欧拉角进行差运算，得到第二误差值为(Roll_a-Roll_b,Pitch_a-Pitch_b,Yaw_a-Yaw_b)；

所述机械臂采用六自由度机械臂，利用现有的逆运动学原理对所述第一误差值和所述第二误差值进行转换以获取所述机械臂中的六个关节的角度调整量为(θ1、θ2、θ3、θ4、θ5、θ6)，进而对所述机械臂的当前运行状态作出及时调整，由此降低所述机械臂在运动期间的正交偏差和直线度误差，降低在激光熔覆过程中所述激光发生器的位置误差。

在本发明实施例中，通过在搭建定向能沉积数字孪生监控系统时综合考虑到熔池动态数据和设备运行数据，相比于现有的定向能沉积监控系统而言，引入在定向能沉积过程中的更多影响因素，实现对定向能沉积过程的可视化监控以及在工艺上的微调控制，可以对定向能沉积过程实现真正意义上的孪生监控，从而更好的保证制件加工质量，且有助于提高制件加工效率。

尽管本申请的描述已经相当详尽且特别对所述实施例进行描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求，考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本申请的预定范围。此外，上文以发明人可预见的实施例对本申请进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本申请的非实质性改动仍可代表本申请的等效改动。