掌桥专利:专业的专利平台
掌桥专利
首页

基于激光焊接的视觉检测方法、装置及可读存储介质

文献发布时间:2023-06-19 18:35:48


基于激光焊接的视觉检测方法、装置及可读存储介质

【技术领域】

本发明涉及激光焊接技术领域,尤其涉及基于激光焊接的视觉检测方法、装置及可读存储介质。

【背景技术】

激光振镜焊接是目前焊接工艺中较为领先的焊接技术。在激光振镜焊接形成的焊接图形需要进行检测,以判断该焊接工艺是否合格。

目前,焊接图形受轴运动的误差、激光能量变化、图层交叠、材料不均匀等因素的影响,焊接图形会与期望图形存在一定的偏差,尤其在焊接图形的接口处犹为明显,目前行业内主要靠人眼在显微镜下观察来判断接口处的好坏,实际应用场景中,发明人发现,受检测人员的自身素质限制,焊接效果的检测效率低。

【发明内容】

有鉴于此,本发明实施例提供了基于激光焊接的视觉检测方法、装置及可读存储介质,能够有效提高视觉检测焊接效果的检测效率。

为了实现上述目的,第一方面,提供了一种基于激光焊接的视觉检测方法,所述方法包括:

根据预设的标准焊接图像控制振镜焊接头进行焊接,得到多个焊接图像样本;

将各个所述焊接图像样本与所述标准焊接图像进行比对分析,得到所述焊接图像样本的焊接数据,并对所述焊接数据中的不合格焊接段进行标注,得到标注后的焊接数据;

获取所述焊接图像样本中的不合格焊接段的焊接工艺参数,并将所述焊接工艺参数与所述焊接图像样本的焊接数据进行关联,得到训练数据;

构建视觉检测模型,并将所述训练数据导入所述视觉检测模型进行训练,得到训练好的视觉检测模型;

将采集的待检测焊接图像输入所述训练好的视觉检测模型,所述视觉检测模型判断所述待检测焊接图像是否存在不合格焊接段,并输出所述不合格焊接段的焊接工艺参数范围,以使得能够根据所述不合格焊接段的焊接工艺参数范围对所述振镜焊接头进行参数调整。

结合第一方面,在一种可行的实施方式中,所述将各个所述焊接图像样本与所述标准焊接图像进行比对分析,得到所述焊接图像样本的焊接数据,包括:

将所述焊接图像样本进行平滑处理,得到去噪后的焊接图像样本;

通过Blob分析定位所述焊接图像样本中的焊接区域,并对所述焊接区域进行二阶微分处理及Blob分析,得到所述焊接图像样本的焊接数据,所述焊接数据包括焊接段的高度、焊接段的宽度中的至少一种。

结合第一方面,在一种可行的实施方式中,所述对所述焊接数据中的不合格焊接段进行标注,得到标注后的焊接数据,包括:

对所述焊接数据进行一级标注,所述一级标注的标签包括合格、不合格中的一种;并对所述焊接数据进行二级标注,所述二级标注的标签包括重叠缺陷、脱位缺陷、偏位缺陷中的一种,得到标注后的焊接数据。

结合第一方面,在一种可行的实施方式中,所述获取所述焊接图像样本中的不合格焊接段的焊接工艺参数,并将所述焊接工艺参数与所述焊接图像样本的焊接数据进行关联,包括以下步骤:

获取所述振镜焊接头在焊接所述不合格焊接段时的第一焊接工艺参数,将所述第一焊接工艺参数与标注后的焊接图像样本中的不合格焊接段进行关联;

获取所述振镜焊接头在焊接与所述不合格焊接段位置相对应的合格焊接段时的第二焊接工艺参数,将所述第二焊接工艺参数与标注后的焊接图像样本中的合格焊接段进行关联。

结合第一方面,在一种可行的实施方式中,所述焊接工艺参数包括振镜焊接头移动轨迹、振镜焊接头的速度、振镜焊接头的加速度、振镜焊接头的激光功率、振镜焊接头的激光开关延时中的至少一种。

结合第一方面,在一种可行的实施方式中,通过工业相机采集所述待检测焊接图像和所述焊接图像样本,所述待检测焊接图像和所述焊接图像样本均为2D灰度图像或3D灰度图像,所述成像设备为CCD工业相机、CMOS工业相机、2D线扫工业相机或3D线扫工业相机。

结合第一方面,在一种可行的实施方式中,所述视觉检测模型包括支持向量机、人工神经网络、随机森林决策中的至少一种。

为了实现上述目的,第三方面,本申请提供了一种视觉检测装置,所述装置包括:

控制单元,用于根据预设的标准焊接图像控制振镜焊接头进行焊接,得到多个焊接图像样本;

对比单元,用于将各个所述焊接图像样本与所述标准焊接图像进行比对分析,得到所述焊接图像样本的焊接数据,并对所述焊接数据中的不合格焊接段进行标注,得到标注后的焊接数据;

获取单元,用于获取所述焊接图像样本中的不合格焊接段的焊接工艺参数,并将所述焊接工艺参数与所述焊接图像样本的焊接数据进行关联,得到训练数据;

训练单元,用于构建视觉检测模型,并将所述训练数据导入所述视觉检测模型进行训练,直至所述视觉检测模型的网络参数收敛,得到训练好的视觉检测模型;

输出单元,用于将采集的待检测焊接图像输入所述训练好的视觉检测模型,所述视觉检测模型判断所述待检测焊接图像是否存在不合格焊接段,并输出所述不合格焊接段的焊接工艺参数范围,以使得能够根据所述不合格焊接段的焊接工艺参数范围对所述振镜焊接头进行参数调整。

结合第二方面,在一种可行的实施方式中,所述处理单元,还用于:

将所述焊接图像样本进行平滑处理,得到去噪后的焊接图像样本;

通过Blob分析定位所述焊接图像样本中的焊接区域,并对所述焊接区域进行二阶微分处理及Blob分析,得到所述焊接图像样本的焊接数据,所述焊接数据包括焊接段的高度、焊接段的宽度中的至少一种。

为了实现上述目的,第三方面,本申请提供了一种可读存储介质,所述存储介质包括存储的程序,在所述程序运行时控制所述存储介质所在设备执行上述的基于激光焊接的视觉检测方法。

本方案中,通过将激光焊接工艺参数与焊接数据进行关联,作为训练数据训练视觉检测模型,使得视觉检测模型能够具有识别合格的焊接图像或不合格的焊接图像,再通过训练后的视觉检测模型来检测待检测焊接图像。由于根据标注后的焊接图像样本进行深度学习训练,使得视觉检测模型能够根据标注的标签,学习各类不合格的缺陷的特征及产生不合格的焊接工艺参数的特征,从而使得视觉检测模型能够识别待检测焊接图像是否合格,实现视觉检测模型的智能检测,可降低由于人员差异而出现判断不一的影响,提高对焊接效果的检测效率,且还能根据该不合格焊接段的焊接工艺参数范围输出改善针对焊接不合格的优化方案,以进一步提高焊接的合格率。

【附图说明】

为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。

图1是本发明实施例提供的一种基于激光焊接的视觉检测方法的流程图;

图2-1是本发明实施例提供的激光焊接视觉检测系统的结构示意图;

图2-2是本发明实施例提供的激光焊接视觉检测系统中的激光振镜焊接头的工作区域示意图;

图3是本发明实施例提供的一种可选的视觉检测装置的示意图;

图4是本发明实施例提供的一种可选的计算机设备的示意图。

【具体实施方式】

为了更好的理解本发明的技术方案,下面结合附图对本发明实施例进行详细描述。

应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。

应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。

应当理解,尽管在本发明实施例中可能采用术语第一、第二、第三等来描述终端,但这些终端不应限于这些术语。这些术语仅用来将终端彼此区分开。例如,在不脱离本发明实施例范围的情况下,第一终端也可以被称为第二终端,类似地,第二终端也可以被称为第一终端。

取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

图1是根据本发明实施例的一种基于激光焊接的视觉检测方法的流程图,如图1所示,该方法包括:

步骤S10,根据预设的标准焊接图像控制振镜焊接头进行焊接,得到多个焊接图像样本。

步骤S20,将各个焊接图像样本与标准焊接图像进行比对分析,得到焊接图像样本的焊接数据,并对焊接数据中的不合格焊接段进行标注,得到标注后的焊接数据。

步骤S30,获取焊接图像样本中的不合格焊接段的焊接工艺参数,并将焊接工艺参数与焊接图像样本的焊接数据进行关联,得到训练数据。

步骤S40,构建视觉检测模型,并将训练数据导入视觉检测模型进行训练,得到训练好的视觉检测模型。

步骤S50,将采集的待检测焊接图像输入训练好的视觉检测模型,视觉检测模型判断待检测焊接图像是否存在不合格焊接段,并输出不合格焊接段的焊接工艺参数范围,以使得能够根据不合格焊接段的焊接工艺参数范围对振镜焊接头进行参数调整。

本方案中,通过将激光焊接工艺参数与焊接数据进行关联,作为训练数据训练视觉检测模型,使得视觉检测模型能够具有识别合格的焊接图像或不合格的焊接图像,再通过训练后的视觉检测模型来检测待检测焊接图像。由于根据标注后的焊接图像样本进行深度学习训练,使得视觉检测模型能够根据标注的标签,学习各类不合格的缺陷的特征及产生不合格的焊接工艺参数的特征,从而使得视觉检测模型能够识别待检测焊接图像是否合格,实现视觉检测模型的智能检测,可降低由于人员差异而出现判断不一的影响,提高对焊接效果的检测效率,且还能根据该不合格焊接段的焊接工艺参数范围输出改善针对焊接不合格的优化方案,以进一步提高焊接的合格率。

以下结合具体实施例对上述的基于激光焊接的视觉检测方法进行详细阐述:

步骤S10,根据预设的标准焊接图像控制振镜焊接头进行焊接,得到多个焊接图像样本。

在一些实施方式中,标准焊接图像是客户或者设计人员根据需要加工的工件设计的焊接图像。具体地,可以通过CAD等画图软件绘制标准焊接图像。标注焊接图像中的焊接路径可以是圆形、方形、圆形阵列、方形阵列或者其他预设的路径,在此不做限定。具体地,CAD制得的图像中的焊接段的线宽位于预设范围内。

如图2-1所示,激光振镜焊接系统包括支架1、激光振镜焊接头2及运动平台3。其中,激光振镜焊接头2用于发射激光束以焊接工件,激光振镜焊接头2与支架1连接且能够偏转激光束,以改变激光束的出射方向。只要工件位于激光振镜焊接头的焊接范围内,运动平台3用于带动激光振镜焊接头移动,以实现沿预设焊接路径对工件进行焊接。

激光振镜焊接头能使得激光束在工件表面形成的光斑沿预设焊接路径进行圆环形摆动。也即,光斑在移动时,先形成一个圆环,再沿预设焊接路径移动形成多个圆环。

激光振镜焊接系统包括成像设备4,成像设备4与支架1连接,成像设备4用于获取焊接后工件的待检测焊接图像。待检测焊接图像为2D灰度图像或3D灰度图像,所述成像设备为CCD工业相机、CMOS工业相机、2D线扫工业相机或3D线扫工业相机。在具体实施方式中,以CCD工业相机为例进行下面说明,可以通过激光打点CCD工业相机,以对CCD工业相机与激光振镜焊接头之间的物距进行标定。可选地,通过9点标定法彷射矩阵来确定CCD工业相机的机械坐标系,并通过较正板进行相机畸变标定。CCD工业相机拍摄的焊接图像是具有500万像素的灰度图像。

对于同规格的工件来说,焊接路径是不变的,也就是说,提前输入在激光振镜焊接头内的焊接路径是不会变化的。但不同的工件,由于加工误差等原因,待焊接的部位的位置可能存在些许偏差,为了使得焊接更为精确,就需要针对每个工件重新确定焊接起点,也就是激光束在经过激光振镜焊接头的作用后在工件表面形成的光斑的起始位置。当然,若偏差较小,可以忽略不计时,成像设备可以省略。

如图2-2所示,矩形区域为激光振镜焊接头单次焊接工作区域,由于焊接工作区域有限,超出该焊接工作区域范围后,可以通过运动平台来带动激光振镜焊接头移动,然后进行再次焊接,多个焊接工作区域拼接起来后,完成完整的焊接路径,因此,在焊接工作区域的交接处容易因为机械位移误差导致接口处重叠、偏位、脱位等缺陷。

在本实施例中,标准焊接图像包括焊接路径。在确定了焊接路径后,即可进行焊接仿真试验。通过多次焊接得到多个焊接图像样本。具体地,可以通过成像设备采集待检测焊接图像和焊接图像样本,所述待检测焊接图像和所述焊接图像样本均为2D灰度图像或3D灰度图像,所述成像设备为CCD工业相机、CMOS工业相机、2D线扫工业相机或3D线扫工业相机。可选地,每个预设的标准焊接图像可以对应焊接至少50个焊接图像样本。每个焊接图像样本的规格应该是统一的,以使得焊接图像样本有较好的一致性。

进一步地,为了提高样本量,还可以将焊接图像样本进行増广,使得样本多样化。具体地,增广的策略可以是旋转变换、翻转变换、缩放变换、尺度变换、区域裁剪、噪声添加、对比度变换、颜色抖动、复合叠加中的子至少一种。

需要说明的是,旋转变换是指随机旋转焊接图像预设的角度,改变焊接图像的朝向。翻转变换是沿着水平或者垂直方向翻转焊接图像。缩放变换是指按照预设的比例放大或者缩小图像。尺度变换是指对图像按照预设的尺度因子,进行放大或缩小,或者利用预设的尺度因子对图像滤波构造尺度空间,改变图像内容的大小或模糊程度。区域裁剪是指裁剪焊接图像中的感兴趣区域。添加噪声是指在原来的图片上随机叠加一些噪声。对比度变换是指在图像的HSV颜色空间,改变饱和度S和V亮度分量,保持色调H不变,对每个像素的S和V分量进行指数运算(指数因子在0.25到4之间),增加光照变化。颜色抖动是指对图像的曝光度、饱和度和色调进行随机变化形成不同光照及颜色下的图片,尽可能使得模型能够使用不同光照条件小的情形。复合叠加是指随机抽取两张图片分别经过基础数据增广操作处理后经像素取平均值的形式叠加合成一个新的样本,新样板的标签为原样本标签中的一种。

具体地,步骤S20,包括:

步骤S21,将各个焊接图像样本与标准焊接图像进行比对分析,得到焊接图像样本的焊接数据。

步骤S22,对焊接数据中的不合格焊接段进行标注,得到标注后的焊接数据。

其中,步骤S21,包括:

将焊接图像样本进行平滑处理,得到去噪后的焊接图像样本;

通过Blob分析定位焊接图像样本中的焊接区域,并对焊接区域进行二阶微分处理及Blob分析,得到焊接图像样本的焊接数据,焊接数据包括焊接段的高度、焊接段的宽度中的至少一种。

需要说明的是,平滑处理包括高斯滤波处理、均值滤波处理、双边滤波处理中的至少一种。优选地,采用高斯滤波处理对焊接图像样本进行平滑处理。Blob分析是对焊接图像中相同像素(焊点、边缘等)的连通域进行分析。

在其他实施方式中,也可以采用其他的分析手段对焊接图像进行分析,只要能够获取焊接图像中的焊接路径的焊接数据即可。当成像设备为2D的工业相机时,焊接数据可以是焊接段的宽度。当成像设备为三维的工业相机时,焊接数据可以是焊接段的宽度及高度。

需要说明的是,在二阶微分处理后,将焊接路径的起始点作为焊接数据的采集起始点,进行数据采集。在本实施例中,焊接数据是当前焊接段一端的微分点到相邻的另一焊接段的最短距离的集合。为了提高焊接数据的计算效率,在一些实施方式中,可以采用基于开放运算语言的(Open Computing Language,OpenCL)软件库的高并发处理对算法提速,配合高性能图形处理器GPU(Graphics Processing Unit)的增加算力。

进一步地,步骤S22,对焊接数据中的不合格焊接段进行标注,得到标注后的焊接数据,具体包括以下步骤:

对焊接数据进行一级标注,一级标注的标签包括合格、不合格中的一种;并对焊接数据进行二级标注,二级标注的标签包括重叠缺陷、脱位缺陷、偏位缺陷中的一种,得到标注后的焊接数据。

每个焊接图像样本的焊接数据都设有标签,例如带有正标签的焊接数据,即为标记为合格的焊接数据(焊接图像样本),带有负标签的焊接数据,标记为不合格的焊接数据(焊接图像样本)。不合格标签还包括子标签,子标签具体包括重叠缺陷、脱位缺陷、偏位缺陷中的一种。在设置标签时,可以用(A1)来表示焊接数据的标签,其中,A为一级标注的标签,即表示合格或者不合格;1为二级标注的标签,表示重叠缺陷;那么该焊接图像样本的焊接数据为重叠缺陷导致的不合格。

步骤S30,获取焊接图像样本中的不合格焊接段的焊接工艺参数,并将焊接工艺参数与焊接图像样本的焊接数据进行关联,得到训练数据。

具体地,获取振镜焊接头在焊接不合格焊接段时的第一焊接工艺参数,将第一焊接工艺参数与标注后的焊接图像样本中的不合格焊接段进行关联;

获取振镜焊接头在焊接与不合格焊接段位置相对应的合格焊接段时的第二焊接工艺参数,将第二焊接工艺参数与标注后的焊接图像样本中的合格焊接段进行关联。

在一些实施方式中,焊接工艺参数包括振镜焊接头移动轨迹、振镜焊接头的速度、振镜焊接头的加速度、振镜焊接头的功率中的至少一种。将焊接工艺参数与标注后的焊接数据进行关联,可以清楚地记录焊接图像中的不合格焊接段的焊接工艺参数。在同一规格的工件焊接过程中,同一位置的合格焊接段的焊接工艺参数可以作为优化该不合格焊接段的优化方案。例如振镜焊接头速度在焊接段(L1)时的速度为在V1至V2之间,当振镜焊接头速度大于V2或者小于V1时,焊接段就会出现脱位缺陷或者偏位缺陷。

可以理解地,通过将焊接工艺参数与焊接数据进行关联,有利于视觉检测模型在后续的训练过程中提取焊接工艺参数,从而能够给出造成该类不合格的缺陷的焊接工艺参数范围。示例性地,50个带有重叠缺陷不合格标签的焊接数据中,获取与50个焊接数据关联的焊接工艺参数后,通过分析发现,振镜焊接头的速度均位于(V3,V4)之间,而与不合格焊接段位置相对应的合格焊接段的第二焊接工艺参数中,振镜焊接头的速度均位于(V1,V2)之间,从而可以发现振镜焊接头速度偏离预设范围,容易产生重叠缺陷。

步骤S40,构建视觉检测模型,并将训练数据导入视觉检测模型进行训练,得到训练好的视觉检测模型。

可选地,视觉检测模型包括支持向量机、人工神经网络、随机森林决策中的至少一种。优选地,视觉检测模型为支持向量机模型。

在具体训练过程中,利用支持向量机算法对训练数据进行学习与分类,得到训练后的视觉检测模型的模型参数。

步骤S50,将采集的待检测焊接图像输入训练好的视觉检测模型,视觉检测模型判断待检测焊接图像是否存在不合格焊接段,并输出不合格焊接段的焊接工艺参数范围,以使得能够根据不合格焊接段的焊接工艺参数范围对振镜焊接头进行参数调整。

在一些实施方式中,可以通过成像设备采集待检测焊接图像。同样地,在输入视觉检测模型之前,也需要对将待检测焊接图像进行平滑处理,得到去噪后的待检测焊接图像;再通过Blob分析定位待检测焊接图像中的焊接区域,并对焊接区域进行二阶微分处理及Blob分析,得到待检测焊接图像的焊接数据,焊接数据包括焊接段的高度、焊接段的宽度中的至少一种。

视觉检测模型能够提取焊接数据的特征,并基于特征判断焊接数据是合格的还是不合格。在一些实施例中,视觉检测模型输出的数据包括是否合格以及所属缺陷的概率。

步骤S50,还包括:

根据不合格焊接段的标签类型,获取模型中存储的同一类型标签的焊接数据所关联的所有焊接工艺参数;

根据同一类型标签的焊接数据所关联的所有焊接工艺参数,进行特征提取,得到不合格焊接段的焊接工艺参数范围。

示例性地,当待检测焊接图像为偏位缺陷引起的不合格,那么视觉检测模型根据偏位缺陷标签训练后存储的偏位缺陷标签的所有焊接工艺参数;从而使得用户能够根据模型输出的焊接工艺参数范围,适应性地对具体的焊接工艺参数进行调整,以消除偏位缺陷。

本发明实施例提供了一种视觉检测装置,该装置用于执行上述基于激光焊接的视觉检测方法,如图3所示,该装置包括:控制单元10、处理单元20、获取单元30、训练单元40、输出单元50。

控制单元10,用于根据预设的标准焊接图像控制振镜焊接头进行焊接,得到多个焊接图像样本;

处理单元20,用于将各个焊接图像样本与标准焊接图像进行比对分析,得到焊接图像样本的焊接数据,并对焊接数据中的不合格焊接段进行标注,得到标注后的焊接数据;

获取单元30,用于获取焊接图像样本中的不合格焊接段的焊接工艺参数,并将焊接工艺参数与焊接图像样本的焊接数据进行关联,得到训练数据;

训练单元40,用于构建视觉检测模型,并将训练数据导入视觉检测模型进行训练,直至视觉检测模型的网络参数收敛,得到训练好的视觉检测模型;

输出单元50,用于将采集的待检测焊接图像输入训练好的视觉检测模型,视觉检测模型判断待检测焊接图像是否存在不合格焊接段,并输出不合格焊接段的焊接工艺参数范围,以使得能够根据不合格焊接段的焊接工艺参数范围对振镜焊接头进行参数调整。

本方案中,通过将激光焊接工艺参数与焊接数据进行关联,作为训练数据训练视觉检测模型,使得视觉检测模型能够具有识别合格的焊接图像或不合格的焊接图像,再通过训练后的视觉检测模型来检测待检测焊接图像。由于根据标注后的焊接图像样本进行深度学习训练,使得视觉检测模型能够根据标注的标签,学习各类不合格的缺陷的特征及产生不合格的焊接工艺参数的特征,从而使得视觉检测模型能够识别待检测焊接图像是否合格,实现视觉检测模型的智能检测,可降低由于人员差异而出现判断不一的影响,提高对焊接效果的检测效率,且还能根据该不合格焊接段的焊接工艺参数范围输出改善针对焊接不合格的优化方案,以进一步提高焊接的合格率。

在一些实施方式中,标准焊接图像是客户或者设计人员根据需要加工的工件设计的焊接图像。具体地,可以通过CAD等画图软件绘制标准焊接图像。标注焊接图像中的焊接路径可以是圆形、方形、圆形阵列、方形阵列或者其他预设的路径,在此不做限定。具体地,CAD制得的图像中的焊接段的线宽位于预设范围内。

在本实施例中,标准焊接图像包括焊接路径。在确定了焊接路径后,即可进行焊接仿真试验。通过多次焊接得到多个焊接图像样本。具体地,可以通过成像设备采集待检测焊接图像和焊接图像样本,所述待检测焊接图像和所述焊接图像样本均为2D灰度图像或3D灰度图像,所述成像设备为CCD工业相机、CMOS工业相机、2D线扫工业相机或3D线扫工业相机。可选地,每个预设的标准焊接图像对应焊接至少50个焊接图像样本。每个焊接图像样本的规格应该是统一的。

进一步地,为了提高样本量,还可以将焊接图像样本进行増广,使得样本多样化。具体地,增广的策略可以是旋转变换、翻转变换、缩放变换、尺度变换、区域裁剪、噪声添加、对比度变换、颜色抖动、复合叠加中的子至少一种。

需要说明的是,旋转变换是指随机旋转焊接图像预设的角度,改变焊接图像的朝向。翻转变换是沿着水平或者垂直方向翻转焊接图像。缩放变换是指按照预设的比例放大或者缩小图像。尺度变换是指对图像按照预设的尺度因子,进行放大或缩小,或者利用预设的尺度因子对图像滤波构造尺度空间,改变图像内容的大小或模糊程度。区域裁剪是指裁剪焊接图像中的感兴趣区域。添加噪声是指在原来的图片上随机叠加一些噪声。对比度变换是指在图像的HSV颜色空间,改变饱和度S和V亮度分量,保持色调H不变,对每个像素的S和V分量进行指数运算(指数因子在0.25到4之间),增加光照变化。颜色抖动是指对图像的曝光度、饱和度和色调进行随机变化形成不同光照及颜色下的图片,尽可能使得模型能够使用不同光照条件小的情形。复合叠加是指随机抽取两张图片分别经过基础数据增广操作处理后经像素取平均值的形式叠加合成一个新的样本,新样板的标签为原样本标签中的一种。

具体地,处理单元20包括分析子单元及标注子单元;

分析子单元,用于将各个焊接图像样本与标准焊接图像进行比对分析,得到焊接图像样本的焊接数据;

标注子单元,用于对焊接数据中的不合格焊接段进行标注,得到标注后的焊接数据。

其中,分析子单元,还用于将焊接图像样本进行平滑处理,得到去噪后的焊接图像样本;通过Blob分析定位焊接图像样本中的焊接区域,并对焊接区域进行二阶微分处理及Blob分析,得到焊接图像样本的焊接数据。在一些实施例中,焊接数据包括焊接段的高度、焊接段的宽度中的至少一种。

需要说明的是,平滑处理包括高斯滤波处理、均值滤波处理、双边滤波处理中的至少一种。优选地,采用高斯滤波处理对焊接图像样本进行平滑处理。Blob分析是对焊接图像中相同像素(焊点、边缘等)的连通域进行分析。

在其他实施方式中,也可以采用其他的分析手段对焊接图像进行分析,只要能够获取焊接图像中的焊接路径的焊接数据即可。当成像设备为2D的工业相机时,焊接数据可以是焊接段的宽度。当成像设备为三维的工业相机时,焊接数据可以是焊接段的宽度及高度。

需要说明的是,在二阶微分处理后,将焊接路径的起始点作为焊接数据的采集起始点,进行数据采集。在本实施例中,焊接数据是当前焊接段一端的微分点到相邻的另一焊接段的最短距离的集合。为了提高焊接数据的计算效率,在一些实施方式中,可以采用基于OpenCL软件库的高并发处理对算法提速,配合高性能GPU增加算力。

进一步地,标注单元22,具体用于对焊接数据进行一级标注,一级标注的标签包括合格、不合格中的一种;并对焊接数据进行二级标注,二级标注的标签包括重叠缺陷、脱位缺陷、偏位缺陷中的一种,得到标注后的焊接数据。

每个焊接图像样本的焊接数据都设有标签,例如带有正标签的焊接数据,即为标记为合格的焊接数据(焊接图像样本),带有负标签的焊接数据,标记为不合格的焊接数据(焊接图像样本)。不合格标签还包括子标签,子标签具体包括重叠缺陷、脱位缺陷、偏位缺陷中的一种。在设置标签时,可以用(A1)来表示焊接数据的标签,其中,A为一级标注的标签,即表示合格或者不合格;1为二级标注的标签,表示重叠缺陷;那么该焊接图像样本的焊接数据为重叠缺陷导致的不合格。

进一步地,获取单元30,用于:

获取振镜焊接头在焊接不合格焊接段时的第一焊接工艺参数,将第一焊接工艺参数与标注后的焊接图像样本中的不合格焊接段进行关联;

获取振镜焊接头在焊接与不合格焊接段位置相对应的合格焊接段时的第二焊接工艺参数,将第二焊接工艺参数与标注后的焊接图像样本中的合格焊接段进行关联。

在一些实施方式中,焊接工艺参数包括振镜焊接头移动轨迹、振镜焊接头的速度、振镜焊接头的加速度、振镜焊接头的功率中的至少一种。将焊接工艺参数与标注后的焊接数据进行关联,可以清楚地记录焊接图像中的不合格焊接段的焊接工艺参数。在同一规格的工件焊接过程中,同一位置的合格焊接段的焊接工艺参数可以作为优化该不合格焊接段的优化方案。例如振镜焊接头速度在焊接段(L1)时的速度为在V1至V2之间,当振镜焊接头速度大于V2或者小于V1时,焊接段就会出现脱位缺陷或者偏位缺陷。

可以理解地,通过将焊接工艺参数与焊接数据进行关联,有利于视觉检测模型在后续的训练过程中提取焊接工艺参数,从而能够给出造成该类不合格的缺陷的焊接工艺参数范围。示例性地,50个带有重叠缺陷不合格标签的焊接数据中,获取与50个焊接数据关联的焊接工艺参数后,通过分析发现,振镜焊接头的速度均位于(V3,V4)之间,而与不合格焊接段位置相对应的合格焊接段的第二焊接工艺参数中,振镜焊接头的速度均位于(V1,V2)之间,从而可以发现振镜焊接头速度偏离预设范围,容易产生重叠缺陷。

可选地,视觉检测模型包括支持向量机、人工神经网络、随机森林决策中的至少一种。优选地,视觉检测模型为支持向量机模型。

在具体训练过程中,利用支持向量机算法对训练数据进行学习与分类,得到训练后的视觉检测模型的模型参数。

在一些实施方式中,可以通过成像设备采集待检测焊接图像。同样地,在输入视觉检测模型之前,也需要对将待检测焊接图像进行平滑处理,得到去噪后的待检测焊接图像;再通过Blob分析定位待检测焊接图像中的焊接区域,并对焊接区域进行二阶微分处理及Blob分析,得到待检测焊接图像的焊接数据,焊接数据包括焊接段的高度、焊接段的宽度中的至少一种。

视觉检测模型能够提取焊接数据的特征,并基于特征判断焊接数据是合格的还是不合格。在一些实施例中,视觉检测模型输出的数据包括是否合格以及所属缺陷的概率。

输出单元50,还用于:

根据不合格焊接段的标签类型,获取模型中存储的同一类型标签的焊接数据所关联的所有焊接工艺参数;

根据同一类型标签的焊接数据所关联的所有焊接工艺参数,进行特征提取,得到不合格焊接段的焊接工艺参数范围。

示例性地,当待检测焊接图像为偏位缺陷引起的不合格,那么视觉检测模型根据偏位缺陷标签训练后存储的偏位缺陷标签的所有焊接工艺参数;从而使得用户能够根据模型输出的焊接工艺参数范围,适应性地对具体的焊接工艺参数进行调整,以消除偏位缺陷。

本发明实施例提供了一种可读存储介质,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行以下步骤:

根据预设的标准焊接图像控制振镜焊接头进行焊接,得到多个焊接图像样本;将各个焊接图像样本与标准焊接图像进行比对分析,得到焊接图像样本的焊接数据,并对焊接数据中的不合格焊接段进行标注,得到标注后的焊接数据;获取焊接图像样本中的不合格焊接段的焊接工艺参数,并将焊接工艺参数与焊接图像样本的焊接数据进行关联,得到训练数据;构建视觉检测模型,并将训练数据导入视觉检测模型进行训练,得到训练好的视觉检测模型;将采集的待检测焊接图像输入训练好的视觉检测模型,视觉检测模型判断待检测焊接图像是否存在不合格焊接段,并输出不合格焊接段的焊接工艺参数范围,以使得能够根据不合格焊接段的焊接工艺参数范围对振镜焊接头进行参数调整。

可选地,在程序运行时控制存储介质所在设备执行以下步骤:将焊接图像样本进行平滑处理,得到去噪后的焊接图像样本;通过Blob分析定位焊接图像样本中的焊接区域,并对焊接区域进行二阶微分处理及Blob分析,得到焊接图像样本的焊接数据,焊接数据包括焊接段的高度、焊接段的宽度中的至少一种。

可选地,在程序运行时控制存储介质所在设备执行以下步骤:对焊接数据进行一级标注,一级标注的标签包括合格、不合格中的一种;并对焊接数据进行二级标注,二级标注的标签包括重叠缺陷、脱位缺陷、偏位缺陷中的一种,得到标注后的焊接数据。

可选地,在程序运行时控制存储介质所在设备执行以下步骤:获取振镜焊接头在焊接不合格焊接段时的第一焊接工艺参数,将第一焊接工艺参数与标注后的焊接图像样本中的不合格焊接段进行关联;

获取振镜焊接头在焊接与不合格焊接段位置相对应的合格焊接段时的第二焊接工艺参数,将第二焊接工艺参数与标注后的焊接图像样本中的合格焊接段进行关联。

图4是本发明实施例提供的一种计算机设备的示意图。如图4所示,该实施例的计算机设备100包括:处理器101、存储器102以及存储在存储器102中并可在处理器101上运行的计算机程序103,处理器101执行计算机程序103时实现实施例中的生猪体重测量方法,为避免重复,此处不一一赘述。或者,该计算机程序被处理器101执行时实现实施例中生猪体重测量装置中各模型/单元的功能,为避免重复,此处不一一赘述。

计算机设备100可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可包括,但不仅限于,处理器101、存储器102。本领域技术人员可以理解,图3仅仅是计算机设备100的示例,并不构成对计算机设备100的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器101可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器102可以是计算机设备100的内部存储单元,例如计算机设备100的硬盘或内存。存储器102也可以是计算机设备100的外部存储设备,例如计算机设备100上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器102还可以既包括计算机设备100的内部存储单元也包括外部存储设备。存储器102用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器102还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(SynchlinK)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块、子模块和单元完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

技术分类

06120115627099