一种基于计算机视觉的焊缝图像处理方法和系统

技术领域

本发明属于计算机领域，尤其涉及一种基于计算机视觉的焊缝图像处理方法和系统。

背景技术

在产品生产的过程中，当需要对产品的零部件进行拼接固定的时候，采用的拼接固定手段之一就是焊接，但是为了保证焊接质量是符合焊接要求的，一般会对焊缝进行质检，焊缝质量检验方法分为：外观检查、超声波探伤检验、X射线检验。其中为了方便质检人员反复查看方便，在进行外观检查的时候需要对焊缝进行拍照或者进行X射线检验，将所拍照片留底以作复查。

在质检的过程中，通常会采用多种质检手段并用的方式进行质检，这样质检结果会更加准确。焊后除了需要对焊缝进行质检以外，还需要对整个焊件进行应力分析，以便于知道该焊件所能承受的极限应力，但是由于焊接件所能承受的极限应力受焊缝质量好坏的影响较大，因此在进行应力分析的时候需要将焊缝质量的好坏考虑进去。

在进行极限应力分析的时候，现有的做法是人为根据焊缝图像判断焊缝质量的好坏，直接对焊缝处的强度进行系数处理，这种处理方式对焊缝强度的处理不够精确，导致计算出的焊接件能够承受的极限应力与实际测试出的极限应力偏差较大，由于不可能每个焊接件都进行破坏性的极限应力测试实验，导致无法准确的估算出焊接件的极限应力值或者对估算出的极限应力值没有把握。

发明内容

本发明实施例提供一种基于计算机视觉的焊缝图像处理方法和系统，旨在解决在进行极限应力分析的时候，直接对焊缝处的强度进行系数处理，这种处理方式对焊缝强度的处理不够精确，导致无法准确的估算出焊接件的极限应力值或者对估算出的极限应力值没有把握的问题。

本发明实施例是这样实现的，一种基于计算机视觉的焊缝图像处理方法和系统，一方面，所述方法包括：

获取多张焊缝图像；

对多张焊缝图像进行处理，根据多张焊缝图像拟合焊缝的三维模型；

分析多张焊缝图像中异常缺陷信息，将异常缺陷信息拟合到焊缝三维模型中；

将包含异常缺陷信息的焊缝三维模型添加到焊接件三维模型中，对焊接件进行受力模拟分析；

将受力模拟分析得到的理论极限应力值与实际测试的受力结果实际极限应力值进行比较，得出焊接件焊缝处受力分析预测规则。

作为本发明的一种改进方案：所述获取多张焊缝图像具体包括：

在焊缝的周围选择多个参考点进行标记；

从多个角度对焊缝进行摄像，并摄像所得的多张焊缝图像按序进行标号；每张所述焊缝图像与相邻两张焊缝图像之间至少具有两个以上的参考点。

作为本发明的又一种改进方案：所述对多张焊缝图像进行处理，根据多张焊缝图像拟合焊缝的三维模型具体包括：

将多张焊缝图像按标号进行拼接拟合；

拼接时，相邻两张焊缝图像中的相同参考点进行重合，使得焊缝图像保持拍摄时的相对空间位置；

提取拼接完成后焊缝的三维轮廓信息；

对三维轮廓信息进行填充，拟合出具有实体的焊缝三维模型。

作为本发明的另一种改进方案：所述分析多张焊缝图像中异常缺陷信息，将异常缺陷信息拟合到三维模型中具体包括：

根据焊缝图像中各部位的明暗度，提取焊缝图像中的异常缺陷信息；所述异常缺陷至少包括裂纹、气孔、融合不良缝隙或夹渣；

根据异常缺陷信息相对于参考点的空间位置信息，将异常缺陷信息添加到焊缝三维模型中。

作为本发明的进一步方案：所述根据焊缝图像中各部位的明暗度，提取焊缝图像中的异常缺陷信息具体包括：

识别焊缝图像中靠近中心位置的黑直线影像和明暗度与周围有区别的黑折线影像；这部分黑直线影像为融合不良缺陷，黑折线影像为裂纹缺陷；

分别提取黑直线影像和黑折线影像的长度值、宽度值和数量。

作为本发明的再进一步方案：所述根据焊缝图像中各部位的明暗度，提取焊缝图像中的异常缺陷信息具体还包括：

识别焊缝图像中呈现为黑度大于背景黑度的斑点影像；所述斑点影像的形状有圆形、椭圆形或长圆形；这部分斑点影像为气孔缺陷；

提取斑点影像的体积值。

作为本发明的优化方案：所述根据焊缝图像中各部位的明暗度，提取焊缝图像中的异常缺陷信息具体还包括：

识别焊缝图像中呈现为边缘不整齐、黑度均匀的点状或条状影像；所述点状或条状影像为夹渣缺陷；

提取点状或条状影像的体积值。

作为本发明的又一种方案：所述将包含异常缺陷信息的焊缝三维模型添加到焊接件三维模型中，对焊接件进行受力模拟分析具体包括：

将包含异常缺陷信息的焊缝三维模型添加到焊接件三维模型中；

将焊接件三维模型导入到受力分析软件中；

根据不同的异常缺陷对存在异常缺陷的焊缝强度值进行加权处理，得到焊缝的修正强度值；

将修正强度值赋予焊接件三维模型中焊缝处，并对焊接件的其余位置赋予对应的强度值；

对焊接件进行受力模拟分析，得到理论极限应力值。

另一方面，所述系统包括：

图像采集模块，用于获取多张焊缝图像；

焊缝模型拟合模块，用于对多张焊缝图像进行处理，根据多张焊缝图像拟合焊缝的三维模型；

异常缺陷分析模块，用于分析多张焊缝图像中异常缺陷信息，将异常缺陷信息拟合到三维模型中；

理论分析模块，用于将包含异常缺陷信息的焊缝三维模型添加到焊接件三维模型中，对焊接件进行受力模拟分析；

预测规则训练模块，用于将受力模拟分析得到的理论极限应力值与实际测试的受力结果实际极限应力值进行比较，得出焊接件焊缝处受力分析预测规则。

本发明的有益效果：通过图像采集设备获取多张焊缝图像，然后对多张焊缝图像进行处理，根据多张焊缝图像拟合出焊缝三维模型；接着分析多张焊缝图像中异常缺陷信息，将异常缺陷信息拟合到焊缝三维模型中；将包含异常缺陷信息的焊缝三维模型添加到焊接件三维模型中，对焊接件进行受力模拟分析；将受力模拟分析得到的理论极限应力值与实际测试的受力结果实际极限应力值进行比较，得出焊接件焊缝处受力分析预测规则。通过受力分析得到焊接件的理论极限应力值，进而利用预测规则得出较为准确的接近实际极限应力值的预测值，解决在进行极限应力分析的时候，对焊缝处的强度进行系数处理的处理方式不够精确，导致无法准确的估算出焊接件的极限应力值或者对估算出的极限应力值没有把握的问题。

附图说明

图1是一种基于计算机视觉的焊缝图像处理方法运行环境示意图；

图2是一种基于计算机视觉的焊缝图像处理方法主流程图；

图3是一种基于计算机视觉的焊缝图像处理方法中图像处理流程图；

图4是一种基于计算机视觉的焊缝图像处理方法中异常缺陷识别流程图；

图5是一种基于计算机视觉的焊缝图像处理方法中理论分析流程图；

图6是一种基于计算机视觉的焊缝图像处理系统内部结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明通过图像采集设备获取多张焊缝图像，然后对多张焊缝图像进行处理，根据多张焊缝图像拟合出焊缝三维模型；接着分析多张焊缝图像中异常缺陷信息，将异常缺陷信息拟合到焊缝三维模型中；将包含异常缺陷信息的焊缝三维模型添加到焊接件三维模型中，对焊接件进行受力模拟分析；将受力模拟分析得到的理论极限应力值与实际测试的受力结果实际极限应力值进行比较，得出焊接件焊缝处受力分析预测规则。通过受力分析得到焊接件的理论极限应力值，进而利用预测规则得出较为准确的接近实际极限应力值的预测值，解决在进行极限应力分析的时候，对焊缝处的强度进行系数处理的处理方式不够精确，导致无法准确的估算出焊接件的极限应力值或者对估算出的极限应力值没有把握的问题。

图1示出了本发明实施例的一种基于计算机视觉的焊缝图像处理方法运行环境示意图，所述方法在图中所述的基于计算机视觉的焊缝图像处理系统中运行，该系统从图像采集设备（射线质检设备1或摄像设备2）中获取焊缝图像，其中摄像设备2获取的是彩色的肉眼也可以区分识别的照片，射线质检设备1获取的是投射在底片上的呈现黑白的图像，焊缝图像处理系统对获取的图像进行处理拟合，将提取的带有焊缝的焊件三维模型导入到受力分析软件搭载设备3中，在受力分析软件中对焊件进行受力分析得到理论极限应力值，将该值反馈到系统并录入实验测试得到的实际极限应力值，得到较为准确的预测规则，便于通过应力分析软件得到理论极限应力值直接推导出接近实际的极限应力值。其中软件搭载设备3可以是台式计算机设备，也可以是平板电脑，或者计算终端等。

图2示出了本发明实施例的一种基于计算机视觉的焊缝图像处理方法主流程图，所述方法包括：

步骤S10：获取多张焊缝图像。获取的焊接图像可以是彩色照片还可以呈现在底片上的黑白图像，射线质检设备1优选焊缝质检中常采用的X射线质检设备，X射线能够穿透金属焊缝，经过x射线照射，由于焊缝中可能存在缺陷，使得焊缝内材质分布不均匀，投射在底片上的黑白图像在颜色深度上存在色差，焊缝中存在的缝隙和气孔使得图像中出现颜色较深的区域。

步骤S11：对多张焊缝图像进行处理，根据多张焊缝图像拟合焊缝的三维模型。由于焊缝的焊接存在很多不确定因素，因此焊缝的边缘及大小不会每次都相同，形状也存在差异，因此需要对焊缝进行真实的还原，使得接下来的受力分析更接近真实状况。

步骤S12：分析多张焊缝图像中异常缺陷信息，将异常缺陷信息拟合到焊缝三维模型中。将异常缺陷也按照真实情况尽可能一一复原到焊缝三维模型中，使得焊缝更接近真实情况。

步骤S13：将包含异常缺陷信息的焊缝三维模型添加到焊接件三维模型中，对焊接件进行受力模拟分析。对焊件进行整体分析，使得焊缝处的受力分析以及焊件的受力分析准确性更高。

步骤S14：将受力模拟分析得到的理论极限应力值与实际测试的受力结果实际极限应力值进行比较，得出焊接件焊缝处受力分析预测规则。这里所述的比较是指通过对焊缝中所包含的异常缺陷进行分析，并将异常缺陷对焊缝强度的影响添加到受力分析中，通过多次试验，得到理论极限应力值和实际极限应力值的关系，将这种关系定义为预测规则，进而通过这种预测规则和理论极限应力值分析出实际极限应力值。

图3示出了本发明实施例的一种基于计算机视觉的焊缝图像处理方法中图像处理流程图，所述获取多张焊缝图像具体包括：

步骤S20：在焊缝的周围选择多个参考点进行标记。

步骤S21：从多个角度对焊缝进行摄像，并摄像所得的多张焊缝图像按序进行标号；每张所述焊缝图像与相邻两张焊缝图像之间至少具有两个以上的参考点。

在上述步骤之后，所述对多张焊缝图像进行处理，根据多张焊缝图像拟合焊缝的三维模型具体包括：

步骤S22：将多张焊缝图像按标号进行拼接拟合。

步骤S23：拼接时，相邻两张焊缝图像中的相同参考点进行重合，使得焊缝图像保持拍摄时的相对空间位置。

步骤S24：提取拼接完成后焊缝的三维轮廓信息。

步骤S25：对三维轮廓信息进行填充，拟合出具有实体的焊缝三维模型。

图4示出了本发明实施例的一种基于计算机视觉的焊缝图像处理方法中异常缺陷识别流程图，所述分析多张焊缝图像中异常缺陷信息，将异常缺陷信息拟合到三维模型中具体包括：

步骤S30：根据焊缝图像中各部位的明暗度，提取焊缝图像中的异常缺陷信息；所述异常缺陷至少包括裂纹、气孔、融合不良缝隙或夹渣。当然除此之外，在实际情况中，所述异常缺陷还可能包括咬边、烧穿、焊瘤等，但是后三种缺陷可以通过眼睛直接判断出来，识别较为简单，当出现这三种情况时，烧穿是直接损坏焊件本身，咬边和焊瘤可以通过后处理进行解决且对焊缝本身强度负面影响较小，可以不作考虑。

步骤S31：根据异常缺陷信息相对于参考点的空间位置信息，将异常缺陷信息添加到焊缝三维模型中。

在本实施例的一种情况中，所述根据焊缝图像中各部位的明暗度，提取焊缝图像中的异常缺陷信息具体包括：

步骤S310：识别焊缝图像中靠近中心位置的黑直线影像和明暗度与周围有区别的黑折线影像；这部分黑直线影像为融合不良缺陷，黑折线影像为裂纹缺陷。由于焊接操作是从外向内进行融化的，如果焊件没有焊透，只会是区域中心的区域没有被完全融化焊透，因此会在图像的中心位置出现一条黑色直线，这条直线可能是连续的，也可能是断续的，宽度和长度都不一定。另外对于裂纹与未焊透造成的图像虽然都是线性的，但是裂纹是随机产生的，不一定分布在中心区域，另外裂纹的上方可能会有金属焊缝的存在，因此裂纹处的影响黑度较未焊透产生的线条黑度低。

步骤S311：分别提取黑直线影像和黑折线影像的长度值L1、L2、宽度值W1、W2和数量N1、N2。

在本实施例的又一种情况中，所述根据焊缝图像中各部位的明暗度，提取焊缝图像中的异常缺陷信息具体还包括：

步骤S320：识别焊缝图像中呈现为黑度大于背景黑度的斑点影像；所述斑点影像的形状有圆形、椭圆形或长圆形；这部分斑点影像为气孔缺陷。气孔在射线底片上呈现的形状较为规则，犹如水中的气泡，黑度一般比较大，影影像清晰。

步骤S321：提取斑点影像的体积值V1。

在本实施例的另一种情况中，所述根据焊缝图像中各部位的明暗度，提取焊缝图像中的异常缺陷信息具体还包括：

步骤S330：识别焊缝图像中呈现为边缘不整齐、黑度均匀的点状或条状影像；所述点状或条状影像为夹渣缺陷。夹渣分为点状夹渣，密集型夹渣以及条状夹渣，但是这三种本质上还是两种，密集型夹渣是由多个点状或者条状夹渣组合而成的，由于夹渣形状不规则，边缘不整齐，黑度较大且均匀，因此较为容易辨识出来。

步骤S331：提取点状或条状影像的体积值V2。

图5示出了本发明实施例的一种基于计算机视觉的焊缝图像处理方法中理论分析流程图，所述将包含异常缺陷信息的焊缝三维模型添加到焊接件三维模型中，对焊接件进行受力模拟分析具体包括：

步骤S40：将包含异常缺陷信息的焊缝三维模型添加到焊接件三维模型中。

步骤S41：将焊接件三维模型导入到受力分析软件中。

步骤S42：根据不同的异常缺陷对存在异常缺陷的焊缝强度值进行加权处理，得到焊缝的修正强度值。例如焊缝的理论强度值为A，由于焊缝中存在各种缺陷，对焊缝理论强度值A进行修正，

修正强度值A1=（aL1W1N1+bL2W2N2+cV1+dV2）A，其中a，b，c，d为加权系数，（aL1W1N1+bL2W2N2+cV1+dV2）为修正系数。

步骤S43：将修正强度值赋予焊接件三维模型中焊缝处，并对焊接件的其余位置赋予对应的强度值。

步骤S44：对焊接件进行受力模拟分析，得到理论极限应力值。

图6示出了本发明实施例的一种基于计算机视觉的焊缝图像处理系统内部结构示意图，所述系统包括：

图像采集模块100，用于获取多张焊缝图像。

焊缝模型拟合模块200，用于对多张焊缝图像进行处理，根据多张焊缝图像拟合焊缝的三维模型。

异常缺陷分析模块300，用于分析多张焊缝图像中异常缺陷信息，将异常缺陷信息拟合到三维模型中。

理论分析模块400，用于将包含异常缺陷信息的焊缝三维模型添加到焊接件三维模型中，对焊接件进行受力模拟分析。

预测规则训练模块500，用于将受力模拟分析得到的理论极限应力值与实际测试的受力结果实际极限应力值进行比较，得出焊接件焊缝处受力分析预测规则。

为了能够加载上述方法和系统能够顺利运行，该系统除了包括上述各种模块之外，还可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线、处理器和存储器等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述客户端或者社交系统的控制中心，利用各种接口和线路连接整个用户终端的各个部分。

上述存储器可用于存储计算机以及系统程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述客户端的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如信息采集模板展示功能、产品信息发布功能等）等；存储数据区可存储根据泊位状态显示系统的使用所创建的数据（比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（FlashCard）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。