掌桥专利:专业的专利平台
掌桥专利
首页

一种焊接摄像头和雷达的监控方法、系统及可读存储介质

文献发布时间:2024-04-18 19:58:26


一种焊接摄像头和雷达的监控方法、系统及可读存储介质

技术领域

本申请涉及图像识别技术领域,尤其涉及一种焊接摄像头和雷达的监控方法、系统及可读存储介质。

背景技术

随着汽车电子化和智能化的深入发展,车载摄像头作为一种重要的传感器,已经在很大程度上影响着汽车的性能和安全性。在生产这些摄像头的过程中,一种常见的方法是基于对称性的原理,在同一时间点焊接多个点(虽然焊接多个点在同一时间点进行,但这并非严格意义上的同时性,而是一种相对同时性。也就是说,这些焊接点会在一个极短的时间范围内,例如0.1、0.3、0.5秒之间,依次完成焊接)。这种方法可以显著提高生产效率,但同时也导致了一个问题,那就是焊接过程中材料应力的变化。

目前,为了监控焊接过程中的应力变化,相关技术中的计算机模拟方法则需要通过对焊接过程的模拟计算,预测焊接过程中的应力变化。但相关技术中的计算机模拟方法则需要大量的计算资源,且准确度受限于模拟模型的复杂度和准确性。

发明内容

本申请提供了一种焊接摄像头和雷达的监控方法、系统及可读存储介质,该方法无需大量的计算资源,且不受模拟模型的复杂度和准确性的限制,能够准确、高效地预测焊接过程中的应力变化。

第一方面,本申请提供了一种焊接摄像头和雷达的监控方法,方法包括:在确定待焊接装置处于焊接阶段的情况下,获取待焊接装置的图像组;根据图像组利用图像解析力算法得到清晰化变化率;将清晰化变化率输入清晰度应力映射模型得到待焊接装置的应力变化。

在上述实施例中,通过获取待焊接装置的图像组,利用图像解析力算法得到清晰化变化率,并将清晰化变化率输入清晰度应力映射模型,得到待焊接装置的应力变化,该方法能够实时、直观地观察和监控焊接过程中的应力变化。相较于现有技术的计算机模拟方法,本方法无需大量的计算资源,且不受模拟模型的复杂度和准确性的限制,能够准确、高效地预测焊接过程中的应力变化,从而提高焊接质量,优化生产效率。

结合第一方面的一些实施例,在一些实施例中,图像组具体包括:焊接待焊接装置之前,包含待焊接装置的待检测平面的第一图像;焊接待焊接装置之后,包含待检测平面的第二图像。

在上述实施例中,通过对比焊接前后的图像,可以直观地观察和分析焊接对待焊接装置应力变化,同时仅获取焊接前和焊接后的图像,有效地避免了焊接过程中火星带来的照射强度变化对图像清晰度的影响。

结合第一方面的一些实施例,在一些实施例中,图像组还包括:焊接待焊接装置时,以预设时间间隔顺序拍摄待检测平面得到的若干个第三图像。

在上述实施例中,通过在焊接过程中以预设的时间间隔顺序拍摄待检测平面获得的若干个第三图像,可以获取更多关于焊接过程的信息,这些信息可以帮助明确了解应力是在焊接过程的哪个阶段发生变化的,从而为提供了深入理解和优化焊接过程的可能性。

结合第一方面的一些实施例,在一些实施例中,图像组还包括:与第一图像拍摄时间对应的焊接装置周围的第四图像;与第二图像拍摄时间对应的焊接装置周围的第五图像;与若干个第三图像拍摄时间一一对应的焊接装置周围的若干个第六图像;根据图像组利用图像解析力算法得到清晰化变化率具体包括:根据第一图像、若干个第三图像、第二图像确定待检测平面的第一清晰化变化率;根据第四图像、若干个第六图像、第五图像确定焊接装置周围的第二清晰化变化率;根据第一清晰化变化率和第二清晰化变化率确定清晰化变化率。

在上述实施例中,图像组还包含与焊接装置周围环境相关的图像,这样可以在计算图像清晰化变化率时考虑到环境因素,包括火星照射强度的变化。通过比较待检测平面和焊接装置周围的清晰化变化率,可以更准确地分析出由应力变化引起的清晰度变化,从而消除火星照射强度变化对图像清晰度的影响,提高了焊接过程中的应力变化预测的准确性。

结合第一方面的一些实施例,在一些实施例中,图像组还包括:与第一图像拍摄时间对应的第一预测图像,第一预测图像由第一图像拍摄时间对应的焊接装置周围的全部图像映射得到;与第二图像拍摄时间对应的第二预测图像,第二预测图像由第二图像拍摄时间对应的焊接装置周围的全部图像映射得到;与若干个第三图像拍摄时间一一对应的若干个第三预测图像,第三预测图像由第三图像拍摄时间对应的焊接装置周围的全部图像映射得到;根据图像组利用图像解析力算法得到清晰化变化率具体包括:根据第一图像、若干个第三图像、第二图像确定待检测平面的第一清晰化变化率;根据第一预测图像、若干个第三预测图像、第二预测图像确定待检测平面的第三清晰化变化率;根据第一清晰化变化率和第三清晰化变化率确定清晰化变化率。

在上述实施例中,预测图像是由焊接装置周围的全部图像映射得到,它能够模拟出与待检测平面在同一时间点的环境状态,而并无待检测装置本身的影响。通过这种方式,可以更准确地计算出由环境变化导致的图像清晰化变化率。这样,可以比较原图像和预测图像的清晰化变化率,从而更准确地分析出由待检测装置本身引起的图像清晰化变化率。

结合第一方面的一些实施例,在一些实施例中,根据第一预测图像、若干个第三预测图像、第二预测图像确定待检测平面的第一清晰化变化率之前,方法还包括:将第一预测图像与第一图像配准;将第二预测图像与第二图像配准;将若干个第三预测图像与其一一对应的若干个第三图像配准。

在上述实施例中,通过在确定待检测平面的清晰化变化率之前,将预测图像与实际图像进行配准,可以确保预测图像和实际图像在空间布局上的一致性。这种配准步骤可以校准预测图像和实际图像之间可能存在的区域差异,进一步提高了清晰化变化率计算的准确性。这种方法弥补了预测图像可能与实际图像区域不一致的问题。

结合第一方面的一些实施例,在一些实施例中,在确定待焊接装置处于焊接阶段的情况下,获取待焊接装置的图像组之前,方法还包括;将第一图像的全部像素点确定为未填充像素点;选择第一图像的一个未填充像素点;在第一图像拍摄时间对应的焊接装置周围的全部图像中确定一个和未填充像素点周围像素最相似的纹理块;将纹理块的平均像素值赋给该未填充像素点;将该未填充像素点确定为已填充像素点;跳转选择第一图像的一个未填充像素点步骤,直到第一图像的全部像素点均确定为已填充像素点。

在上述实施例中,获取待焊接装置的图像组之前,通过对第一图像的像素点进行纹理块的平均像素值填充,完成对图像的预测操作。

第二方面,本申请提供了一种焊接摄像头和雷达的监控系统,焊接摄像头和雷达的监控系统包括服务器,服务器包括:

获取模块,用于在确定待焊接装置处于焊接阶段的情况下,获取待焊接装置的图像组;

清晰化模块,用于根据图像组利用图像解析力算法得到清晰化变化率;

应力模块,用于将清晰化变化率输入清晰度应力映射模型得到待焊接装置的应力变化。

结合第二方面的一些实施例,在一些实施例中,图像组具体包括:

焊接待焊接装置之前,包含待焊接装置的待检测平面的第一图像;

焊接待焊接装置之后,包含待检测平面的第二图像。

结合第二方面的一些实施例,在一些实施例中,图像组还包括:

焊接待焊接装置时,以预设时间间隔顺序拍摄待检测平面得到的若干个第三图像。

结合第二方面的一些实施例,在一些实施例中,图像组还包括:

与第一图像拍摄时间对应的焊接装置周围的第四图像;

与第二图像拍摄时间对应的焊接装置周围的第五图像;

与若干个第三图像拍摄时间一一对应的焊接装置周围的若干个第六图像;

清晰化模块具体包括:

第一清晰化子模块,用于根据第一图像、若干个第三图像、第二图像确定待检测平面的第一清晰化变化率;

第二清晰化子模块,用于根据第四图像、若干个第六图像、第五图像确定焊接装置周围的第二清晰化变化率;

第三清晰化子模块,用于根据第一清晰化变化率和第二清晰化变化率确定清晰化变化率。

结合第二方面的一些实施例,在一些实施例中,图像组还包括:

与第一图像拍摄时间对应的第一预测图像,第一预测图像由第一图像拍摄时间对应的焊接装置周围的全部图像映射得到;

与第二图像拍摄时间对应的第二预测图像,第二预测图像由第二图像拍摄时间对应的焊接装置周围的全部图像映射得到;

与若干个第三图像拍摄时间一一对应的若干个第三预测图像,第三预测图像由第三图像拍摄时间对应的焊接装置周围的全部图像映射得到;

清晰化模块具体包括:

第四清晰化子模块,用于根据第一图像、若干个第三图像、第二图像确定待检测平面的第一清晰化变化率;

第五清晰化子模块,用于根据第一预测图像、若干个第三预测图像、第二预测图像确定待检测平面的第三清晰化变化率;

第六清晰化子模块,用于根据第一清晰化变化率和第三清晰化变化率确定清晰化变化率。

结合第二方面的一些实施例,在一些实施例中,服务器还包括:

第一配准模块,用于将第一预测图像与第一图像配准;

第二配准模块,用于将第二预测图像与第二图像配准;

第三配准模块,用于将若干个第三预测图像与其一一对应的若干个第三图像配准。

结合第二方面的一些实施例,在一些实施例中,服务器还包括:

第一确定模块,用于将第一图像的全部像素点确定为未填充像素点;

选择模块,用于选择第一图像的一个未填充像素点;

第二确定模块,用于在第一图像拍摄时间对应的焊接装置周围的全部图像中确定一个和未填充像素点周围像素最相似的纹理块;

赋值模块,用于将纹理块的平均像素值赋给该未填充像素点;

第三确定模块,用于将该未填充像素点确定为已填充像素点;

跳转模块,用于跳转选择第一图像的一个未填充像素点步骤,直到第一图像的全部像素点均确定为已填充像素点。

第三方面,本申请实施例提供了一种焊接摄像头和雷达的监控系统,该系统包括:一个或多个处理器和存储器;

该存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器调用该计算机指令以使得该焊接摄像头和雷达的监控系统执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

第四方面,本申请实施例提供一种包含指令的计算机程序产品,当上述计算机程序产品在服务器上运行时,使得上述服务器执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

第五方面,本申请实施例提供一种计算机可读存储介质,包括指令,当上述指令在服务器上运行时,使得上述服务器执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

可以理解地,上述第二方面提供的焊接摄像头和雷达的监控系统、第三方面提供的焊接摄像头和雷达的监控系统、第四方面提供的计算机程序产品和第五方面提供的计算机存储介质均用于执行本申请实施例所提供的焊接摄像头和雷达的监控方法。因此,其所能达到的有益效果可参考对应方法中的有益效果,此处不再赘述。

本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:

1、本申请提供的焊接摄像头和雷达的监控方法,通过获取待焊接装置的图像组,利用图像解析力算法得到清晰化变化率,并将清晰化变化率输入清晰度应力映射模型,得到待焊接装置的应力变化,该方法能够实时、直观地观察和监控焊接过程中的应力变化。相较于现有技术的计算机模拟方法,本方法无需大量的计算资源,且不受模拟模型的复杂度和准确性的限制,能够准确、高效地预测焊接过程中的应力变化,从而提高焊接质量,优化生产效率。

2、本申请提供的焊接摄像头和雷达的监控方法,通过对比焊接前后的图像,可以直观地观察和分析焊接对待焊接装置应力变化,同时通过仅获取焊接前和焊接后的图像,有效地避免了焊接过程中火星带来的照射强度变化对图像清晰度的影响。

3、本申请提供的焊接摄像头和雷达的监控方法,通过在焊接过程中以预设的时间间隔顺序拍摄待检测平面获得的若干个第三图像,可以获取更多关于焊接过程的信息,这些信息可以帮助明确了解应力是在焊接过程的哪个阶段发生变化的,从而为提供了深入理解和优化焊接过程的可能性。

4、本申请提供的焊接摄像头和雷达的监控方法,图像组还包含与焊接装置周围环境相关的图像,这样可以在计算图像清晰化变化率时考虑到环境因素,包括火星照射强度的变化。通过比较待检测平面和焊接装置周围的清晰化变化率,可以更准确地分析出由应力变化引起的清晰度变化,从而消除火星照射强度变化对图像清晰度的影响,提高了焊接过程中的应力变化预测的准确性。

5、本申请提供的焊接摄像头和雷达的监控方法,预测图像是由焊接装置周围的全部图像映射得到,它能够模拟出与待检测平面在同一时间点的环境状态,而并无待检测装置本身的影响。通过这种方式,可以更准确地计算出由环境变化导致的图像清晰化变化率。这样,可以比较原图像和预测图像的清晰化变化率,从而更准确地分析出由待检测装置本身引起的图像清晰化变化率。

附图说明

图1为本申请提供的焊接摄像头和雷达的监控方法的一个流程示意图。

图2为本申请提供的焊接摄像头和雷达的监控方法的另一个流程示意图。

图3为本申请提供的焊接摄像头和雷达的监控方法的另一个流程示意图。

图4为本申请提供的焊接摄像头和雷达的监控方法的另一个流程示意图。

图5为本申请提供的焊接摄像头和雷达的监控方法的另一个流程示意图。

图6为本申请提供的焊接摄像头和雷达的监控系统的模块化虚拟装置的示意图。

图7为本申请提供的焊接摄像头和雷达的监控系统的实体装置的示意图。

具体实施方式

本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指包含一个或多个所列出项目的任何或所有可能组合。

以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。

下面对本实施例中焊接摄像头和雷达的监控方法进行描述:

如图1所示,图1为本申请提供的焊接摄像头和雷达的监控方法的一个流程示意图。

S101、在确定待焊接装置处于焊接阶段的情况下,获取待焊接装置的图像组。

容易想到的是,需要确定待焊接装置已经处于焊接阶段。这是因为在焊接阶段,装置将会产生特定的应力变化,导致待焊接装置产生微小的形变。

图像组可以通过摄像头来获取。在获取图像组时,需要注意的是,要确保图像的质量足够清晰,优选的,聚焦于待焊接装置的平面,因为待焊接装置的平面对于应力变化及其敏感,因为这将直接影响到后续的图像解析力算法的准确性。

虽然焊接多个点在同一时间点进行,但这并非严格意义上的同时性,而是一种相对同时性。也就是说,这些焊接点会在一个极短的时间范围内,例如0.1、0.3、0.5秒之间,依次完成焊接。

S102、根据图像组利用图像解析力算法得到清晰化变化率。

在本实施例中,图像解析力算法为SFR,即Spatial Frequency Response,其具体的步骤为:0、获取垂直斜边的ROI;1、进行数据的归一化;2、计算图像每一行的像素矩心;3、对每行的矩心使用最小二乘法进行线性拟合,获得一条关于矩心的直线;4、重新定位ROI,获得ESF;5、对获得的ESF进行四倍超采样;6、通过差分运算获得LSF;7、对LSF应用汉明窗;8、进行DFT运算。图像解析力算法的具体使用及原理已经较为成熟,此处不做限定。

承接上例,相机对焦时,是根据物体的距离、形状、和大小来调整的。如果物体发生形变,可能会改变物体与相机的距离或者物体的形状和大小,这可能会导致相机的对焦不准确,从而影响图像的清晰度。同时物体的形状和表面质地会影响光线的散射和反射。如果物体发生形变,可能会改变光线的散射和反射的模式,这可能会导致图像的清晰度发生变化。

S103、将清晰化变化率输入清晰度应力映射模型得到待焊接装置的应力变化。

以清晰化变化率作为输入数据,应力变化作为输出数据训练预设的清晰度应力映射模型,这个清晰度应力映射模型可以是任何已知的模型,例如深度神经网络、卷积神经网络或循环神经网络等,优选的是一个数学模型,更为具体的是一个基于映射关系的数学模型。

可见,通过获取待焊接装置的图像组,利用图像解析力算法得到清晰化变化率,并将清晰化变化率输入清晰度应力映射模型,得到待焊接装置的应力变化,该方法能够实时、直观地观察和监控焊接过程中的应力变化。相较于现有技术的计算机模拟方法,本方法无需大量的计算资源,且不受模拟模型的复杂度和准确性的限制,能够准确、高效地预测焊接过程中的应力变化,从而提高焊接质量,优化生产效率

下面以4种更加具体的方式为例,结合图2至5所示实施例,对本申请实施例进行更加具体的描述:

第一种实施例,如图2所示,图2为本申请提供的焊接摄像头和雷达的监控方法的一个流程示意图。

S201、在确定待焊接装置处于焊接阶段的情况下,获取待焊接装置的图像组,图像组包括:焊接待焊接装置之前,包含待焊接装置的待检测平面的第一图像;焊接待焊接装置之后,包含待检测平面的第二图像。

需要说明的是,焊接过程中会产生大量的火星,这些火星会散发出强烈的光芒。这种光的强度变化可能会影响图像的清晰度。例如,当火星的光芒照射到待检测平面时,它可能会导致图像过曝,使图像的某些部分变得过亮,从而降低图像的清晰度。反之,当火星的光芒消失时,图像可能会变得过暗,从而增加图像的噪声,也会降低图像的清晰度。

因此,可以联想到第一图像与第二图像分别是焊接前与焊接后的图像,因此第一图像与第二图像中不会含有火星产生的噪声。

S202、根据第一图像和第二图像利用图像解析力算法得到清晰化变化率。

此实施例采用的步骤与上述实施例采用的步骤属于同一构思,其具体实现过程详见步骤S102,此处不在赘述。

S203、将清晰化变化率输入清晰度应力映射模型得到待焊接装置的应力变化。

此实施例采用的步骤与上述实施例采用的步骤属于同一构思,其具体实现过程详见步骤S103,此处不在赘述。

可见,通过对比焊接前后的图像,可以直观地观察和分析焊接对待焊接装置应力变化,同时仅获取焊接前和焊接后的图像,有效地避免了焊接过程中火星带来的照射强度变化对图像清晰度的影响。

上述实施例在实际的使用过程中,会产生一个新的问题,即焊接前和焊接后的图像确实可以帮助了解应力变化的总体情况,但由于缺乏焊接过程中的图像,无法确定这些应力变化是在焊接过程的哪个阶段发生的。这可能会限制对焊接过程的深入理解和优化。例如,可能无法确定哪个阶段的应力变化最大。因此,这可能会让错过一些重要的改进焊接过程的机会。此外,如果焊接过程中的某个阶段出现了问题,也可能无法及时发现和解决,因此以一种解决上述问题的方式为例,结合图3所示实施例,对本申请实施例进行更加具体的描述:

第二种实施例,如图3所示,图3为本申请提供的焊接摄像头和雷达的监控方法的一个流程示意图。

S301、在确定待焊接装置处于焊接阶段的情况下,获取待焊接装置的图像组,图像组包括:焊接待焊接装置之前,包含待焊接装置的待检测平面的第一图像;焊接待焊接装置之后,包含待检测平面的第二图像;焊接待焊接装置时,以预设时间间隔顺序拍摄待检测平面得到的若干个第三图像。

此实施例采用的步骤与上述实施例采用的步骤属于同一构思,其具体实现过程详见步骤S201,此处不在赘述。

S302、根据第一图像、第二图像和若干个第三图像利用图像解析力算法得到清晰化变化率。

将焊接前的第一图像输入到图像解析力算法中,得到第一清晰度,这个清晰度可以视为焊接过程的初始状态,它将作为后续清晰度变化率计算的基准。将焊接后的第二图像输入到同样的图像解析力算法中,得到第二清晰度,通过第一清晰度与第二清晰度相比较,可以得到总清晰度变化率,总清晰度变化率反映了焊接过程对装置状态的影响。继续将焊接过程中以预设时间间隔顺序拍摄的若干个第三图像输入到图像解析力算法中。对于每一张第三图像,都会计算其清晰度,并与前一张图像的清晰度进行比较,得到这段时间内的清晰度变化率。

因此,不仅可以得到焊接前后的清晰度变化率,还可以得到焊接过程中每个预设时间段的清晰度变化率,这些清晰化变化率数据可以为提供焊接过程中应力变化的详细信息,帮助更好地理解和控制焊接过程。

S303、将清晰化变化率输入清晰度应力映射模型得到待焊接装置的应力变化。

此实施例采用的步骤与上述实施例采用的步骤属于同一构思,其具体实现过程详见步骤S103,此处不在赘述。

可见,通过在焊接过程中以预设的时间间隔顺序拍摄待检测平面获得的若干个第三图像,可以获取更多关于焊接过程的信息,这些信息可以帮助明确了解应力是在焊接过程的哪个阶段发生变化的,从而为提供了深入理解和优化焊接过程的可能性。

上述实施例提供了深入理解和优化焊接过程的可能性,但在实际的使用过程中,焊接过程中会产生大量的火星,这些火星会散发出强烈的光芒。这种光的强度变化可能会影响图像的清晰度。例如,当火星的光芒照射到待检测平面时,它可能会导致图像过曝,使图像的某些部分变得过亮,从而降低图像的清晰度。反之,当火星的光芒消失时,图像可能会变得过暗,从而增加图像的噪声,也会降低图像的清晰度,因此以一种解决上述问题的方式为例,结合图4所示实施例,对本申请实施例进行更加具体的描述:

第三种实施例,如图4所示,图4为本申请提供的焊接摄像头和雷达的监控方法的一个流程示意图。

S401、在确定待焊接装置处于焊接阶段的情况下,获取待焊接装置的图像组,图像组包括:焊接待焊接装置之前,包含待焊接装置的待检测平面的第一图像;焊接待焊接装置之后,包含待检测平面的第二图像;焊接待焊接装置时,以预设时间间隔顺序拍摄待检测平面得到的若干个第三图像;与第一图像拍摄时间对应的焊接装置周围的第四图像;与第二图像拍摄时间对应的焊接装置周围的第五图像;与若干个第三图像拍摄时间一一对应的焊接装置周围的若干个第六图像。

第一图像将作为基准图像,用于参考和比较,而第四图像则用于记录焊接过程开始时的环境光线条件。

同理第二图像和第五图像,这两张图像将被用于与基准图像进行对比,评估焊接过程对待检测平面和环境光线条件的影响。

同理,以预设的时间间隔顺序拍摄待检测平面,得到若干个第三图像,以及与这些第三图像拍摄时间一一对应的焊接装置周围的若干个第六图像。这些图像将被用于监测焊接过程中的动态变化。

S402、根据第一图像、若干个第三图像、第二图像确定待检测平面的第一清晰化变化率。

此实施例采用的步骤与上述实施例采用的步骤属于同一构思,其具体实现过程详见步骤S302,此处不在赘述。

S403、根据第四图像、若干个第六图像、第五图像确定焊接装置周围的第二清晰化变化率。

此实施例采用的步骤与上述实施例采用的步骤属于同一构思,其具体实现过程详见步骤S302,此处不在赘述。

S404、根据第一清晰化变化率和第二清晰化变化率确定清晰化变化率。

这个过程涉及到对第一清晰化变化率和第二清晰化变化率进行比较和综合,以尝试消除光线变化的影响,并更准确地反映待检测平面的真实变化。具体来说,首先将第一清晰化变化率和第二清晰化变化率进行比较,然后根据比较结果调整第一清晰化变化率,以消除光线变化的影响。最后,将调整后的第一清晰化变化率作为最终的清晰化变化率。

S405、将清晰化变化率输入清晰度应力映射模型得到待焊接装置的应力变化。

此实施例采用的步骤与上述实施例采用的步骤属于同一构思,其具体实现过程详见步骤S103,此处不在赘述。

可见,图像组还包含与焊接装置周围环境相关的图像,这样可以在计算图像清晰化变化率时考虑到环境因素,包括火星照射强度的变化。通过比较待检测平面和焊接装置周围的清晰化变化率,可以更准确地分析出由应力变化引起的清晰度变化,从而消除火星照射强度变化对图像清晰度的影响,提高了焊接过程中的应力变化预测的准确性。

上述实施例消除火星照射强度变化对图像清晰度的影响,但在实际的使用过程中,但由于待检测平面和焊接装置周围不是同一个区域,还是可能存在一定的误差。因此以一种解决上述问题的方式为例,结合图5所示实施例,对本申请实施例进行更加具体的描述:

第四种实施例,如图5所示,图5为本申请提供的焊接摄像头和雷达的监控方法的一个流程示意图。

S501、在确定待焊接装置处于焊接阶段的情况下,获取待焊接装置的图像组,图像组包括:焊接待焊接装置之前,包含待焊接装置的待检测平面的第一图像;焊接待焊接装置之后,包含待检测平面的第二图像;焊接待焊接装置时,以预设时间间隔顺序拍摄待检测平面得到的若干个第三图像;与第一图像拍摄时间对应的第一预测图像,第一预测图像由第一图像拍摄时间对应的焊接装置周围的全部图像映射得到;与第二图像拍摄时间对应的第二预测图像,第二预测图像由第二图像拍摄时间对应的焊接装置周围的全部图像映射得到;与若干个第三图像拍摄时间一一对应的若干个第三预测图像,第三预测图像由第三图像拍摄时间对应的焊接装置周围的全部图像映射得到。

与第一图像拍摄时间对应的第一预测图像,第一预测图像由第一图像拍摄时间对应的焊接装置周围的全部图像映射得到的具体方法为:

将第一图像的全部像素点确定为未填充像素点;选择第一图像的一个未填充像素点;在第一图像拍摄时间对应的焊接装置周围的全部图像中确定一个和未填充像素点周围像素最相似的纹理块;将纹理块的平均像素值赋给该未填充像素点;将该未填充像素点确定为已填充像素点;跳转选择第一图像的一个未填充像素点步骤,直到第一图像的全部像素点均确定为已填充像素点。

可见,获取待焊接装置的图像组之前,通过对第一图像的像素点进行纹理块的平均像素值填充,完成对图像的预测操作。

同理,第二预测图像和第三预测图像按照同样方法得到。

在实际的使用过程中,第一预测图像、第二预测图像和第三预测图像可能与第一图像、第二图像和第三图像存在的区域差异;因此基于上述技术问题,将第一预测图像与第一图像配准;将第二预测图像与第二图像配准;将若干个第三预测图像与其一一对应的若干个第三图像配准。

图像配准是一种常见的计算机视觉任务,用于将两个或多个图像对齐,使它们在空间中相互对应。

一个具体的实施例为:每个图像中找到一些角点、边缘部分,再计算出一个几何变换,将一个图像对齐到另一个图像。这个几何变换可能是一个仿射变换、射影变换或其他类型的变换。

可见,通过在确定待检测平面的清晰化变化率之前,将预测图像与实际图像进行配准,可以确保预测图像和实际图像在空间布局上的一致性。这种配准步骤可以校准预测图像和实际图像之间可能存在的区域差异,进一步提高了清晰化变化率计算的准确性。这种方法弥补了预测图像可能与实际图像区域不一致的问题。

S502、根据第一图像、若干个第三图像、第二图像确定待检测平面的第一清晰化变化率。

此实施例采用的步骤与上述实施例采用的步骤属于同一构思,其具体实现过程详见步骤S302,此处不在赘述。

S503、根据第一预测图像、若干个第三预测图像、第二预测图像确定待检测平面的第三清晰化变化率。

此实施例采用的步骤与上述实施例采用的步骤属于同一构思,其具体实现过程详见步骤S302,此处不在赘述。

S504、根据第一清晰化变化率和第三清晰化变化率确定清晰化变化率。

此实施例采用的步骤与上述实施例采用的步骤属于同一构思,其具体实现过程详见步骤S404,此处不在赘述。

S505、将清晰化变化率输入清晰度应力映射模型得到待焊接装置的应力变化。

此实施例采用的步骤与上述实施例采用的步骤属于同一构思,其具体实现过程详见步骤S103,此处不在赘述。

可见,预测图像是由焊接装置周围的全部图像映射得到,它能够模拟出与待检测平面在同一时间点的环境状态,而并无待检测装置本身的影响。通过这种方式,可以更准确地计算出由环境变化导致的图像清晰化变化率。这样,可以比较原图像和预测图像的清晰化变化率,从而更准确地分析出由待检测装置本身引起的图像清晰化变化率。

下述为本申请的装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。

参考图6,本申请实施例提供了一种焊接摄像头和雷达的监控系统,焊接摄像头和雷达的监控系统包括服务器,服务器包括:

服务器包括:

获取模块601,用于在确定待焊接装置处于焊接阶段的情况下,获取待焊接装置的图像组;

清晰化模块602,用于根据图像组利用图像解析力算法得到清晰化变化率;

应力模块603,用于将清晰化变化率输入清晰度应力映射模型得到待焊接装置的应力变化。

在一些实施例中,图像组具体包括:

焊接待焊接装置之前,包含待焊接装置的待检测平面的第一图像;

焊接待焊接装置之后,包含待检测平面的第二图像。

在一些实施例中,图像组还包括:

焊接待焊接装置时,以预设时间间隔顺序拍摄待检测平面得到的若干个第三图像。

在一些实施例中,图像组还包括:

与第一图像拍摄时间对应的焊接装置周围的第四图像;

与第二图像拍摄时间对应的焊接装置周围的第五图像;

与若干个第三图像拍摄时间一一对应的焊接装置周围的若干个第六图像;

清晰化模块具体包括:

第一清晰化子模块,用于根据第一图像、若干个第三图像、第二图像确定待检测平面的第一清晰化变化率;

第二清晰化子模块,用于根据第四图像、若干个第六图像、第五图像确定焊接装置周围的第二清晰化变化率;

第三清晰化子模块,用于根据第一清晰化变化率和第二清晰化变化率确定清晰化变化率。

在一些实施例中,图像组还包括:

与第一图像拍摄时间对应的第一预测图像,第一预测图像由第一图像拍摄时间对应的焊接装置周围的全部图像映射得到;

与第二图像拍摄时间对应的第二预测图像,第二预测图像由第二图像拍摄时间对应的焊接装置周围的全部图像映射得到;

与若干个第三图像拍摄时间一一对应的若干个第三预测图像,第三预测图像由第三图像拍摄时间对应的焊接装置周围的全部图像映射得到;

清晰化模块具体包括:

第四清晰化子模块,用于根据第一图像、若干个第三图像、第二图像确定待检测平面的第一清晰化变化率;

第五清晰化子模块,用于根据第一预测图像、若干个第三预测图像、第二预测图像确定待检测平面的第三清晰化变化率;

第六清晰化子模块,用于根据第一清晰化变化率和第三清晰化变化率确定清晰化变化率。

在一些实施例中,服务器还包括:

第一配准模块,用于将第一预测图像与第一图像配准;

第二配准模块,用于将第二预测图像与第二图像配准;

第三配准模块,用于将若干个第三预测图像与其一一对应的若干个第三图像配准。

在一些实施例中,服务器还包括:

第一确定模块,用于将第一图像的全部像素点确定为未填充像素点;

选择模块,用于选择第一图像的一个未填充像素点;

第二确定模块,用于在第一图像拍摄时间对应的焊接装置周围的全部图像中确定一个和未填充像素点周围像素最相似的纹理块;

赋值模块,用于将纹理块的平均像素值赋给该未填充像素点;

第三确定模块,用于将该未填充像素点确定为已填充像素点;

跳转模块,用于跳转选择第一图像的一个未填充像素点步骤,直到第一图像的全部像素点均确定为已填充像素点。

本申请还公开一种焊接摄像头和雷达的监控系统。参照图7,为本申请提供的焊接摄像头和雷达的监控系统的实体装置的示意图。该服务器700可以包括:至少一个处理器701,至少一个网络接口704,用户接口703,存储器705,至少一个通信总线702。

其中,通信总线702用于实现这些组件之间的连接通信。

其中,用户接口703可以包括显示屏(Display)、摄像头(Camera),可选用户接口703还可以包括标准的有线接口、无线接口。

其中,网络接口704可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。

其中,处理器701可以包括一个或者多个处理核心。处理器701利用各种接口和线路连接整个服务器内的各个部分,通过运行或执行存储在存储器705内的指令、程序、代码集或指令集,以及调用存储在存储器705内的数据,执行服务器的各种功能和处理数据。可选的,处理器701可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器701可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器701中,单独通过一块芯片进行实现。

其中,存储器705可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器705包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器705可用于存储指令、程序、代码、代码集或指令集。存储器705可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及的数据等。存储器705可选的还可以是至少一个位于远离前述处理器701的存储装置。参照图5,作为一种计算机存储介质的存储器705中可以包括操作系统、网络通信模块、用户接口模块以及焊接摄像头和雷达的监控的应用程序。

在图5所示的服务器700中,用户接口703主要用于为用户提供输入的接口,获取用户输入的数据;而处理器701可以用于调用存储器705中存储的焊接摄像头和雷达的监控的应用程序,当由一个或多个处理器701执行时,使得服务器700执行如上述实施例中一个或多个所述的方法。需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必需的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几种实施方式中,应该理解到,所披露的装置,可通过其他的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口,装置或单元的间接耦合或通信连接,可以是电性或其他的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括:U盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述者,仅为本公开的示例性实施例,不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰,皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践真理的公开后,将容易想到本公开的其他实施方案。

本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的范围和精神由权利要求限定。

相关技术
  • 一种术野摄像头、术野摄像头的调节方法、计算机设备及可读存储介质
  • 双目摄像头监控方法、装置及计算机可读存储介质
  • 一种货架运输监控方法、装置和计算机可读存储介质
  • 一种安全监控方法、装置、可读存储介质及终端设备
  • 一种监控方法及装置、计算机可读存储介质
  • 一种自动焊接监控系统、方法、设备及可读存储介质
  • 一种监控摄像头布局方法、装置及计算机可读存储介质
技术分类

06120116490520