基于三轴坐标转换与单目视觉融合的钣金孔洞定位尺寸检测方法

技术领域

本发明涉及光学测量技术领域，具体涉及一种基于三轴坐标转换与单目视觉融合的钣金孔洞定位尺寸检测方法。

背景技术

现阶段钣金零件尺寸检测的方法主要有人工测量、光学测量、三维测量三种。其中人工测量是通过使用手持测量工具如卡尺、千分尺、量规等根据零件的设计图纸或要求进行定位定形尺寸的比对和检查。人工测量简单易行，适用于小批量生产和简单形状的零件。

光学测量是一种使用光学原理和技术来获取目标物体的尺寸、形状、表面特征等信息的测量方法。它通常使用光学仪器设备来进行测量，例如通过光学相机拍摄目标物体的图像，分析图像中的特征来获取物体的尺寸、形状等信息。光学测量精度高、效率高，适用于高精度要求和大批量检测任务的零件。三维测量则是使用三维测量仪器如激光扫描仪、三坐标测量机等对钣金零件进行三维尺寸测量和检查。其通过测量物体在三维空间中的坐标位置，来获取物体的形状、尺寸和位置等相关数据这种方法具有高精度、全面性和自动化程度高等特点，适用于复杂几何形状和高精度要求的零件。

随着自动化领域兴起，大批量零件检测需求愈发强烈。由于人工测量精度有限、效率有限、人为误差较大。只适合小批量的零件检测。三维测量检测速度较慢、设备成本较高、对环境要求高、操作复杂、需要专业人员操作。无法满足大批量检测任务。光学测量虽然测量精度高，适用于大批量检测任务的零件。但光学测量存在着光学仪器资金昂贵、现场使用环境的光照、温度、振动等限制条件、设备几何安装精度和三轴控制精度等硬件精度要求高等缺点。

发明内容

针对现有的情况，本发明目的在于降低了设备几何精度、三轴定位精度等硬件误差对图像检测质量的影响，提供一种基于三轴坐标转换与单目视觉融合的钣金孔洞定位尺寸检测方法。

为了实现上述技术效果，本发明提供基于三轴坐标转换与单目视觉融合的钣金孔洞定位尺寸检测方法，其特征在于，包括以下步骤：

步骤1，钣金零件图像采集：

以三轴坐标系中X/Y/Z轴坐标原点为起点，调整相机在Z轴的高度，根据钣金零件大小设置相机在X轴、Y轴方向的移动步长L，采集钣金零件图像；

步骤2，钣金零件图像处理：

对采集到的第一张钣金零件图像进行轮廓检测，输出第一张钣金零件左上角的坐标点，将此坐标点作为钣金零件的测量原点，同时输出第一张钣金零件的左边界与Y轴方向的倾斜角度α；

步骤3，钣金零件孔洞特征提取：

对所有采集到的钣金零件图像进行检测预处理，提取钣金零件的孔洞轮廓信息，得到孔洞轮廓的最小面积矩形，将最小面积矩形的中心作为孔洞的特征中心；

步骤4，钣金零件孔洞特征筛选：

对含有多重轮廓的孔洞进行筛选，去除定位尺寸误差大的轮廓，保留定位尺寸误差最小的轮廓；

步骤5，钣金零件交叉特征构造：

根据左右、上下相邻两张图像的重叠信息，筛选出相邻两张图像相对于钣金零件测量原点重合的孔洞，将重合孔洞作为相邻图像的交叉特征；

步骤6，钣金零件孔洞尺寸筛选：

筛选定位尺寸误差大的交叉特征，去除重复交叉特征对检测结果的干扰；

步骤7，钣金零件孔洞坐标转换：

求出每张图像中所有非交叉特征的孔洞相对于其所在图像交叉特征的相对坐标，根据孔洞相对坐标、所有交叉特征的定位坐标，计算图像中孔洞相对于三轴坐标原点的绝对坐标；

步骤8，钣金零件孔洞坐标生成：

生成检测数据报告，对图像进行拼接输出可视化图像。

所述步骤1中钣金零件图像采集中，相机在X轴、Y轴移动的步长L需根据现场零件尺寸大小进行设置，以保证左右、上下相邻图像具有重叠区域，且重叠区域中至少包含一个孔洞。

所述步骤2钣金零件图像处理中，采用霍夫直线检测第一张钣金零件图像内零件的上边界和左边界，根据两个边界计算其交点作为钣金零件的测量原点，同时计算出钣金零件左边界相对于竖直方向的倾斜角度α，其中倾斜角度是通过霍夫直线检测到的直线弧度转换得到。

所述步骤3钣金零件孔洞特征提取中，对采集图像进行灰度化、二值化、形态学腐蚀膨胀预处理，去除环境光线、零件材质、设备振动因素对采集图像的影响；对预处理图像进行检测获取所有孔洞的轮廓信息，根据轮廓信息计算最小面积矩形，并根据轮廓的矩形参数计算最小面积矩形的几何中心。

所述步骤4钣金零件孔洞特征筛选中，首先根据步骤3中获取的孔洞的最小面积矩形参数计算钣金孔洞的定形尺寸和定位坐标信息，再计算孔洞粗定位坐标，循环对比由最小面积矩形计算得到的孔洞信息和孔洞粗定位坐标，误差阈值设为0.4～0.6mm，筛选出与孔洞粗定位坐标误差最小的最小面积矩形；第N张图像中某一孔洞粗定位坐标的计算方法如下：

X＝X

Y＝Y

其中，X、Y为孔洞粗定位的绝对坐标，是以第一张图测量原点为参照；X

所述步骤5钣金零件交叉特征构造中，针对左右、上下相邻两张图像，采用孔洞粗定位坐标的计算方法，计算出相邻图像中所有孔洞的粗定位坐标；用相邻两图形中左图的所有孔洞逐个遍历右图中的所有孔洞，并将孔洞粗定位绝对坐标两两相减，将左图和右图中粗定位绝对坐标误差小于0.5mm的孔洞作为交叉特征。

所述步骤6钣金零件孔洞尺寸筛选，由于在相邻的两张图中可能存在重复交叉特征，根据孔洞最小面积矩形计算孔洞的定形尺寸，将孔洞定形尺寸与理论值对比，筛选定形尺寸绝对误差最小的交叉孔洞作为唯一交叉特征。

所述步骤7钣金零件孔洞坐标转换中，首先根据两点之间距离公式以及两孔洞的定位尺寸信息求出每张图像中其他孔洞相对于其所在图像唯一交叉特征的直线距离l，以及直线l的水平和竖直距离，通过此距离求出直线l在竖直方向的夹角β，再根据步骤2中计算的零件角度α，计算出孔洞和交叉特征之间的相对于零件上边界和左边界的相对距离，其中α角度由步骤2得到，β角度通过两孔洞的定位尺寸坐标在X，Y轴相减取绝对值可得到直线l的水平和竖直长度，再通过余弦定理计算得到，两个角度均作为已知条件运用到转换方法中；相邻图像中某一孔洞与唯一交叉特征的坐标转换计算方法如下：

X

Y

其中，X

所述步骤8中钣金零件孔洞数据生成，对所有采集图像按相机拍照顺序进行拼接，生成一张完整零件图像，再通过坐标转换后的定位信息和检测轮廓信息输出检测数据报告。

本发明有益效果：

本发明提供了一种基于三轴坐标转换与单目视觉融合的钣金孔洞定位尺寸检测方法，在快速高效的检测大量钣金零件的同时，降低了设备几何精度、三轴定位精度等硬件误差对图像检测质量的影响，提高了对视觉检测的采集图像质量。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1为本发明的一种基于三轴坐标转换与单目视觉融合的钣金孔洞定位尺寸检测方法的简要流程图。

图2为本发明实施例提供的一种基于三轴坐标转换与单目视觉融合的钣金孔洞定位尺寸检测方法的多重轮廓筛选对比图，(左图)筛选前，(右图)筛选后。

图3为本发明实施例提供的一种基于三轴坐标转换与单目视觉融合的钣金孔洞定位尺寸检测方法的相邻图像内交叉特征示意图。

图4为本发明基于三轴坐标转换与单目视觉融合的钣金孔洞定位尺寸检测方法坐标转换示意图。

图5为本发明实施例提供的一种基于三轴坐标转换与单目视觉融合的钣金孔洞定位尺寸检测方法的图像拼接可视化结果图。

图6为本发明实施例提供的一种基于三轴坐标转换与单目视觉融合的钣金孔洞定位尺寸检测方法的检测定位尺寸数据报告图。

图7为本发明实施例提供的一种基于三轴坐标转换与单目视觉融合的钣金孔洞定位尺寸检测方法的检测定形尺寸数据报告图。

具体实施方式

下面结合附图对本发明的实施方式做进一步的说明。

参见图1-7，为了实现上述目的，本发明采取的技术方案为，一种基于三轴坐标转换与单目视觉融合的钣金孔洞定位尺寸检测方法：

步骤1，钣金零件图像采集。包括以设备三轴(X/Y/Z轴)坐标原点为起点，调整相机在Z轴的高度，根据钣金零件大小设置相机在X轴、Y轴方向的移动步长L，采集钣金零件图像。所述调整相机在Z轴的高度是指确定相机在Z轴固定的位置时，相机有最合适的视野和清晰度。所述设置单目相机在X轴、Y轴移动的步长L大小需根据现场零件尺寸大小而定，在X轴Y轴的步长可不相同，需保证相机每次往上下或左右方向移动的距离要小于对应拍摄图像对应的长或宽的毫米值，以保证左右、上下相邻图像具有重叠区域，且重叠区域中至少包含一个孔洞。

步骤2，钣金零件图像处理。包括对第一张图像进行轮廓检测，输出该零件左上角的坐标和钣金零件左边界相对于竖直方向的倾斜角度α，将该点作为钣金零件测量原点。其中采用霍夫直线检测第一张图像内零件的上边界和左边界，根据两个边界计算其交点作为零件的坐标原点，同时计算出零件左边界相对于竖直方向的倾斜角度α。其中倾斜角度是通过霍夫直线检测到的直线弧度转换得到。

步骤3，钣金零件孔洞特征提取。对所有采集图像进行检测预处理，提取钣金零件孔洞轮廓信息，得到轮廓的最小面积矩形，将矩形中心作为孔洞的特征中心。具体包括如下：

步骤3.1，待检图像预处理，去除环境光线、零件材质、设备振动等因素对采集图像的影响。其中预处理包括灰度化，二值化，形态学处理去除图像内的毛刺和连接断裂部位等操作。

步骤3.2，对预处理后图像进行轮廓检测，获得初步的轮廓信息，检测轮廓信息包括孔洞内外多重轮廓，加工倒角轮廓等无需检测轮廓。

步骤4，钣金零件孔洞特征筛选。对含有多重轮廓的孔洞进行筛选，去除误差较大的轮廓，保留尺寸误差最小的轮廓。因为检测轮廓信息包括孔洞内外多重轮廓，加工倒角轮廓等无需检测轮廓，需要孔洞检测轮廓进行筛选，筛选方法具体为：

步骤4.1，将所有检测轮廓定位坐标信息转换为粗定位全局定位坐标信息。以第N张图像中某一孔洞为例，粗定位坐标转换方法如下：

X＝X

Y＝Y

其中，X、Y为孔洞粗定位的绝对坐标(以第一张图测量原点为参照)，X

步骤4.2，根据加工理论值定位坐标信息循环遍历所有检测到的轮廓定位信息，对比由最小面积矩形计算得到的孔洞粗定位坐标和理论定位信息，误差阈值设为0.4～0.6mm，筛选出与孔洞粗定位坐标误差最小的最小面积矩形。

步骤5，钣金零件交叉特征构造。根据左右、上下相邻两张图像的重叠信息，筛选出相邻两张图像相对于原点重合的孔洞，将重合孔洞作为相邻图像的交叉特征。针对左右、上下相邻两张图像，采用孔洞粗定位坐标的计算方法，计算出相邻图像中所有孔洞的粗定位坐标。用相邻两图形中左图的所有孔洞逐个遍历右图中的所有孔洞，并将孔洞粗定位绝对坐标两两相减，将左图和右图中粗定位绝对坐标误差小于0.5mm的孔洞作为交叉特征，保留其轮廓信息。其中交叉特征是指在相邻两张图像中都存在的特征，其中轮廓信息包括交叉特征处于相邻两张图中的定位定形尺寸信息，中心点坐标信息。

步骤6，钣金零件孔洞尺寸筛选。筛选误差较大的交叉特征，去除重复交叉特征对检测结果的干扰。由于在相邻的两张图中可能存在重复交叉特征，根据孔洞最小面积矩形计算孔洞的定形尺寸，将孔洞定形尺寸与理论值对比，筛选定形尺寸绝对误差最小的交叉孔洞作为唯一交叉特征。

步骤7，钣金零件孔洞坐标计算。求出每张图像中其他孔洞相对于其所在图像交叉特征的相对坐标，根据孔洞相对坐标、所有交叉特征的定位坐标，计算图像中孔洞相对于三轴坐标原点的绝对坐标。首先根据两点之间距离公式以及两孔洞的定位尺寸坐标信息求出每张图像中其他孔洞相对于其所在图像唯一交叉特征的直线距离l，以及直线l的水平和竖直长度，求出直线l在竖直方向的夹角β，再根据步骤2中计算的零件角度α，计算出孔洞和交叉特征之间的相对于零件上边界和左边界的相对距离。其中α角度由步骤2可得到，β角度通过两孔洞的定位尺寸坐标在X，Y轴相减取绝对值可得到直线l的水平和竖直长度，再通过余弦定理可计算，两个角度均作为已知条件运用到转换方法中。相邻图像中某一孔洞与唯一交叉特征的坐标转换计算方法如下：

X

Y

其中，X

步骤8，钣金零件孔洞坐标生成。包括生成检测数据报告、可视化完整零件图像。对所有采集图像按相机拍照顺序进行拼接，生成一张完整零件图像，再通过坐标转换后的定位信息和检测轮廓信息输出检测数据报告。其中生成可视化图像包含对检测不合格孔洞以轮廓中心坐标为中心点用红色方框标示，对检测合格孔洞以轮廓中心坐标为中心点用蓝色方框标示。检测数据报告包括孔洞类别及名称信息、孔洞坐标转换定位坐标信息、定形尺寸信息、轮廓中心点坐标信息、是否加工合格的判断信息。