一种三维智能机器视觉的线缆凹凸检测方法及装置

技术领域

本发明涉及线缆表面凹凸检测领域，具体提供一种三维智能机器视觉的线缆凹凸检测方法及装置。

背景技术

目前工业检测对高压电缆凹凸检测，采用两种方式：人力检测和设备检测。

人力检测工作效率较低，精度误差大，并且无法做到实时检测，出现凹凸变化无法及时预警，只能进行样品抽检。且人力成本较高，24小时工作线需要3人三班倒，价格昂贵。其次容易受环境因素、个人因素影响，恶劣环境下无法正常工作，运行时常较长时个人疲劳会导致预警遗漏，个人情绪变化也会导致工作状态的不稳定。

对比自动设备检测，现在最主流的检测设备为凹凸检测仪，为3轴线光CCD相机拍摄，设备成本较高，一台凹凸检测仪可能需要数万或数十万价格不等，且检测面局限，只适用于小口径线缆检测，市面最先进的测量尺寸只能达到130mm以内，而三轴检测仪对线缆直径的检测每次只能检测边缘部分3个点对，如遇到粗口径的线缆，无法覆盖整体，会导致与实际凹凸值误差较大。

发明内容

本发明是针对上述现有技术的不足，提供一种实用性强的三维智能机器视觉的线缆凹凸检测方法。

本发明进一步的技术任务是提供一种设计合理，安全适用的三维智能机器视觉的线缆凹凸检测装置。

本发明解决其技术问题所采用的技术方案是：

一种三维智能机器视觉的线缆凹凸检测方法，首先从预置采集组件的六个角度中渲染出图片做为训练数据，然后推理采集组件进行深度融合；

最后处理软件集成预置采集组件和推理采集组件两个部分，联动完成对整体的图像输入处理，通过预置采集组件通过软件处理得到三维数据，并逆向生成对应的深度图像数据设置为训练数据，通过训练网络得到匹配模型，计算线缆相对位置的凹凸度。

进一步的，所述预置采集组件布置有单个相机，相机运动位置相对光源照射距离保持固定，通过相机在滑轨滑动采集环绕线缆表面的二维数据，对每个图像，使用X

进一步的，使用离散三维采样数据集的二维投影技术进行立体渲染，首先定义相机对于集合体的空间位置，其次定义每个体素的不透明性和颜色，使用RGBA传递体素对应的值，分别用吸收、外散射、自发光、内散射来表示，

对于吸收定义dL＝-σ

进一步的，经过相机光心和图像平面上像素的一条射线记r(t)＝o+td,oo为空间中射线原点，d为射线角度，根据Alpha Blending原理C

σ为一条射线r经过t处一个无穷小粒子时被终止的概率，在射线上进行均匀随机采样获取采样点，第i个采样点可以表示为

进一步的，在推理采集组件前后末端布置线缆固定卡轮，中间由可升降钢轴支撑，环绕有6个采集相机，采用均匀环绕拍摄线缆表面，通过高速采集的方式采集运动线缆，每次采集一组图像作为输入，输入图像为6张3通道的图像，宽高为w,h。

进一步的，输入图像为6张3通道的图像，宽、高为w、h，有9层特征提取网络，由Conv、Bn、ReLU构成，输出为6组32通道图像，每个通道尺度为w/4，h/4，通过一个正确的单应矩阵H，其中，有相机各位置的转换参数R、T，相机到对应点的距离d，则实现P′＝HP；

在获得内外参的条件下，获得深度变量，设置深度区间[d

进一步的，处理软件通过推理采集组件实现计算相机坐标合成整体三维图像；

截取指定位置的切面图像，根据点到轴心距离用最小二乘法

一种三维智能机器视觉的线缆凹凸检测装置，包括：至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行一种三维智能机器视觉的线缆凹凸检测方法。

本发明的一种三维智能机器视觉的线缆凹凸检测方法及装置和现有技术相比，具有以下突出的有益效果：

本发明用来通过二维输入到三维重建的方式实时检测线缆的凹凸度和圆度，减少实际凹凸值误差。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

附图1是一种三维智能机器视觉的线缆凹凸检测方法的示意图；

附图2是一种三维智能机器视觉的线缆凹凸检测方法中线缆横向截面图像示意图；

附图3是一种三维智能机器视觉的线缆凹凸检测方法的线缆纵向截面图像。

具体实施方式

为了使本技术领域的人员更好的理解本发明的方案，下面结合具体的实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。

下面给出一个最佳实施例：

如图1-3所示，本实施例中的一种三维智能机器视觉的线缆凹凸检测方法，首先从预置采集组件的六个角度中渲染出图片做为训练数据，然后推理采集组件进行深度融合；

最后处理软件集成预置采集组件和推理采集组件两个部分，联动完成对整体的图像输入处理，通过预置采集组件通过软件处理得到三维数据，并逆向生成对应的深度图像数据设置为训练数据，通过训练网络得到匹配模型，计算线缆相对位置的凹凸度。

其中，预置采集组件布置有单个相机，底座为一种钢结构升降装置，由旋转支架和连接拉杆以及万向轴组成，在顶端周围有圆形滑轨，由两条钢轨和一组橡胶垫组成，滑轨侧面设有环形光源，将光线均匀地分布在物体上，使照明非常均匀，无阴影，能够使被拍摄的物体显现出真实的颜色和效果。

相机运动位置相对光源照射距离保持固定，通过相机在滑轨滑动采集环绕线缆表面的二维数据，对每个图像，使用X

使用离散三维采样数据集的二维投影技术进行立体渲染，首先定义相机对于集合体的空间位置，其次定义每个体素的不透明性和颜色，使用RGBA传递体素对应的值，分别用吸收、外散射、自发光、内散射来表示，

对于吸收定义dL＝-σ

经过相机光心和图像平面上像素的一条射线记r(t)＝o+td,oo为空间中射线原点，d为射线角度，根据Alpha Blending原理C

σ为一条射线r经过t处一个无穷小粒子时被终止的概率，在射线上进行均匀随机采样获取采样点，第i个采样点可以表示为

在推理采集组件前后末端布置线缆固定卡轮，中间由可升降钢轴支撑，环绕有6个采集相机，采用均匀环绕拍摄线缆表面，通过高速采集的方式采集运动线缆，每次采集一组图像作为输入，输入图像为6张3通道的图像，宽高为w,h。

输入图像为6张3通道的图像，宽、高为w、h，有9层特征提取网络，由Conv、Bn、ReLU构成，输出为6组32通道图像，每个通道尺度为w/4，h/4，通过一个正确的单应矩阵H，其中，有相机各位置的转换参数R、T，相机到对应点的距离d，则实现P′＝HP；

在获得内外参的条件下，获得深度变量，设置深度区间[d

处理软件集成预置采集组件和推理采集组件两个部分，联动完成对整体的图像输入处理，通过预置采集组件通过软件处理得到三维数据，并逆向生成一一对应的深度图像数据设置为训练数据，这里对指定相机位姿和推理采集组件的相机位姿进行匹配，通过训练网络得到匹配模型。再通过推理采集组件实现计算相机坐标合成整体三维图像。

在此基础上截取指定位置的切面图像，根据点到轴心距离用最小二乘法

实施步骤为：

S1、确定推理设备的六台相机的参数，并初始化，获取镜头焦距F、径向畸变稀疏K，像元横轴Sx和纵轴Sy方向的距离，图像的宽度w和高度h,通过多目相机标定的方法确定六台相机相对于中心轴的空间相位，其中f为相机焦距，RR和T为旋转矩阵和位移矩阵。

标定时将世界坐标和棋盘格坐标重合，获取这六个相机外参，即根据不同拍摄点，将这些拍摄点转为三维坐标。

S2、通过预采集设备采集环绕每段线缆一周的相对静态图像。适用Kd-tree最近邻匹配进行图片两两之间的特征点匹配，每一个符合的匹配对像素坐标都需要满足：

S3、根据步骤S2的得到的相机外参，通过神经辐射场，恢复线缆的三维形貌，并根据步骤S1的空间相位变换，渲染出指定6个位置的相机图形和深度图像并存储作为训练数据。

S4、根据设计的平面图像到深度图像模型，得到6个视角的深度图像和相对相机的外参坐标，基于可见性的融合，使用不同视图间的深度遮挡最小化。为进一步抑制重构噪声，为每个像素计算可视化图，将所重投影深度值的平均值作为像素最终深度估计值，再反投影回3D空间，恢复完整点云。

S5、设计一种新的圆度计算方式，根据步骤S4所得完整的点云，对待测部分进行1mm分割，以分割垂线方向投影到平面，形状大致为圆的离散点，对离散点做圆的拟合，得到拟合半径和中心坐标，这里拟合圆的半径为R，记原离散点到拟合的圆心距离为R’，则圆度公式设为：

S6、通过轴方向做切面操作，原始点云图像投影到平面，分为上下两个区域，取待测点所在区域，线缆生产设置半径为h，实际散点到轴的距离为Z，在指定范围内，根据D＝∑(Z-h)，计算该待测点的凹凸值。

基于上述方法，本实施例中的一种三维智能机器视觉的线缆凹凸检测装置，包括：至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行一种三维智能机器视觉的线缆凹凸检测方法。

上述具体的实施方式仅是本发明具体的个案，本发明的专利保护范围包括但不限于上述具体的实施方式，任何符合本发明权利要求书记载的技术方案且任何所属技术领域普通技术人员对其做出的适当变化或者替换，皆应落入本发明的专利保护范围。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。