一种工业复杂设备的全方位测量方法

技术领域

本发明涉及尺寸测量技术领域，具体来说，是一种工业复杂设备的全方位测量方法。

背景技术

近年来，随着生产生活中所需的设备功能提升，工业制造水平也进一步提升，但是对于工业复杂设备的检测却成了工业企业所面临的主要问题。由于工业复杂设备不像简单设备那样具有单一的构成，因此使用常规的检测方法对于工业复杂设备来说，其检测结果无法满足实际的测量需求。

通过深度学习进行3D图像重构是目前测量领域的主要建模方法，但其更多的应用于人脸或者针对有固定的形状的设备，其涉及的算法模型主要包括：通过渲染多个3D视图生成3D模型、通过3D-GAN网络的方法建立3D模型、基于KinectFusion算法建立3D模型、基于ElasticReconstruction算法建立3D模型等。使用上述方法只能对于拥有简单形状或对称形状的设备进行重构，对于呈现出复杂形状的工业设备来说，其重构效果并不理想。这是因为，一方面，工业复杂设备并没有像类似固定形状的设备有对称或可推测形状结构。另一方面，上述的方法都是针对单个角度的图像或者由多个角度的图像建立3D模型，工业复杂设备的结构并不像普通的正方体或者锥体其形状是简单可以通过学习的方法进行重构的。以上可见，仅仅使用深度学习的方法对于复杂工业设备进行预测，不仅对于网络训练的时间耗费比较长，生成的效果往往也无法达到需求。

使用雷达扫描仪可以实现通过点云的方式对不规则以及不对称工业精密设备实现重构，但是考虑到市面上的扫描仪价格通常比较高昂，对于市面上多种类型的工业复杂设备实现一种设备配备一种扫描仪的方法并不现实。

还有一种方法是通过人工建模的方式建立3D模型，这类模型通过长时间的建立和比对，建立的模型是最准确的一种，但是作为设备种类繁多的工厂，要对每一种类型的设备都建立相应的模型耗费的人工时力和物力都比较多，因此并不适合批量化生产的工厂。

综上，寻求一种精准、有效且适用于工业复杂设备的全方位测量方法，对工业测量领域来说，具有非凡的意义。

发明内容

鉴于以上，本发明旨在提供一种工业复杂设备的全方位测量方法。

一种工业复杂设备的全方位测量方法，其特殊之处在于，包括以下步骤：

S1、相机标定：使用标定板对多台深度相机的内参、外参进行标定；

S2、图像采集：用多台深度相机在不同角度对待测的工业复杂设备进行拍摄，获得工业复杂设备不同位置的多幅原图像；

S3、图像筛选：将S2中具有相同像素特征的多幅原图像进行两两配组，获得多组待拼接图像；

S4、图像拼接：利用一种多单应性估计的端到端的图像拼接网络模型对S3的多幅待拼图像进行拼接处理，获得多幅拼接图像；

S5、模型重构：将S4的多幅拼接图像进行3D模型重构，生成工业复杂设备的初步3D模型；

S6、利用生成对抗网络模型对S2的多幅原图像、S4的多幅拼接图像以及S5的初步3D模型进行训练，获得一个最大程度还原所述工业复杂设备结构轮廓的最终3D模型；

S7、测量S6获得的最终3D模型。

进一步地，所述S2中的多台深度相机配置在待测工业复杂设备的外围，分别用以采集待测工业复杂设备不同角度的图像。

进一步地，所述S3中的相同像素特征的原图像，来源于相邻的两台深度相机。

进一步地，所述S4图像拼接所涉及的多单应性估计的端到端的图像拼接网络模型，是将S3的多幅待拼接图像作为输入，并估计产生多个单应性矩阵、位移向量和权重向量，通过多个单应性矩阵生成全局变形向量，并用位移向量对其进行调整，再将调整后的多个全局变形向量分别对输入的多幅待拼接图像进行变形，产生多个变形后的图像，最后用权重向量对所有变形后的图像进行融合。

具体步骤如下：

S41、将具有相同像素特征的图像

S42、图像

S43、利用位移向量

S44、通过全局变形向量

其中，warp是一个映射函数；

S45、利用权重向量

其中，

为了使拼接后输出的图像

a、将训练集中两张具有相同像素特征的图像进行拼接，生成输出图像

b、将输出图像

其中，

进一步地，所述S6中，首先将S2的多幅原图像、S4的多幅拼接图像输入对抗网络中，将S5的初步3D模型输入到生成网络中，通过对抗网络中的多幅原图像和多幅拼接图像对生成网络中的初步3D模型进行循环对抗学习，直至获得满足真实反映所述工业复杂设备结构轮廓的最终3D模型。

进一步地，所述S7中，选择测绘软件对S6获得的最终3D模型的长、宽、高进行测量。

本发明的一种全方位工业精密设备测量方法，能够实现对工业复杂设备进行有效精准测量。一方面，本发明将多角度采集的多幅原图像通过多单应性估计的端到端的图像拼接网络进行拼接，将多张图像拼接为视野更广的图像，这一做法相较于仅采用单张或者多张不同角度拍摄的图像来建立3D模型的传统算法来说，得到的模型精度更高。此外，与现有的图像拼接技术相比，本发明的方法在拼接的结果上，尤其是在有相同像素特征的重合部分，拼接后的图像不会出现重影以及相同图像特征出现多次的情况，这样反应的设备结构更加逼近于真实情况。另一方面，本发明将已构建好初步3D模型作为生成网络的输入，利用对抗网络中的原图像和拼接图像对生成网络中的初步3D模型进行对抗训练，从而获得更加优化的3D模型，相对于当前主流生成对抗网络中一般只将随机向量输入生成网络的做法来说，不仅减少了不必要的从随机向量到建立3D模型的时间，并且通过对抗优化的模型与真实设备的结构更加接近，测量精度更高。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

一种工业复杂设备的全方位测量方法，包括以下步骤：

S1、相机标定：使用标定板对多台深度相机的内参、外参进行标定。

S2、图像采集：利用配置在待测工业复杂设备外围的多台深度相机在不同角度对待测的工业复杂设备进行拍摄，获得工业复杂设备不同位置的多幅原图像。

S3、图像筛选：将S2中具有相同像素特征的多幅原图像进行两两配组，获得多组待拼接图像，所述相同像素特征的原图像，来源于相邻的两台深度相机。

S4、图像拼接：利用一种多单应性估计的端到端的图像拼接网络模型对S3的多幅待拼图像进行拼接处理，获得多幅拼接图像；

具体包括以下步骤：

S41、将具有相同像素特征的图像

S42、图像

S43、利用位移向量

S44、通过全局变形向量

其中，warp是一个映射函数；

S45、利用权重向量

其中，

为了使拼接后输出的图像

a、将训练集中两张具有相同像素特征的图像进行拼接，生成输出图像

b、将输出图像

其中，

S5、模型重构：将S4的多幅拼接图像进行3D模型重构，生成工业复杂设备的初步3D模型。

S6、利用生成对抗网络模型对S2的多幅原图像、S4的多幅拼接图像以及S5的初步3D模型进行训练，首先将S2的多幅原图像、S4的多幅拼接图像输入对抗网络中，将S5的初步3D模型输入到生成网络中，通过对抗网络中的多幅原图像和多幅拼接图像对生成网络中的初步3D模型进行循环对抗学习，直至获得满足真实反映所述工业复杂设备结构轮廓的最终3D模型。

S7、选择测绘软件对S6获得的最终3D模型的长、宽、高进行测量。

综上所述，虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何熟习此技艺者，在不脱离本发明的精神和范围内，当可作各种更动与润饰，因此本发明的保护范围当视后附的申请专利范围所界定者为准。