一种基于激光散斑的主动式三维点云动态测量方法及装置

技术领域

本发明涉及一种基于激光散斑的主动式三维点云动态测量方法及装置，属于三维视觉检测技术领域。

背景技术

随着光电检测技术的快速发展，常规二维图像检测已无法满足现场高精度检测的需求，高精度三维点云重建已成为工业制造现场不可或缺的检测手段，被广泛应用汽车制造、飞机装配、火箭组装等环节。然而目前三维测量装置可分为静态和动态测量模式，静态测量需要投影多组正弦条纹到物体表面，通过相移方式求解出各像素点相位信息，进而实现空间物体的三维点云重建。该类方法需要多次投射条纹到空间物体表面，无法实现物体的动态测量。动态式测量装置包括基于傅里叶变换、激光散斑模式，通过一次成像即实现对空间场的三维重建。然而傅里叶变换为全局傅里叶变化，当存在形貌剧烈变化容易造成频率混叠、空间杂光干扰容易造成测量精度降低。激光散斑测量装置测量精度取决于图像特征点匹配精度，但由于激光散斑图像特征不明显，无法达到较高的匹配精度。即该类方法虽然可实现动态测量，但其测量精度较低，严重限制了其应用范围。

因此，实现动态物体现场三维点云的快速、高精度测量，对提升高精度光电检测质量和效率均具有重要意义。

发明内容

本发明的目的在于提供一种基于激光散斑的主动式三维点云动态测量方法及装置，以解决现有技术动态测量精度较低的缺陷。

一种基于激光散斑的主动式三维点云动态测量方法所述方法包括：

建立激光散斑的主动式三维点云动态测量系统，所述系统包括双目立体视觉传感器以及激光投射器；

通过三维点云动态测量系统采集被测物表面投射激光散斑的图像；

将所述图像输入预先训练的视差匹配网络模型中，得到匹配相似度中最高的对应图像点坐标；

根据匹配相似度中最高的对应图像点坐标计算得到双目立体视觉传感器之间的视差值，并经过三角测量得到其空间三维坐标，获取空间三维点云数据。

进一步地，所述视差匹配网络模型的方法包括：

采集平面棋盘格靶标的图像，以及对投射激光散斑图像的棋盘格图像进行采集，采用孪生网络同步输入左右相机以对应棋盘格为中心的散斑图像数据块到网络，训练生成视差匹配网络。

进一步地，所述采集图像包括多次摆放棋盘格靶标于不同视角并分别采集棋盘格靶标图像与带有激光散斑图像。

进一步地，所述孪生网络通过权重共享及误差函数约束处理采集的图像。

进一步地，所述激光投射器为激光散斑投射器。

进一步地，所述双目立体视觉传感器为对称设置的两个可见光相机。

一种基于激光散斑的主动式三维点云动态测量装置，包括左像机、右相机和激光散斑投射器；

所述激光散斑投射器设于左像机和右相机之间，所述左像机和右相机以激光散斑投射器为中心对称设置。

进一步地，所述装置还包括供电模块以及触发模块；

所述供电模块用于实现左像机、右相机和激光散斑投射器供电，所述触发模块用于实现同步触发相机采集图像。

与现有技术相比，本发明所达到的有益效果：

1、提出了一种基于激光散斑的主动式三维点云动态测量装置，其中采用双目立体视觉测量原理，辅以激光投影仪、供电及电气控制装置，通过采集投射激光散斑的图像，通过立体视差匹配求解空间高精度三维点云，该测量装置具有安装方便，适用于工业现场环境动态三维测量；

2、提出了基于棋盘格与散斑图同时投射进行视差网络训练的方法，通过对平面棋盘格靶标采集图像，以及对投射激光散斑图像的棋盘格图像进行采集，多次摆放棋盘格靶标于不同视角并分别采集棋盘格靶标图像与带有激光散斑图像，采用孪生网络同步输入左右相机以对应棋盘格为中心的散斑图像数据块到网络，训练生成图像视差匹配网络；

3、提出了利用训练好的视差匹配网络模型，对输入新采集的被测物表面投射激光散斑的图像进行处理，寻找匹配相似度中最高的对应图像点坐标，计算得到两相机之间的视差值，并经过三角测量得到其空间三维坐标，获取空间三维点云数据。；

4、该测速装置及方法具有一定通用性，可根据被测物尺寸，设计成不同视场、不同尺寸的传感器模组，既适合于大场景快速三维重建，也能实现内腔式小空间三维重建，具有较大应用和拓展空间。

附图说明

图1是本发明激光散斑主动式三维点云动态测量流程图；

图2是本发明装置示意图；

图3是本发明棋盘格靶标图像；

图4是本发明投射的激光散斑图；

图5是本发明孪生网络视差匹配网络结构图；

图6是本发明试验结果中汽车轮胎三维重建示意图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

本发明提出一种基于激光散斑的主动式三维点云动态测量方法，所述方法如下：

首先采用双目立体视觉测量原理，辅以激光投影仪、供电及电气控制装置，搭建起基于激光散斑的主动式三维点云动态测量系统；通过对平面棋盘格靶标采集图像，以及对投射激光散斑图像的棋盘格图像进行采集，多次摆放棋盘格靶标于不同视角并分别采集棋盘格靶标图像与带有激光散斑图像，采用孪生网络同步输入左右相机以对应棋盘格为中心的散斑图像数据块到网络，训练生成图像视差匹配网络；最后利用训练好的视差匹配网络模型，对输入新采集的被测物表面投射激光散斑的图像进行处理，寻找匹配相似度中最高的对应图像点坐标，计算得到两相机之间的视差值，并经过三角测量得到其空间三维坐标，获取空间三维点云数据。

具体方法包括：

步骤一：建立激光散斑的主动式三维点云动态测量系统，所述系统包括双目立体视觉传感器以及激光投射器；

采用双目立体视觉测量原理，辅以激光投射器、供电及电气控制装置，搭建起基于激光散斑的主动式三维点云动态测量系统。其中双目立体视觉传感器为高分辨率可见光相机，激光散斑投射器为高分辨率、高亮度激光投射器，确保投射出的激光散斑图像为随机分布且亮度较高，能在现场复杂光线环境下清晰成像。通过外部供电模块以及触发模块，实现相机与激光投射器供电，同步触发相机采集图像，相关传感器布局如图2所示。

步骤二：训练数据采集与视差匹配网络训练。

通过对平面棋盘格靶标采集图像，以及对投射激光散斑图像的棋盘格图像进行采集，多次摆放棋盘格靶标于不同视角并分别采集棋盘格靶标图像与带有激光散斑图像，采用孪生网络同步输入左右相机以对应棋盘格为中心的散斑图像数据块到网络，训练生成图像视差匹配网络。由于棋盘格为横纵分布，其在左右相机图像上同步成像，可以匹配出对应点的亚像素精确坐标值。同时投射出激光散斑图像到期盼格靶标上，采集图像。以棋盘格点坐标为中心点，分别在散斑图像中截取出D×D尺寸的图像区域，令来自左相机的散斑图像块为I

其中损失函数包括两类，Contrastive Loss与Triplte Loss。其中ContrastiveLoss为，

Triplte Loss为，

总计损失函数为，

L＝L

步骤三：空间点云快速高精度重建。

最后利用训练好的视差匹配网络模型，对输入新采集的被测物表面投射激光散斑的图像进行处理，寻找匹配相似度中最高的对应图像点坐标，计算得到两相机之间的视差值，

其中采用归一化积相关算法(Normalized Cross Correlation，简称NCC算法)进行图像特征点匹配，利用子图与模板图的灰度，通过归一化的相关性度量公式来计算二者之间的匹配程度。

其中，E(S

并经过三角测量得到其空间三维坐标，获取空间三维点云数据。实际测量时，将与训练过程中相同的激光散斑图投射到被测物表面，同步采集激光散斑图像，通过将采集图像输入到步骤二中训练的视差匹配网络中，得到稠密的特征点匹配点亚像素坐标，根据双目重建理论完成空间场的三维重建，图6所示为试验结果中汽车轮胎三维重建点云。

如图2所示，本发明还公开了一种基于激光散斑的主动式三维点云动态测量装置，具体包括：包括左像机、右相机和激光散斑投射器；

所述激光散斑投射器设于左像机和右相机之间，所述左像机和右相机以激光散斑投射器为中心对称设置，通过外部供电模块以及触发模块，实现相机与激光投射器供电，同步触发相机采集图像。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。