一种基于融合式深度相机的物体三维尺寸测量系统

技术领域

本发明涉及计算机机器视觉领域，特别涉及一种基于融合式深度相机的物体三维尺寸测量系统。

背景技术

在传统的自动化生产中，对于尺寸的测量，典型的方法就是千分尺、游标卡尺、塞尺等。而这些测量手段测量精度低、速度慢，无法满足大规模的自动化生产需求。目前市面上常有的三种深度相机测量方案：结构光方式测量、双目立体视觉方式测量和光飞行时间法(TOF)方式测量。其中结构光有容易受环境干扰导致的室外体验差和测量精度随检测距离增加变差的不足，双目视觉有对光照敏感、不适合单调缺乏纹理的场景等不足，而光飞行时间法对设备要求高导致成本比较高。国内外现有的高精度的机器视觉测量方案大多设备体积较大价格昂贵，很多小型企业无力承担。

发明内容

为了解决上述技术问题，本发明中披露了一种基于融合式深度相机的物体三维尺寸测量系统，本发明的技术方案是这样实施的：

一种基于融合式深度相机的物体三维尺寸测量系统，包括测量装置、控制装置和客户端；

其中，所述测量装置和所述客户端传输信号至所述控制装置，所述控制装置控制所述测量装置；

所述控制装置运行有TPC服务端程序；

所述测量装置包括支撑单元和图像采集单元；

所述支撑单元包括竖梁和横梁，所述图像采集单元位于所述横梁上，所述图像采集单元包括外壳、红外相机模块、RGB相机模块、PCB板、USB接口、红外激光模块、超声波测距传感器、IMU模块和图像处理芯片；

所述红外相机模块数量为2，分别安装于所述PCB板的正面左右两侧，所述红外相机模块安装于所述PCB板正面一侧，所述超声波测距传感器于所述红外激光模块位于所述PCB板正面中部，所述图像处理芯片位于所述所述PCB板正面下方一侧；所述IMU模块位于所述PCB板正面一侧，所述USB接口位于所述所述PCB板背面一侧，所述外壳包裹所述PCB板。

优选地，还包括散热铝片；所述散热铝板安装于所述PCB板背面上。

优选地，图像采集单元的工作距离为0.1-10m。

优选地，所述图像采集单元与所述支撑单元之间通过伸缩机械臂连接。

优选地，所述支撑单元还包括斜撑，所述斜撑连接所述横梁和所述竖梁。

优选地，所述竖梁底部设置有地脚螺栓。

优选地，所述系统的测量方法如下：

A.控制装置启动TCP服务端程序；

B.控制装置等待客户端接入；

C.控制装置判断是否有客户端接入；有则执行D步骤，没有则继续执行B步骤；

D.控制装置等待客户端的测量请求；

E.控制装置接收到客户端的测量请求；

F.控制装置控制测量装置开始测量物体的三维尺寸；

G.测量装置多次测量将数据发送至控制装置；

H.数据经过控制装置的处理后形成精确的三维尺寸值并发送至客户端。

优选地，所述F步骤具体方法如下：

F1.启动测量程序；

F2.进行坐标校准；

F3.判断当前角度和位置是否为第一次运行，是则运行F4，不是则运行F7；

F4.读取图像采集单元的内部参数，读取标定棋盘的参数；

F5.用Kabsch方法计算棋盘在世界坐标系中的位置；

F6.将计算后的棋盘在世界坐标系的位置信息保存在本地；

F7.读取IMU的XYZ轴数据记作原点并保存在本地；

F8.读取图像采集单元的内部参数，读取标定棋盘的参数；

F9.读取本地文件，获取棋盘在世界坐标系的位置；

F10.打开图像采集单元，获取所有帧，包括彩色帧，深度帧；

F11.根据获得深度帧提取点云数据；

F12.在图像坐标中获取物体边界框的点云数据；

F13.读取本地存储文件获取IMU原点的XYZ轴数据；

F14.获取实时IMU的XYZ轴数据，并与原点数据求出位置补偿值；

F15.读取超声波测距传感器数据与深度值做比较；

F16.判断差值是否较大，是则执行F17，否则执行F18；

F17.舍去此次测量数据；

F18.结合IMU位置补偿值以及物体边界框的点云数据计算被测物体尺寸。

实施本发明的技术方案可解决现有技术中结构光有容易受环境干扰导致的室外体验差和测量精度随检测距离增加变差的不足，双目视觉有对光照敏感、不适合单调缺乏纹理的场景等不足，而光飞行时间法对设备要求高导致成本比较高。国内外现有的高精度的机器视觉测量方案大多设备体积较大价格昂贵的技术问题；实施本发明的技术方案，通过将结构光测量方式和双目立体视觉测量方式融合在一起，同时添加超声测距传感器和IMU模块辅助测量，搭载的红外激光模块在工作时可以投射出30000个光点到被测物体上，同时红外镜头开始工作，通过读取点阵图案，捕捉红外图像，经过处理便能获得一张“结构图”，结合RGB相机记录的2D图像，最终生成一张精准的3D数据图。以此可以解决双目视觉环境光照与物体表面纹理适应性问题。两个红外相机可做双目视觉测量，可以解决结构光测量方式室外体验差和测量精度随检测距离增加变差的问题，同时IMU模块实时反馈图像采集单元的空间位置，在测量过程中如果发生相机抖动或位置移动情况，图像处理算法中可根据IMU模块反馈数据进行位置补偿，确保测量数据的准确性，增强了测量系统的健壮性。图像处理算法可借助超声波测距传感器测得数据判断相机测量值的正确性，对误差大的数据或者错误数据进行校正或剔除处理，确保测量数据的可靠性。性能可靠、体积小巧、价格低廉，性价比高，这种基于深度相机的物体三维尺寸测量属于非接触式的测量，长时间稳定工作、真正体现了检测精度高、速度快、成本低、安装简便等优点。其非接触性、实时性、灵活性和精确性等特点可以有效的解决传统检测方法存在的问题，大大提高了工业在线测量的实时性和准确性，生产效率和产品质量控制得到明显提升。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一种实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中相同的零部件用相同的附图标记表示。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“底面”和“顶面”、“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。

图1为实施例1的结构示意图；

图2为图像采集单元的正面结构示意图；

图3为图像采集单元的背面结构示意图；

图4为实施例2的方法流程图；

图5为图像采集单元采集图像信息的具体流程图。

在上述附图中，各图号标记分别表示：

1，测量装置

1-1，图像采集单元

1--1-1，红外相机模块

1-1-2，RGB相机模块

1-1-3，PCB板

1-1-4，USB接口

1-1-5，红外激光模块

1-1-6，超声波测距传感器

1-1-7，IMU模块

1-1-8，图像处理芯片

1-1-9，散热铝片

1-2，支撑单元

1-2-1，竖梁

1-2-2，横梁

1-2-3，伸缩机械臂

1-2-4，斜撑

1-2-5，地脚螺栓

2，控制装置

3，客户端

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

在一种具体的实施例1中，如图1、图2和图3所示，一种基于融合式深度相机的物体三维尺寸测量系统，包括测量装置1、控制装置2和客户端3；

其中，测量装置1和客户端3传输信号至控制装置2，控制装置2控制测量装置1；

控制装置2运行有TPC服务端程序；

测量装置1包括支撑单元1-2和图像采集单元1-1；

支撑单元1-2包括竖梁1-2-1和横梁1-2-2，图像采集单元1-1位于横梁1-2-2上，图像采集单元1-1包括外壳、红外相机模块1-1-1、RGB相机模块1-1-2、PCB板1-1-3、USB接口1-1-4、红外激光模块1-1-5、超声波测距传感器1-1-6、IMU模块1-1-7和图像处理芯片1-1-8；

红外相机模块1-1-1数量为2，分别安装于PCB板1-1-3的正面左右两侧，红外相机模块1-1-1安装于PCB板1-1-3正面一侧，超声波测距传感器1-1-6于红外激光模块1-1-5位于PCB板1-1-3正面中部，图像处理芯片1-1-8位于PCB板1-1-3正面下方一侧；IMU模块1-1-7位于PCB板1-1-3正面一侧，USB接口1-1-4位于PCB板1-1-3背面一侧，外壳包裹PCB板1-1-3。在本实施例中，客户端3用于发送测量需求和接收测量结果，控制装置2控制测量装置1进行测量并收集测量装置1测量的信息进行处理，测量装置1用于测量物体，控制单元和外部客户端3可以无线或以太网通信。支撑单元1-2用于固定和支撑图像采集单元1-1，并为测量物体提供测量场所，图像采集单元1-1用于采集待测物体的图像，外壳起保护内部结构和支撑的作用，，红外激光模块1-1-5可打出散斑红外光线，与两个红外相机模块1-1-1进行深度测量，RGB相机模块1-1-2用于采集彩色图像，最终可以将彩色视频流与深度流进行对齐，超声波测距传感器1-1-6则可获取整个图像采集单元1-1中心位置到物体表面的距离，判断测得的深度值是否正确，同时对误差较大值进行过滤处理，红外相机模块1-1-1或RGB相机模块1-1-2位置发生微移时IMU模块1-1-7可根据移动位置进行位置补偿，确保测量数据的正确性。图像采集单元1-1视野方向为竖直向下，图像采集单元1-1通过USB数据线接入控制装置2，控制装置2包括全钢机箱、无源主板、CPU、内存条、硬盘、工业显卡以及各种连接线和散热系统，控制装置2运行算法程序，将获取的图像数据进行处理，提取深度图像的点云数据并计算被测物体三维尺寸，将彩色视频流与深度视频流对齐做直观界面显示，同时会将测得数据保存在本地，再通过以太网直连或者无线连接方式将被测物体三维尺寸数据发送给需要此数据的客户端3。

控制装置2还提供TCP通信接口，其他设备可通过无线连接或以太网直连与控制装置2进行通信。

本方案将结构光测量方式和双目立体视觉测量方式融合在一起，同时添加超声测距传感器和IMU模块1-1-7辅助测量，搭载的红外激光模块1-1-5在工作时可以投射出30000个光点到被测物体上，同时红外镜头开始工作，通过读取点阵图案，捕捉红外图像，经过处理便能获得一张“结构图”，结合RGB相机模块1-1-2记录的2D图像，最终生成一张精准的3D数据图。以此可以解决双目视觉环境光照与物体表面纹理适应性问题。两个红外相机模块1-1-1可做双目视觉测量，可以解决结构光测量方式室外体验差和测量精度随检测距离增加变差的问题，同时IMU模块1-1-7实时反馈图像采集单元1-1的空间位置，在测量过程中如果发生相机抖动或位置移动情况，图像处理算法中可根据IMU模块1-1-7反馈数据进行位置补偿，确保测量数据的准确性，增强了测量系统的健壮性。图像处理算法可借助超声波测距传感器1-1-6测得数据判断相机测量值的正确性，对误差大的数据或者错误数据进行校正或剔除处理，确保测量数据的可靠性。

控制装置2采用RISC/ARM架构嵌入式工控，性能可靠、体积小巧、价格低廉，性价比高，这种基于深度相机的物体三维尺寸测量属于非接触式的测量，长时间稳定工作、真正体现了检测精度高、速度快、成本低、安装简便等优点。其非接触性、实时性、灵活性和精确性等特点可以有效的解决传统检测方法存在的问题，大大提高了工业在线测量的实时性和准确性，生产效率和产品质量控制得到明显提升。

在一种优选的实施方式中，如图3所示，还包括散热铝片1-1-9；散热铝板安装于PCB板1-1-3背面上。

散热铝片1-1-9可以有效的散除图像采集单元1-1工作时发出的热量，保证正常运行的同时提高使用寿命。

在一种优选的实施方式中，图像采集单元1-1的工作距离为0.1-10m。

在本实施方式中，图像采集单元1-1可采集0.1-10m距离内的待测物体信息，可以根据实际情况进行调整测量参数，可适应各种大小物体的三维尺寸测量。

在一种优选的实施方式中，图像采集单元1-1与支撑单元1-2之间通过伸缩机械臂1-2-3连接。

伸缩机械臂1-2-3控制图像采集单元1-1进行上升下降，调整不同的高度和角度，在图像采集单元1-1标定成功后皆可正常使用。适用性更强。

在一种优选的实施方式中，支撑单元1-2还包括斜撑1-2-4，斜撑1-2-4连接横梁1-2-2和竖梁1-2-1。

本实施方式中，斜撑1-2-4用于加固支撑单元1-2的整体结构，稳定性更强。

在一种优选的实施方式中，竖梁1-2-1底部设置有地脚螺栓1-2-5。

本实施方式中，地脚螺栓1-2-5用于加固支撑单元1-2的整体结构，稳定性更强。

实施例2

在一种具体的实施例2中，如图4所示，系统的测量方法如下：

A.控制装置2启动TCP服务端程序；

B.控制装置2等待客户端3接入；

C.控制装置2判断是否有客户端3接入；有则执行D步骤，没有则继续执行B步骤；

D.控制装置2等待客户端3的测量请求；

E.控制装置2接收到客户端3的测量请求；

F.控制装置2控制测量装置1开始测量物体的三维尺寸；

G.测量装置1多次测量将数据发送至控制装置2；

H.数据经过控制装置2的处理后形成精确的三维尺寸值并发送至客户端3。

本实施例提供了一种使用实施例1中的系统进行物体测量的方法，通过该方法解决了传统技术中的关于物体的测量的弊端，操作简单，测量结果精确有效，且可以进行远程操作。

在一种优选的实施方式中，如图5所示，F步骤具体方法如下：

F1.启动测量程序；

F2.进行坐标校准；

F3.判断当前角度和位置是否为第一次运行，是则运行F4，不是则运行F7；

F4.读取图像采集单元1-1的内部参数，读取标定棋盘的参数；

F5.用Kabsch方法计算棋盘在世界坐标系中的位置；

F6.将计算后的棋盘在世界坐标系的位置信息保存在本地；

F7.读取IMU的XYZ轴数据记作原点并保存在本地；

F8.读取图像采集单元1-1的内部参数，读取标定棋盘的参数；

F9.读取本地文件，获取棋盘在世界坐标系的位置；

F10.打开图像采集单元1-1，获取所有帧，包括彩色帧，深度帧；

F11.根据获得深度帧提取点云数据；

F12.在图像坐标中获取物体边界框的点云数据；

F13.读取本地存储文件获取IMU原点的XYZ轴数据；

F14.获取实时IMU的XYZ轴数据，并与原点数据求出位置补偿值；

F15.读取超声波测距传感器1-1-6数据与深度值做比较；

F16.判断差值是否较大，是则执行F17，否则执行F18；

F17.舍去此次测量数据；

F18.结合IMU位置补偿值以及物体边界框的点云数据计算被测物体尺寸。

本实施方式提供了一种具体的使用图像采集单元1-1进行物体测量的方法步骤，通过该步骤，不仅操作简单，还可以有效的去除无效数据，提高测量数据的精确性。

需要指出的是，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

需要指出的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。