基于RGB相机和雷达的自动标定生成模型的方法和装置

技术领域

本发明涉及多传感器数据融合技术领域，具体为一种基于RGB相机和雷达的自动标定生成模型的方法和装置。

背景技术

目前，RGB相机用于平面图像拍摄，激光雷达用于三维点云获取，两者处于不同维度，数据不能直接融合；而对于多个RGB相机不同拍摄角度的照片，难以融合建模，计算时间长，虽然雷达建模时间短，速度快，但是无法和RGB相机图片直接融合；研究人员经过大量研究，研究出了融合RGB相机数据和雷达数据的检测模型，以集合两者优点，但是检测模型还存在一些问题，具体地，融合RGB相机数据和雷达数据中雷达数据较单一，因为多个雷达的不同角度的三维数据，往往要经过复杂的标定，才能融合在一个模型中，而且由于多个雷达的扫描数据的叠加，以及同一个雷达中心点数据数十倍于边缘点数据，这些融合数据的计算非常缓慢，从而基于RGB相机数据和雷达数据的融合速度慢，生成模型也慢；并且对于雷达坐标，要自动计算矫正，传统的方式中采用三坐标同时矫正，会面临较大的计算量和很长的计算时间，进一步影响模型的生成速度。

因此现在急需一种基于RGB相机和雷达的自动标定生成模型的方法，能让任意数量的RGB相机数据和雷达数据进行融合，并进行自动计算和低计算量低成本的坐标矫正，快速生成带有RGB信息和激光强弱信号的3D大场景模型。

发明内容

本发明的目的之一在于提供一种基于RGB相机和雷达的自动标定生成模型的方法，能让任意数量的RGB相机数据和雷达数据进行融合，并进行自动计算和低计算量低成本的坐标矫正，快速生成带有RGB信息和激光强弱信号的3D大场景模型。

本发明提供的基础方案一：基于RGB相机和雷达的自动标定生成模型的方法，包括如下内容：

场景准备，构建需要识别的场景，并进行设备设置；其中设备包括：RGB相机和雷达；

进行设备自检；其中雷达自检，包括：雷达基于地平面的自动检测，包括：雷达坐标的自动校正，通过寻找场景中的地面构成特征，围绕垂直于地面的Z轴，进行模糊计算，并围绕Z轴旋转雷达，完成雷达坐标校准；

获取RGB相机数据和雷达数据；

判断RGB相机数据和雷达数据是否已经标定，若未标定，则进行去地面及墙壁等附着物、矩阵防射变换、去噪点、均匀单位体积的点云、生成最终点云；若已标定，则自动寻找特征点、求解防射矩阵、点云融合/分雷达颜色通道显示点云、人工精度调整各个雷达、求解有效测量区、求解噪点过滤阈值、生成标定数据和参数。

基础方案的有益效果：本方案先进行场景准备，构建需要识别的场景，并进行设备设置，即在需要识别的场景设置RGB相机和雷达，个数根据需求设置；然后进行设备自检，其中雷达自检，包括：雷达基于地平面的自动检测，用于雷达坐标的自动校正，包括：寻找场景中的地面构成特征，全自动精确矫正地面雷达坐标，围绕垂直于地面的Z轴，进行模糊计算，并围绕Z轴旋转雷达，完成雷达坐标校准；相对于传统的方式中采用三坐标同时矫正，会面临较大的计算量和很长的计算时间，进一步影响模型的生成速度，上述雷达坐标更简单快速，既节约了计算量和系统的硬件成本，又能降低绝大部分人工参与工作量和保证精度。

设备自检完成后，获取RGB相机数据和雷达数据；判断RGB相机数据和雷达数据是否已经标定，若未标定，则进行去地面及墙壁等附着物、矩阵防射变换、去噪点、均匀单位体积的点云、生成最终点云；若已标定，则自动寻找特征点、求解防射矩阵、点云融合/分雷达颜色通道显示点云、人工精度调整各个雷达、求解有效测量区、求解噪点过滤阈值、生成标定数据和参数，从而让任意数量的RGB相机数据和雷达数据进行融合，快速生成带有RGB信息和激光强弱信号的3D大场景模型。

综上所述，本方案能让任意数量的RGB相机数据和雷达数据进行融合，并进行自动计算和低计算量低成本的坐标矫正，快速生成带有RGB信息(RGB相机数据)和激光强弱信号(雷达数据)的3D大场景模型。

进一步，所述设备，还包括：计算硬件资源；

所述进行设备自检，包括：

进行雷达自检，若通过则进行摄像头自检，若未通过则执行场景准备；

进行摄像头自检，若通过则进行计算硬件资源自检，若未通过则执行场景准备；

进行计算硬件资源自检，若通过则进行获取扫描数据和抓拍，若未通过则执行场景准备。

有益效果：设备进行逐个自检，自检通过后才进行后续步骤，以保障数据采集和后续计算的准确性。

进一步，所述雷达分辨率不低于640乘以480。

有益效果：雷达分辨率不低于640乘以480，以保障后续计算精度。

本发明的目的之二在于提供一种基于RGB相机和雷达的自动标定生成模型的装置。

本发明提供基础方案二：基于RGB相机和雷达的自动标定生成模型的装置，采用上述基于RGB相机和雷达的自动标定生成模型的方法，包括：雷达、RGB相机、POE交换机和终端；

雷达、RGB相机和终端均与POE交换机连接，通过POE交换机进行信息传输；

雷达和RGB相机用于对构建的需要识别的场景进行识别，并生成雷达数据和RGB相机数据通过POE交换机发送给终端；

终端，用于判断RGB相机数据和雷达数据是否已经标定，若未标定，则进行去地面及墙壁等附着物、矩阵防射变换、去噪点、均匀单位体积的点云、生成最终点云；若已标定，则自动寻找特征点、求解防射矩阵、点云融合/分雷达颜色通道显示点云、人工精度调整各个雷达、求解有效测量区、求解噪点过滤阈值、生成标定数据和参数；

还用于寻找场景中的地面构成特征，围绕垂直于地面的Z轴，进行模糊计算，并围绕Z轴旋转雷达，完成雷达坐标校准。

进一步，所述雷达分辨率不低于640乘以480。

附图说明

图1为本发明基于RGB相机和雷达的自动标定生成模型的方法实施例一的流程示意图；

图2为本发明基于RGB相机和雷达的自动标定生成模型的装置实施例二的逻辑框图。

具体实施方式

下面通过具体实施方式进一步详细说明：

说明书附图中的附图标记包括：终端1。

实施例一

本实施例基本如附图1所示：基于RGB相机和雷达的自动标定生成模型的方法，包括如下内容：

场景准备，构建需要识别的场景，并进行设备设置；具体地，其中设备包括：RGB相机、雷达和计算硬件资源，在需要识别的场景中根据需求在不同位置的设置雷达和RGB相机，以及进行计算的计算硬件资源；其中雷达型号约定为面扫描激光雷达，分辨率不低于640乘以480，通过固定安装的多个激光雷达，构建扫描阵列，计算硬件资源能将多个雷达的点云数据，按照几何关系进行人工或者自动的拼接合成，去掉地面等周边物体的点云，去掉灰尘等的干扰信息，还原为关注物体的点云文件。本实施例中固定安装5个雷达阵列，5个RGB相机阵列，且安装方向对向目标物，视锥尽量多的包裹住目标物。

设备自检，进行雷达自检，若通过则进行摄像头自检，若未通过则执行场景准备；

进行摄像头自检，若通过则进行计算硬件资源自检，若未通过则执行场景准备；

进行计算硬件资源自检，若通过则进行获取扫描数据和抓拍，若未通过则执行场景准备；

其中雷达自检，包括：雷达基于地平面的自动检测，包括：雷达坐标的自动校正，通过寻找场景中的地面构成特征，围绕垂直于地面的Z轴，进行模糊计算，并围绕Z轴旋转雷达，完成雷达坐标校准；相对于传统的方式中采用三坐标同时矫正，会面临较大的计算量和很长的计算时间，进一步影响模型的生成速度，上述雷达坐标更简单快速，既节约了计算量和系统的硬件成本，又能降低绝大部分人工参与工作量和保证精度。

获取扫描数据和抓拍，即RGB相机数据和雷达数据；

判断RGB相机数据和雷达数据是否已经标定；本实施例中通过浏览器的方式，提供自动标定和人工辅助精确标定的工具，建立需要的PLC文件，以浏览器的方式，可以查看建立的PLC模式；

若未标定，则进行去地面及墙壁等附着物、矩阵防射变换、去噪点、均匀单位体积的点云、生成最终点云；其中去噪点是采用物体点云的相关性分析，以3D网格精细划分点云，找出点云聚集的网格，距离密度高的点云网格一定阀值的点过滤；

若已标定，则自动寻找特征点、求解防射矩阵、点云融合/分雷达颜色通道显示点云、人工精度调整各个雷达、求解有效测量区、求解噪点过滤阈值、生成标定数据和参数。

此外，对于正确标定后的系统(RGB相机、雷达和计算硬件资源连接组成的系统)，每次扫描生成模型的计算时间不超过5秒，该时间除去了扫描积累点云的时间外，比如扫描了10秒得到点云，排除地面，环境物体，杂质等，提取出模型用5秒；本实施例中系统三坐标中，最大物体尺寸为20米，最远物体距离为25米；进行坐标矫正，点云合成，精度在20米范围内合成误差不超过1％，5米范围合成误差不超过0.8％，如果因为环境震动，安装设备的建筑物变形等原因，造成误差，采用定期(3个月)验证一次，任意目标物均为作为标定的目标物，重新执行标定过程。实际使用过程中一般2到多个雷达，自动环境物体标定计算时间不超过10秒，可人工辅助精确标定；自动去除环境，提取主要测量物体，去背景和地面的计算时间不超过5秒；

在实际场景中，环境通常为地面及静态建筑物，或者背景墙，装饰物等物体，这些物体都是自动标定的参照物；不同位置的单个雷达和单个相机，都可以用标定算法提取特征点，用尽量多的特征点配合的多目标融合计算方法，可以找到构成环境的要素。这些环境要素的特征点，既可以用来进行雷达坐标的自动校正，RGB视野锥体的自动校正，也可以用来与实际测量拍摄物体进行分割，从而实现：基于正确的坐标，去除场景环境物体，得到拍摄物体的目的。

实施例二

本实施例基本如附图2所示：一种基于RGB相机和雷达的自动标定生成模型的装置，采用上述基于RGB相机和雷达的自动标定生成模型的方法，包括：雷达、RGB相机、POE交换机和终端1(即计算硬件资源自检)，如图2所示；

雷达、RGB相机和终端1均与POE交换机连接，通过POE交换机进行信息传输；

雷达和RGB相机用于对构建的需要识别的场景进行识别，并生成雷达数据和RGB相机数据通过POE交换机发送给终端1；

终端1，用于判断RGB相机数据和雷达数据是否已经标定，若未标定，则进行去地面及墙壁等附着物、矩阵防射变换、去噪点、均匀单位体积的点云、生成最终点云；若已标定，则自动寻找特征点、求解防射矩阵、点云融合/分雷达颜色通道显示点云、人工精度调整各个雷达、求解有效测量区、求解噪点过滤阈值、生成标定数据和参数；

还用于寻找场景中的地面构成特征，围绕垂直于地面的Z轴，进行模糊计算，并围绕Z轴旋转雷达，完成雷达坐标校准。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。