一种激光雷达与相机融合的图像处理方法及装置

技术领域

本发明属于图像处理技术领域，尤其涉及一种激光雷达与相机融合的图像处理方法及装置。

背景技术

近年来，XR虚拟拍摄技术取得了巨大的突破，作为虚拟拍摄中的核心功能建图(mapping)投影，需要将实际相机拍摄画面和虚拟场景进行融合，目前mapping技术都是按照立方体、面片等规则图形模型作为mapping的投射模型，将摄像机拍摄的画面按照固定的矩形模型进行边缘对齐，从而达到mapping一致的效果，在mapping的过程中，需按照融合效果不断手动修正投射模型的大小比例、角度偏移和坐标位移，修整的精度需达到毫米级别才能在合成渲染层和拍摄层时做到无缝对齐，并能在30帧以上的跟踪过程中无明显撕裂问题。然而，现有技术中，mapping由于投射的屏幕模型为规则的矩形面片或者立方体，而在实际施工过程中，需要投射的屏幕会有施工的误差和多屏幕的拼接造成的各种缝隙，和投射的模型差别很大，从而造成mapping不一致，在XR扩展和移动过程中产生撕裂、交叉等问题。

发明内容

有鉴于此，本发明提供了一种可以精确读取实际屏体的尺寸和空间位置信息、减少mapping误差和提高应用过程效率的激光雷达与相机融合的图像处理方法及装置，来解决上述存在的技术问题，具体采用以下技术福哪敢来实现。

第一方面，本发明提供了一种激光雷达与相机融合的图像处理方法，包括以下步骤：

获取激光雷达扫描屏幕的点云数据，根据激光雷达的位姿信息对点云数据进行点云预处理得到网格信息；

将网格信息进行边缘识别得到预测点云和真实点云，根据预测点云和真实点云求解出分别在网格体的三轴上最多点云落入的空间平面；

基于位姿信息、相机采集的图像和空间平面采用边缘检测图形识别算法进行信息融合得到网格地图；

获取网格地图中的相机虚拟位姿与相机的实际位姿进行匹配定位和建图以完成激光雷达与相机融合的图像处理，其中，相机的实际位姿根据激光雷达的位姿信息进行标定。

作为上述技术方案的进一步优选，将网格信息进行边缘识别得到预测点云和真实点云，包括：

将激光雷达点云和RGB图像作为输入，将三维点云转换为二维深度图，预设内参数P和外参数T，投影的表达式为y＝P·T·x，其中x表示点云中的三维点，y表示转换后的深度图中的二维点；

通过调节的方式来获得未标定的深度图，并将其作为输入深度图，添加的外部参数为T

将RGB图像和未标定深度图输入特征提取网络并经过特征聚合网络输出三个自由度的旋转向量和平移向量，标定网络接收未标定的深度图和对应的RGB图像作为输入，并预测旋转向量和平移向量；

使用预测的旋转向量T

作为上述技术方案的进一步优选，损失函数包括转换损失L

转换损失：目标是回归旋转向量和平移向量，它们是标定网络的输出，分别计算预测值和真实值的旋转向量、平移向量之间的L-2范数，通过添加标量α来控制旋转的L-2范数和平移的L-2范数之间存在的尺度差异，转换损失L

深度图损失：设定预测变换矩阵T

点云损失：通过预测深度图和真实深度图的反投影来获得预测点云和真实点云，使用这两个点云之间的倒角距离CD作为损失函数，点云损失L

其中S

作为上述技术方案的进一步优选，根据预测点云和真实点云求解出分别在网格体的三轴上最多点云落入的空间平面，包括：

将预测点云和真实点云进行点云分割和点云聚类以估计空间平面对应的平面模型的表达式为ax+gy+cz+d＝0，其中d表示激光雷达坐标原点到投影屏幕的距离，a、b和c分别表示投影平面法向量的笛卡尔分量，激光雷达三维空间点云投影到二维平面上，在平面上随机选取两点确定一条直线，计算其余点到该直线的距离，若距离小于阈值，则符合条件，依此循环判断直到找到附着点最多的直线即空间空间平面；

采用DBSCAN算法找到样本点的全部密集区域，并将密集区域形成聚类簇，DBSCAN算法的执行过程为：

步骤一：输入ε邻域、最小类点数和激光点云PCD数据；

步骤二：从点云数据中随机选取一点，统计该点ε邻域内其余点的个数；

步骤三：若点的个数大于等于minPts，该点定义为核心点；否则，该点定义为噪声点，反复执行步骤二和步骤三；

步骤四：继续选取该点ε邻域内一点，以新点为球心，统计新点ε邻域内其余点的个数，若点的个数大于等于minPts，则新点定义为核心点；否则新点定义为边界点；

步骤五：继续执行步骤三至步骤五，找出该类目标聚类点云，从步骤二循环执行以寻找新目标；

其中，ε邻域表示参数ε大于0，以激光雷达点云任意点p为原点的半径；最小类点数minPts表示任意点云p为原点，ε为半径画圆，圆内最小样本点数；核心对象表示任意圆内样本点数大于minPts，则任意点p是核心对象；核心点表示距离任意点p最近的簇点集合，则p为核心点；边界点表示不是狠心点但从核心点密度可达的点集合；噪声点表示不在任意圆内的点，不是核心点也不是边界点；密度可达表示样本点集集合D，若存在任意点序列p

作为上述技术方案的进一步优选，基于位姿信息、相机采集的图像和空间平面采用边缘检测图形识别算法进行信息融合得到网格地图，包括：

预设激光雷达的点云数据H输入空间变换网络中，输出空间变换所需参数为ζ，且通过变换矩阵实现参数的变换后根据参数ζ和变换形式输出Q和输入点云间的映射为Z(ζ)，完成点云坐标的对应变换的表达式为：

其中/>

预设输出V的全部坐标，输入点云数据H的坐标和基于B

其中a表示输入的激光雷达的点云数，c表示需要变换的点云数，将空间变换网络用于卷积神经网络的输入层和卷积层；

将任意选取某点距离最大的点当成起始点不断进行迭代，直至得到有价值的全局点，获取局部形状特征需要对中心点的X、Y和Z轴方向完成三级编码卷积操作以确保中心点特征归属于张量C∈L

作为上述技术方案的进一步优选，激光雷达点云和相机图像信息完成时间和空间同步，将点云和图像信息进行目标级融合，包括：

先将激光雷达点云聚类后的目标点云三维矩形框投影到图像上转化为目标点云二维包络框，再与图像识别算法得到的目标图像像素二维包络框进行数据关联，预设得到目标点云二维包络框和目标图像像素二维包络框的坐标分别为

采用激光雷达点云二维包络框和相机图像二维包络框交集部分面积与相机图像像素二维包络框面积之比来表示两种传感器的匹配结果P，P的表达式为

作为上述技术方案的进一步优选，边缘检测图形识别算法的执行过程包括：

获取图像当前帧的静态特征点，分别对静态特征点中的边缘点和平面点进行匹配，记当前帧的静态特征点为

边缘点在三维空间中以线的形式存在，通过构建点到线的约束来实现边缘点的匹配，预设电i为

预设j为

将f(T

构建拉格朗日函数的表达式为

作为上述技术方案的进一步优选，激光雷达扫描得到的点云数据位于激光雷达三维坐标轴下，将激光雷达坐标系经过平移旋转转换到相机坐标系得到激光雷达的位姿信息，相机将三维空间中的点映射到二维空间的像素点根据相机坐标系、图像坐标系和像素坐标系确定。

作为上述技术方案的进一步优选，根据激光雷达的采样频率对相机图像信息进行缓存，当获取某一时刻的点云数据后，记录当前时刻，在相机图像数据缓存中找到与该刺客相近的相近图像信息并将两种信息同步进行融合，返回同步时间戳到激光雷达和相机以完成两者的时间同步。

第二方面，本发明还提供了一种激光雷达与相机融合的图像处理装置，包括：

数据获取模块，用于获取激光雷达扫描屏幕的点云数据，根据激光雷达的位姿信息对点云数据进行点云预处理得到网格信息；

点云计算模块，用于将网格信息进行边缘识别得到预测点云和真实点云，根据预测点云和真实点云求解出分别在网格体的三轴上最多点云落入的空间平面；

信息融合模块，用于基于位姿信息、相机采集的图像和空间平面采用边缘检测图形识别算法进行信息融合得到网格地图；

图像处理模块，用于获取网格地图中的相机虚拟位姿与相机的实际位姿进行匹配定位和建图以完成激光雷达与相机融合的图像处理，其中，相机的实际位姿根据激光雷达的位姿信息进行标定。

本发明提供了一种激光雷达与相机融合的图像处理方法及装置，通过获取激光雷达扫描屏幕的点云数据，根据激光雷达的位姿信息对点云数据进行点云预处理得到网格信息，将网格信息进行边缘识别得到预测点云和真实点云，根据预测点云和真实点云求解出分别在网格体的三轴上最多点云落入的空间平面，基于位姿信息、相机采集的图像和空间平面采用边缘检测图形识别算法进行信息融合得到网格地图，获取网格地图中的相机虚拟位姿与相机的实际位姿进行匹配定位和建图以完成激光雷达与相机融合的图像处理，提高了目标融合识别结果的精度，同时可以精确读取实际屏体的尺寸和空间位置信息，减少mapping误差，也减少手动调节mapping过程时间，提高应用过程效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的激光雷达与相机融合的图像处理方法的流程图；

图2为本发明的DBSCAN算法的执行过程图；

图3为本发明的激光雷达与相机融合的图像处理装置的结构框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

参阅图1，本发明提供了一种激光雷达与相机融合的图像处理方法，包括以下步骤：

S10：获取激光雷达扫描屏幕的点云数据，根据激光雷达的位姿信息对点云数据进行点云预处理得到网格信息；

S11：将网格信息进行边缘识别得到预测点云和真实点云，根据预测点云和真实点云求解出分别在网格体的三轴上最多点云落入的空间平面；

S12：基于位姿信息、相机采集的图像和空间平面采用边缘检测图形识别算法进行信息融合得到网格地图；

S 1 3：获取网格地图中的相机虚拟位姿与相机的实际位姿进行匹配定位和建图以完成激光雷达与相机融合的图像处理，其中，相机的实际位姿根据激光雷达的位姿信息进行标定。

本实施例中，将网格信息进行边缘识别得到预测点云和真实点云，包括：将激光雷达点云和RGB图像作为输入，将三维点云转换为二维深度图，预设内参数P和外参数T，投影的表达式为y＝P·T·x，其中x表示点云中的三维点，y表示转换后的深度图中的二维点；通过调节的方式来获得未标定的深度图，并将其作为输入深度图，添加的外部参数为T

需要说明的是，损失函数包括转换损失L

另外，图像预处理中区分激光雷达图像中频域分量的大小。图像中的低频分量部分包含的图像信息相对模糊，主要包括背景和轮廓等相关图像信息，频域低的分量信息影响图像的对比度，干扰信息识别。采用线性变换算法对处理激光雷达图像的对比度，使得图像的对比度达到均衡状态。对激光雷达图像进行频域高低分量的分解处理后，图像中原本存在的细节信息和部分噪声保留在高频分量部分，该噪声严重影响细节和清晰度，需要分离噪声以有效完整地保留图像的细节信息。为了有效预防激光雷达图像中存在的不均匀像素，影响边缘信息的完整性和边缘检测的效果，可以利用多尺度不均匀滤波算法调整图像的像素特征点信息，通过分析像素点灰度值与像素加权灰度密度间存在的结构关系，实现像素点特征过滤。

应理解，点云预处理可以是感兴趣区域划分、点云滤波和点云分割，原始点云数据量较大，非必要点云数据较多，影响目标识别效果。为了方便目标识别，需要滤除非必要点云，减少点云数量。激光雷达扫描到LED屏时，激光线束与目标表面存在一定关系，以a、b、c和d为激光雷达线束扫描目标产生的四个点云，激光雷达线束通过旋转角度β扫描到目标上，由于β角度较小，因此认为点a、b、c和d距离激光雷达等长，a、b之间的弧长计算表达式为

参阅图2，可选地，根据预测点云和真实点云求解出分别在网格体的三轴上最多点云落入的空间平面，包括：

将预测点云和真实点云进行点云分割和点云聚类以估计空间平面对应的平面模型的表达式为ax+gy+cz+d＝0，其中d表示激光雷达坐标原点到投影屏幕的距离，a、b和c分别表示投影平面法向量的笛卡尔分量，激光雷达三维空间点云投影到二维平面上，在平面上随机选取两点确定一条直线，计算其余点到该直线的距离，若距离小于阈值，则符合条件，依此循环判断直到找到附着点最多的直线即空间空间平面；

采用DBSCAN算法找到样本点的全部密集区域，并将密集区域形成聚类簇，DBSCAN算法的执行过程为：

步骤一：输入ε邻域、最小类点数和激光点云PCD数据；

步骤二：从点云数据中随机选取一点，统计该点ε邻域内其余点的个数；

步骤三：若点的个数大于等于minPts，该点定义为核心点；否则，该点定义为噪声点，反复执行步骤二和步骤三；

步骤四：继续选取该点ε邻域内一点，以新点为球心，统计新点ε邻域内其余点的个数，若点的个数大于等于minPts，则新点定义为核心点；否则新点定义为边界点；

步骤五：继续执行步骤三至步骤五，找出该类目标聚类点云，从步骤二循环执行以寻找新目标；

其中，ε邻域表示参数ε大于0，以激光雷达点云任意点p为原点的半径；最小类点数minPts表示任意点云p为原点，ε为半径画圆，圆内最小样本点数；核心对象表示任意圆内样本点数大于minPts，则任意点p是核心对象；核心点表示距离任意点p最近的簇点集合，则p为核心点；边界点表示不是狠心点但从核心点密度可达的点集合；噪声点表示不在任意圆内的点，不是核心点也不是边界点；密度可达表示样本点集集合D，若存在任意点序列p

本实施例中，基于位姿信息、相机采集的图像和空间平面采用边缘检测图形识别算法进行信息融合得到网格地图，包括：

预设激光雷达的点云数据H输入空间变换网络中，输出空间变换所需参数为ζ，且通过变换矩阵实现参数的变换后根据参数ζ和变换形式输出Q和输入点云间的映射为Z(ζ)，完成点云坐标的对应变换的表达式为：

其中/>

预设输出V的全部坐标，输入点云数据H的坐标和基于B

其中a表示输入的激光雷达的点云数，c表示需要变换的点云数，将空间变换网络用于卷积神经网络的输入层和卷积层；

将任意选取某点距离最大的点当成起始点不断进行迭代，直至得到有价值的全局点，获取局部形状特征需要对中心点的X、Y和Z轴方向完成三级编码卷积操作以确保中心点特征归属于张量C∈L

需要说明的是，为了解决激光雷达图像点云引起的目标识别结果波动大的问题，需要将空间网络融入用于图像点云目标识别的深度卷积神经网络中，同时点云数据排列稳定性使得点云数据不能有效输入到深度卷积神经网络中，通过max-pooling差异化对称函数处理，构建用于图像点云目标识别的深度卷积神经网络点云特征提取网络。卷积完成后，网络中产生大量的MLP，将1×3卷积核作为网络的首层结构，该层用于处理激光雷达图像三维坐标的输入，该层后续层的卷积核大小1×3。深度卷积神经网络利用两个空间变换网络和两个MLP，向高纬空间映射输入的激光雷达三维特征，并利用max-pooling层取1×1024全局特征。为了获取最终的图像点云目标识别结果，需要通过全连接层获取k个score并连接softmax输出结果。

作为上述技术方案的进一步优选，激光雷达点云和相机图像信息完成时间和空间同步，将点云和图像信息进行目标级融合，包括：

先将激光雷达点云聚类后的目标点云三维矩形框投影到图像上转化为目标点云二维包络框，再与图像识别算法得到的目标图像像素二维包络框进行数据关联，预设得到目标点云二维包络框和目标图像像素二维包络框的坐标分别为

采用激光雷达点云二维包络框和相机图像二维包络框交集部分面积与相机图像像素二维包络框面积之比来表示两种传感器的匹配结果P，P的表达式为

可选地，边缘检测图形识别算法的执行过程包括：

获取图像当前帧的静态特征点，分别对静态特征点中的边缘点和平面点进行匹配，记当前帧的静态特征点为

边缘点在三维空间中以线的形式存在，通过构建点到线的约束来实现边缘点的匹配，预设电i为

预设j为

将f(T

构建拉格朗日函数的表达式为

本实施例中，激光雷达扫描得到的点云数据位于激光雷达三维坐标轴下，将激光雷达坐标系经过平移旋转转换到相机坐标系得到激光雷达的位姿信息，相机将三维空间中的点映射到二维空间的像素点根据相机坐标系、图像坐标系和像素坐标系确定。根据激光雷达的采样频率对相机图像信息进行缓存，当获取某一时刻的点云数据后，记录当前时刻，在相机图像数据缓存中找到与该刺客相近的相近图像信息并将两种信息同步进行融合，返回同步时间戳到激光雷达和相机以完成两者的时间同步。

需要说明的是，为了实现点云数据与图像信息一致性，将激光雷达坐标系通过平移和旋转坐标转换到相机坐标系，然后完成相机坐标系到像素坐标系的坐标转换，最后得到激光雷达坐标系到像素坐标系完整转换矩阵。在实际应用中，每种传感器采样周期不同，因此，采集到的数据会在时间上不同步，激光雷达和相机在某一时刻采集的数据有很大差异，需要在同一时刻下采集数据才能进行数据融合。例如，可以增加传感器刷新频率以减少时间偏差，可以使用PPS时间源与主机保持同步，由主机将时间戳同步请求发送到每个传感器，使每个传感器在同一时间轴上。

参阅图3，本发明还提供了一种激光雷达与相机融合的图像处理装置，包括：

数据获取模块，用于获取激光雷达扫描屏幕的点云数据，根据激光雷达的位姿信息对点云数据进行点云预处理得到网格信息；

点云计算模块，用于将网格信息进行边缘识别得到预测点云和真实点云，根据预测点云和真实点云求解出分别在网格体的三轴上最多点云落入的空间平面；

信息融合模块，用于基于位姿信息、相机采集的图像和空间平面采用边缘检测图形识别算法进行信息融合得到网格地图；

图像处理模块，用于获取网格地图中的相机虚拟位姿与相机的实际位姿进行匹配定位和建图以完成激光雷达与相机融合的图像处理，其中，相机的实际位姿根据激光雷达的位姿信息进行标定。

本实施例中，使用激光雷达扫描的点云数据拓扑成3D模型后再mapping，自动对齐三维网格数据的过程为：安装激光雷达，并记录激光雷达高度和水平；通过激光雷达扫描LED屏，获得屏幕点云数据；对获得的点云数据进行清洗、去噪后再进行拓扑形成网格体；对形成的网格体进行边缘识别，并求解出分别在x、y、z轴最多点云落入的空间平面；固定摄像机到的激光雷达位置，利用边缘检测图形识别算法，对摄像机采集的图像和生成的空间平面进行自动无缝贴边融合，达到对齐的效果；获取虚拟相机镜头文件并返送到真实相机中进行自动mapping。提高了目标融合识别结果的精度，同时可以精确读取实际屏体的尺寸和空间位置信息，减少mapping误差，也减少手动调节mapping过程时间，提高应用过程效率。

在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。