一种数据处理方法、装置、设备以及存储介质

技术领域

本发明实施例涉及三维建模技术领域，尤其涉及一种数据处理方法、装置、设备以及存储介质。

背景技术

三维建模通常是将激光雷达采集到的数据和摄像头采集到的数据进行融合，生成携带有彩色信息的三维图像的过程。

然而，在三维建模的过程中，激光雷达的扫描频率通常远高于摄像头的采集帧率。目前，针对仅激光雷达进行点云扫描，而摄像头未进行图像采集的时刻，通常是将激光雷达本次扫描的点云映射到摄像头最近一次拍摄的图像中，来为本次扫描的点云确定颜色信息。但是，实际空间中的某些位置，激光雷达本次能够扫描到其对应的点云，但摄像头上一次却未必能够采集到该位置对应的颜色信息，从而导致三维建模结果的颜色信息赋值不准确的情况出现，亟需改进。

发明内容

本发明提供一种数据处理方法、装置、设备以及存储介质，能够更为准确的为激光雷达采集的点云添加颜色信息，进而为后续精准构建三维点云模型提供了保障。

第一方面，本发明实施例提供了一种数据处理方法，该方法包括：

若激光雷达的采集频率高于摄像头的采集频率，且当前时刻仅激光雷达进行了数据采集，则将激光雷达当前时刻采集的第一点云映射到上一基准时刻采集的第一图像数据中，得到第一点云在第一图像数据中的映射点；其中，上一基准时刻为激光雷达和摄像头在当前时刻之前，最近一次同时进行数据采集的时刻；激光雷达和摄像头安装于同一移动设备上；

根据映射点的当前高度信息，以及映射点的周围点的已记录高度信息，从映射点中确定图像采集盲点；

根据第一图像数据和图像采集盲点，为第一点云添加颜色信息。

第二方面，本发明实施例还提供了一种数据处理装置，该装置包括：

映射点获取模块，用于若激光雷达的采集频率高于摄像头的采集频率，且当前时刻仅激光雷达进行了数据采集，则将激光雷达当前时刻采集的第一点云映射到上一基准时刻采集的第一图像数据中，得到第一点云在第一图像数据中的映射点；其中，上一基准时刻为激光雷达和摄像头在当前时刻之前，最近一次同时进行数据采集的时刻；激光雷达和摄像头安装于同一移动设备上；

图像盲点确定模块，用于根据映射点的当前高度信息，以及映射点的周围点的已记录高度信息，从映射点中确定图像采集盲点；

颜色信息添加模块，用于根据第一图像数据和图像采集盲点，为第一点云添加颜色信息。

第三方面，本发明实施例还提供了一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本发明任一实施例所述的数据处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的数据处理方法。

本发明实施例的技术方案，在激光雷达的采集频率高于摄像头的采集频率，且当前时刻仅激光雷达进行了数据采集的情况下，通过将激光雷达当前时刻采集的第一点云映射到上一基准时刻采集的第一图像数据中，依据上一基准时刻采集到的第一图像数据，得到了当前时刻的第一点云在上一基准时刻的映射点；基于映射点的当前高度信息，及映射点的周围点的已记录高度信息，从映射点中确定图像采集盲点；再根据第一图像数据和图像采集盲点，为第一点云添加颜色信息，本方案针对仅激光雷达进行点云扫描，而摄像头未进行图像采集的时刻，增加了根据高度信息，确定激光雷达采集的各点云是否为摄像头采集不到的地方，即盲点的过程，考虑摄像头盲点后再为点云添加颜色信息， 提高了点云颜色信息添加的准确性，进而为后续精准构建三维点云模型提供了保障。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种数据处理方法的流程图。

图2为本发明实施例二提供的一种数据处理方法的流程图。

图3为本发明实施例三提供的一种数据处理方法的流程图。

图4为本发明实施例四提供的一种数据处理方法的流程图。

图5为本发明实施例五提供的一种数据处理装置的结构示意图。

图6为本发明实施例六提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种数据处理方法的流程图，本实施例可适用于三维建模数据处理的情况，尤其适用于三维建模的过程中，基于摄像头采集的图像数据，为激光雷达采集的点云添加颜色信息的情况。该方法可以由数据处理装置来执行，该数据处理装置可以采用硬件和/或软件的形式实现，该数据处理装置可集成于电子设备中。如图1所示，该方法包括：

S110、若激光雷达的采集频率高于摄像头的采集频率，且当前时刻仅激光雷达进行了数据采集，则将激光雷达当前时刻采集的第一点云映射到上一基准时刻采集的第一图像数据中，得到第一点云在第一图像数据中的映射点。

其中，上一基准时刻为激光雷达和摄像头在当前时刻之前，最近一次同时进行数据采集的时刻。

激光雷达和摄像头安装于同一移动设备上。该移动设备可以是任意能够承载摄像头和激光雷达移动的设备。例如，可以是移动机器人或无人机等。

第一点云可以是激光雷达在当前时刻扫描周围环境空间所采集到的点云。第一点云的数量通常为多个。第一图像数据可以是摄像头在当前时刻的上一基准时刻所采集的图像数据。映射点可以是第一点云映射到上一基准时刻所对应的第一图像数据中对应的像素点。需要说明的是，激光雷达采集的每一个点云，在第一图像数据都有一个对应的映射点。

需要说明的是，在本发明实施例中，激光雷达的采集频率高于摄像头的采集频率，且当前时刻定义为仅激光雷达进行了数据采集，摄像没有采集数据。此时可以将上一基准时刻摄像头采集到的数据，作为当前时刻判断摄像头实际应采集到的数据的参考数据，进而判断当前时刻激光雷达采集的第一点云在摄像头中是否存在图像采集盲点。示例性的，假设激光雷达数据采集的时刻为t

具体的，由于第一点云数据是在雷达坐标系下的数据，第一图像数据是图像坐标系下的数据，所以本实施例将激光雷达当前时刻采集的第一点云映射到上一基准时刻采集的第一图像数据中，得到第一点云在第一图像数据中的映射点的过程可以是：将雷达坐标系下的各第一点云从当前时刻转换到上一基准时刻，找到各第一点云在上一基准时刻采集的第二点云数据中对应的点云，即关联点云，然后再将关联点云从雷达坐标系转换到相机坐标系，再从相机坐标系转换到图像坐标系，此时各点云对应转换到图像坐标系下的位置点，即为第一点云映射到第一图像数据中的映射点，进而实现了将第一点云映射到上一基准时刻对应的第一图像数据中，并找到映射点的过程。

S120、根据映射点的当前高度信息，以及映射点的周围点的已记录高度信息，从映射点中确定图像采集盲点。

其中，当前高度信息可以是映射点所对应的第一点云的高度信息。该当前高度信息可以是第一点云在雷达坐标系下的高度信息，也可以是在相机坐标系下的高度信息。已记录高度信息可以是最近一次记录的高度信息。需要说明的是，各周围点的已记录高度信息的记录时刻可以相同，也可以不同。

周围点可以是以映射点为中心，其周围与映射点相邻的各点。示例性的，可以将映射点的上方、下方、左方、右方、左上、左下、右上和右下的8个点作为该映射点的周围点。

图像采集盲点可以是当前时刻激光雷达能够扫描到，但摄像头在上一基准时刻却没有采集到位置点。

可选的，在实际空间中，相邻位置的点的高度信息通常不会相差很多。所以，本实施例根据映射点的当前高度信息，以及映射点的周围点的已记录高度信息，从映射点中确定图像采集盲点的实现过程可以是根据映射点的当前高度信息与各周围点的已记录高度信息之间的高度差，判断映射点是否为盲点。示例性的，可以判断映射点的当前高度信息与各周围点的已记录高度信息的高度差，若高度差不超过预设高度差，如0.5m，则确定该映射点不是图像采集盲点；若高度差大于预设高度差，如0.5m，则确定该映射点为图像采集盲点。

在上述技术方案的基础上，根据映射点的当前高度信息，以及映射点的周围点的已记录高度信息，从映射点中确定图像采集盲点的优选实现方式可以包括如下：

S1201、根据映射点的已记录高度信息和初始信息判断条件，从映射点中确定候选点。

其中，初始信息判断条件可以是判断映射点所对应的点云位置是否为初始化值的条件。候选点可以是从映射点中筛选出来的，用来进一步判断是否为图像采集盲点的点。

具体的，本实施例可以预先申请一个内存空间，用来记录图像中每一像素点的高度坐标值，且针对每一像素点其初始化时会为其赋一个较小的初始化值，如-9999。针对任一第一点云，若其映射到图像中的某一位置，且该位置的已记录高度信息为初始化值时，则说明该第一点云的映射点不是候选点，此时需要基于该第一点云的高度信息来更新其映射点在申请的内存空间中的已记录高度信息；若其映射到图像中的某一位置，且该位置的已记录高度信息不是初始化值，即针对该位置，曾经为其更新过已记录高度信息，则说明该第一点云的映射点为候选点。

S1202、根据候选点的当前高度信息，以及候选点的周围点的已记录高度信息，从候选点中确定图像采集盲点。

具体的，可以是根据候选点的当前高度信息与各周围点的已记录高度信息之间的高度差，来判断各候选点是否为图像采集盲点。

本方案通过设定初始信息判断条件，初步筛选候选点，仅针对初筛选出的各候选点，结合其当前高度信息和其周围点的已记录高度信息判断各候选点是否为图像采集盲点，无需为每一映射点，都进行一次高度差判断，在保证图像采集盲点确定的准确性的同时，极大的提高了图像采集盲点的确定效率。

进一步地，根据候选点的当前高度信息，以及候选点的周围点的已记录高度信息，从候选点中确定图像采集盲点的过程优选可以包括：针对每一候选点，根据候选点的当前高度信息，以及候选点的周围点的已记录高度信息，确定候选点与各周围点的高度差。若高度差大于高度阈值的周围点的个数大于数量阈值，则确定候选点为图像采集盲点。

其中，高度阈值为高度差的上限值。数量阈值为高度差大于高度阈值的周围点的个数上限值。高度阈值和数量阈值可以根据经验进行设定和调整。

具体的，针对判断出来的每一个候选点，根据将候选点的当前高度信息与该候选点的周围点的已记录高度数据做差值，得到候选点与各周围点之间的高度差。然后，判断高度差大于高度阈值的周围点的个数是否大于数量阈值，若大于，则确定该候选点为图像采集盲点。

本方案同时引入高度阈值和数量阈值确定图像采集盲点，提高了图像采集盲点确定准确性。

S130、根据第一图像数据和图像采集盲点，为第一点云添加颜色信息。

具体的，本实施例可以是根据确定的图像采集盲点，得到图像采集盲点在第一点云中对应的点云，进而确定第一点云中非图像采集盲点对应的点云；然后针对非图像采集盲点对应的点云，根据该点云在第一图像数据中对应的颜色信息，将该颜色信息作为第一点云的颜色信息。

本发明实施例的技术方案，在激光雷达的采集频率高于摄像头的采集频率，且当前时刻仅激光雷达进行了数据采集的情况下，通过将激光雷达当前时刻采集的第一点云映射到上一基准时刻采集的第一图像数据中，依据上一基准时刻采集到的第一图像数据，得到了当前时刻的第一点云在上一基准时刻的映射点；基于映射点的当前高度信息及映射点的周围点的已记录高度信息，从映射点中确定图像采集盲点；再根据第一图像数据和图像采集盲点，为第一点云添加颜色信息。本方案针对仅激光雷达进行点云扫描，而摄像头未进行图像采集的时刻，增加了根据高度信息，确定激光雷达采集的各点云是否为摄像头采集不到的地方，即盲点的过程，考虑摄像头盲点后再为点云添加颜色信息， 提高了点云颜色信息添加的准确性，进而为后续精准构建三维点云模型提供了保障。

实施例二

图2为本发明实施例二提供的一种数据处理方法的流程图。本实施例是在上述技术方案的基础上，将若高度差大于高度阈值的周围点的个数大于数量阈值，则确定候选点为图像采集盲点进一步优化，如图2所示，该方法包括：

S210、若激光雷达的采集频率高于摄像头的采集频率，且当前时刻仅激光雷达进行了数据采集，则将激光雷达当前时刻采集的第一点云映射到上一基准时刻采集的第一图像数据中，得到第一点云在第一图像数据中的映射点。

其中，上一基准时刻为激光雷达和摄像头在当前时刻之前，最近一次同时进行数据采集的时刻；激光雷达和摄像头安装于同一移动设备上。

S220、根据映射点的已记录高度信息和初始信息判断条件，从映射点中确定候选点。

S230、针对每一候选点，根据候选点的当前高度信息，以及候选点的周围点的已记录高度信息，确定候选点与各周围点的高度差。

S240、在激光雷达为多回波激光雷达的情况下，若高度差大于高度阈值的周围点的个数大于数量阈值，则根据候选点对应的第一点云的采集方向和第一图像数据的采集方向，确定方向偏差。

其中，第一点云的采集方向可以是激光雷达采集各第一点云的激光光束的发射方向，第一图像数据的采集方向可以是摄像头采集该第一图像数据时，镜头所对应的方向。

具体的，本实施例在激光雷达为多回波激光雷达的情况下，若高度差大于高度阈值的周围点的个数大于数量阈值，则说明映射点可能为图像采集盲点，此时，可以计算第一点云的采集方向与第一图像数据的采集方向之间的偏差，作为方向偏差。

S250、若方向偏差大于偏差阈值，则确定候选点为图像采集盲点。

其中，偏差阈值为方向偏差的最大值，偏差阈值可以根据经验设定和调整。

若第一点云的采集方向和第一图像数据的采集方向的方向偏差大于偏差阈值，则候选点即作为图像采集盲点。

可选的，在激光雷达为单回波激光雷达的情况下，本实施例可以在获取第一点云后，先根据第一点云的采集方向和第一图像数据的采集方向，确定方向偏差。若方向偏差大于偏差阈值，则直接确定第一点云为图像采集盲点；若方向偏差小于或等于偏差阈值，则再执行S210-S230的操作；若高度差大于高度阈值的周围点的个数大于数量阈值时，则将各周围点对应的候选点作为图像采集盲点，不再执行S240-S250的操作。

S260、根据第一图像数据和图像采集盲点，为第一点云添加颜色信息。

本发明实施例的技术方案，在激光雷达的采集频率高于摄像头的采集频率，且当前时刻仅激光雷达进行了数据采集的情况下，通过将激光雷达当前时刻采集的第一点云映射到上一基准时刻采集的第一图像数据中，得到第一点云在第一图像数据中的映射点；根据映射点的已记录高度信息和初始信息判断条件，从映射点中确定候选点；针对每一候选点，根据候选点的当前高度信息，以及候选点的周围点的已记录高度信息，确定候选点与各周围点的高度差；在激光雷达为多回波激光雷达的情况下，若高度差大于高度阈值的周围点的个数大于数量阈值，则根据候选点对应的第一点云的采集方向和第一图像数据的采集方向，确定方向偏差；若方向偏差大于偏差阈值，则确定候选点为图像采集盲点；根据第一图像数据和图像采集盲点，为第一点云添加颜色信息。本方案在确定图像采集盲点时，引入了点云的采集方向和图像的采集方向，进一步提高了图像采集盲点确定的准确性。

实施例三

图3为本发明实施三提供的一种数据处理方法的流程图，在上述技术方案的基础上，将激光雷达当前时刻采集的第一点云映射到上一基准时刻采集的第一图像数据中，得到第一点云在第一图像数据中的映射点进一步优化，如图3所示，该方法包括：

S310、若激光雷达的采集频率高于摄像头的采集频率，且当前时刻仅激光雷达进行了数据采集，则根据里程计记录的当前时刻的姿态信息和上一基准时刻的姿态信息，确定从上一基准时刻到当前时刻的位姿变换矩阵。

其中，里程计可以是为移动设备提供实时的位姿信息，获取移动设备相对定位的有效传感器。位姿信息包括：位置信息和姿态信息。里程计的位姿信息可以是位于全局坐标系下的信息，该全局坐标系可以是大地坐标系或世界坐标系等。

本实施例可以是根据里程计记录的当前时刻的姿态信息和上一基准时刻对应的姿态信息，基于如下公式（1），确定上一基准时刻到当前时刻对应的姿态变化矩阵。

其中，T为上一基准时刻到当前时刻对应的姿态变化矩阵；T

可选的，本实施例中，里程计中记录的姿态信息的确定方式有很多，其中，一种可实现方式为：

将移动设备上安装的组合惯导采集的当前时刻的姿态信息和上一基准时刻的姿态信息，作为里程计记录的当前时刻的姿态信息和上一基准时刻的姿态信息。

其中，组合惯导可以是记录移动设备位姿信息的传感器。具体的，本实施例可以将组合惯导在激光雷达扫描采集数据的时刻所采集的位姿信息直接记录到里程计中，就可以获取包括当前时刻和上一基准时刻的位姿信息。

另一种可实现方式为：利用雷达帧间匹配的方式确定里程计记录的当前时刻的姿态信息和上一基准时刻的姿态信息。具体的，可以是基于激光雷达相邻帧扫描的点云数据，采用帧间匹配算法，推算各采集时刻对应的采集的位置信息和姿态信息，记录到里程计中。

本方案优选基于组合惯导来确定里程计记录的姿态信息，这样设置的好处是能够进一步保证姿态信息确定的精准性和便捷性。

S320、根据位姿变换矩阵，确定激光雷达当前时刻采集的第一点云在上一基准时刻采集的第二点云中的关联点云。

其中，第二点云可以是激光雷达在上一基准时刻采集的点云。第二点云和第一点云是激光雷达在不同时刻采集的点云数据。

关联点云可以是第一点云中从当前时刻映射到上一基准时刻的第二点云中的对应点云。

位姿变换矩阵可以包含旋转矩阵和平移矩阵。其中，旋转矩阵可以是一个3*3矩阵，用于表征将某一时刻的姿态变化到另一时刻的姿态时，对应的旋转变化量。平移矩阵可以是一个3*1矩阵，用于表征将某一时刻的位置平移到另一时刻的位置变化量。

具体的，本实施例可以是根据位姿变换矩阵中的平移矩阵和旋转矩阵，基于下述公式（2），确定当前时刻的第一点云与上一基准时刻的第二点云中的关联点云之间的对应关系。

其中，P

S330、将关联点云从雷达坐标系转换到上一基准时刻采集的第一图像数据的图像坐标系下，得第一点云在第一图像数据中的映射点。

可选的，将关联点云从雷达坐标系转换到上一基准时刻采集的第一图像数据的图像坐标系下，可以是基于雷达坐标系到相机坐标系之间的坐标系转换矩阵将关联点云从雷达坐标系转换到相机坐标系下，再基于针孔相机模型将相机坐标系转移到图像坐标系下的第一图像数据中对应的像素点的过程。

坐标系转换矩阵可以包含坐标系旋转矩阵和坐标系平移矩阵。其中，坐标系旋转矩阵和坐标系平移矩阵的矩阵结构和作用与上述位姿变换矩阵类似，在此不做赘述。

本实施例可以是根据坐标系转换矩阵中的坐标系旋转矩阵和坐标系平移矩阵，基于下述公式（3），将关联点云从雷达坐标系转换到相机坐标系。

其中，P

具体的，基于针孔相机模型将相机坐标系转移到图像坐标系下的第一图像数据中对应的像素点，可以是利用针孔相机模型的小孔成像原理，将相机坐标系下的关联点云投影到图像坐标系中的像素点中，从而获取了关联点云在图像坐标系下的映射点。

S340、根据映射点的当前高度信息，以及映射点的周围点的已记录高度信息，从映射点中确定图像采集盲点。

S350、根据第一图像数据和图像采集盲点，为第一点云添加颜色信息。

本发明实施例的技术方案通过里程计记录的当前时刻的姿态信息和上一基准时刻的姿态信息，确定了从上一基准时刻到当前时刻的位姿变换矩阵；基于位姿变换矩阵，确定了激光雷达当前时刻采集的第一点云在上一基准时刻采集的第二点云中的关联点云；将关联点云从雷达坐标系转换到上一基准时刻采集的第一图像数据的图像坐标系下，得第一点云在第一图像数据中的映射点；根据映射点的当前高度信息，以及映射点的周围点的已记录高度信息，从映射点中确定图像采集盲点；根据第一图像数据和图像采集盲点，为第一点云添加颜色信息。本实施例给出了一种将第一点云数据从当前时刻转换到图像坐标系，得到第一点云在第二点云中的关联点云的优选实现方式，为图像采集盲点筛选提供了条件。

实施例四

图4为本发明实施例四提供的一种数据处理方法的流程图，在上述技术方案的基础上，进行了进一步的优化，具体的，给出了为第一点云添加颜色信息之后的优选实现方式，如图4所示，该数据处理方法包括：

S410、若激光雷达的采集频率高于摄像头的采集频率，且当前时刻仅激光雷达进行了数据采集，则将激光雷达当前时刻采集的第一点云映射到上一基准时刻采集的第一图像数据中，得到第一点云在第一图像数据中的映射点。

其中，上一基准时刻为激光雷达和摄像头在当前时刻之前，最近一次同时进行数据采集的时刻；激光雷达和摄像头安装于同一移动设备上。

S420、根据映射点的当前高度信息，以及映射点的周围点的已记录高度信息，从映射点中确定图像采集盲点。

S430、根据第一图像数据和图像采集盲点，为第一点云添加颜色信息。

S440、基于第一点云的位姿信息、颜色信息和当前时刻的里程计信息，更新三维点云模型。

具体的，可以是基于当前时刻第一点云的位姿信息和当前时刻的激光雷达的里程计信息，将各第一点云的位姿信息转换为全局坐标系下，得到各第一点云在三维模型中的位置信息，再基于S430为各第一点云添加的颜色信息，将该颜色信息赋值给位于三维点云模型中该第一点云对应位置处，实现了更新三维点云模型。即激光雷达每采集一次点云，都需要执行本步骤的上述操作，来更新一次三维点云模型。

需要说明的是，针对第一点云中的图像采集盲点，由于S430没有为其添加颜色信息，所以在本步骤更新三维点云模型时，可以先不为该图像采集盲点对应位置赋值颜色信息。

S450、根据图像采集盲点，确定第一点云中的盲区点云；

其中，盲区点云可以是从第一点云中筛选出来的上一基准时刻摄像头采集的图像数据中没有对应图像数据的点云。

具体的，根据所述图像采集盲点，确定第一点云中的盲区点云，可以是将从映射点中筛选出来的图像采集盲点，将其对应的第一点云作为盲区点云。

S460、若检测到第一点云补色事件，则根据更新后的三维点云模型，确定第一点云中的盲区点云中的可补色点云。

其中，可补色点云可以是在更新后的三维点云模型的点云数据中没有添加颜色信息的点云。

第一点云补色事件为需要为第一点云中的盲区点云补填颜色信息的事件。具体的，该第一补色事件可以包括：在当前时刻的下一时刻为非基准时刻的情况下，检测到已对下一时刻的第三点云中的盲区点云执行完补填颜色信息的操作；在当前时刻的下一时刻为基准时刻的情况下，检测到已对下一时刻之后的非基准时刻的第四点云执行完添加颜色信息的操作。

其中，基准时刻为激光雷达和摄像头同时进行数据采集的时刻。

非基准时刻为激光雷达进行数据采集，且摄像头没有进行数据采集的时刻。

第三点云可以是在当前时刻的下一时刻为非基准时刻的情况下，激光雷达在当前时刻的下一时刻所采集的点云。

第四点云可以是在当前时刻的下一时刻为基准时刻的情况下，激光雷达在下一基准时刻，与下下基准时刻之间的各时刻所采集的点云。

具体的，在当前时刻的下一时刻为非基准时刻的情况下，若检测到已对第三点云执行完确定补色点云以及为确定的可补色点云已补填颜色信息的操作，则说明检测到第一点云补色事件。

在当前时刻的下一时刻为基准时刻的情况下，若检测到第四点云执行完添加颜色信息的操作，则说明检测到第一点云补色事件。

示例性的，假设激光雷达数据采集的时刻为t

需要说明的是，本实施例在确定第一点云补色事件时，考虑到了雷达采集数据的特性，根据时间连续的先后顺序和回波的距离远近输出，按照时间从小到大、距离由近到远顺序输出。基于该特性，来确定为点云补色的时机，进而保证了补色结果的准确性。

可选的，本实施例确定出第一点云中的盲区点云后，先不立刻确定可补色点云，而是需要在检测到第一点云补色事件的情况下，才根据检查到第一点云补色事件之间，最近一次更新的三维点云模型，来确定第一点云中的盲区点云中的可补色点云。具体的，确定过程可以是根据更新后的三维点云模型的点云数据，判断第一点云中的盲区点云是否已经添加了颜色信息，若没有添加颜色信息，则把该盲区点云作为可补色点云。

S470、基于下一基准时刻采集的图像数据，对可补色点云补填颜色信息。

其中，下一基准时刻可以是当前时刻之后最近一次激光雷达和摄像头同时进行数据采集的时刻。

具体的，基于下一基准时刻采集的图像数据，对所述可补色点云补填颜色信息，可以与S410-S430的过程类似。例如，将可补色点云映射到下一基准时刻采集的第二图像数据中，依据下一基准时刻采集到的第二图像数据，得到当前时刻的可补色点云在下一基准时刻的映射点（即可补色点云的映射点）；基于可补色点云的映射点的当前高度信息，及其周围点的已记录高度信息，从可补色点云的映射点中确定可补色点云中的图像采集盲点；再根据第二图像数据和可补色点云中的图像采集盲点，为可补色点云中的非图像采集盲点添加颜色信息。

本发明实施例的技术方案，通过在为第一点云添加颜色信息之后，基于第一点云的位姿信息、颜色信息和当前时刻的里程计信息，更新三维点云模型，考虑到了图像采集盲点，仅对非图像采集盲点进行颜色信息的复制，保证了三维点云模型的精准性。另外，本方案还通过确定图像采集盲点对应的盲区点云，对盲区点云进一步处理，筛选出可补色点云，并基于下一基准时刻采集的图像数据和更新后的三维点云模型，对可补色点云进行颜色信息补填，对图像采集盲点进行进一步处理，通过下一基准时刻采集到的图像数据，保证了盲区点云中可补色点云颜色赋值的准确性，进而保证了三维点云模型的精准性。

实施例五

图5为本发明实施例五提供的一种数据处理装置的结构示意图，本实施例可适用于三维建模数据处理的情况，尤其适用于三维建模的过程中，基于摄像头采集的图像数据，为激光雷达采集的点云添加颜色信息的情况。该装置可以实现本发明上述实施例的数据处理方法，该数据处理装置可以采用硬件和/或软件的形式实现，该数据处理装置可集成于电子设备中。如图5所示，该装置包括：

映射点获取模块510，用于若激光雷达的采集频率高于摄像头的采集频率，且当前时刻仅激光雷达进行了数据采集，则将激光雷达当前时刻采集的第一点云映射到上一基准时刻采集的第一图像数据中，得到第一点云在第一图像数据中的映射点；其中，上一基准时刻为激光雷达和摄像头在当前时刻之前，最近一次同时进行数据采集的时刻；激光雷达和摄像头安装于同一移动设备上；

图像盲点确定模块520，用于根据映射点的当前高度信息，以及映射点的周围点的已记录高度信息，从映射点中确定图像采集盲点；

颜色信息添加模块530，用于根据第一图像数据和图像采集盲点，为第一点云添加颜色信息。

本发明实施例的技术方案，在激光雷达的采集频率高于摄像头的采集频率，且当前时刻仅激光雷达进行了数据采集的情况下，通过将激光雷达当前时刻采集的第一点云映射到上一基准时刻采集的第一图像数据中，依据上一基准时刻采集到的第一图像数据，得到了当前时刻的第一点云在上一基准时刻的映射点；基于映射点的当前高度信息，及映射点的周围点的已记录高度信息，从映射点中确定图像采集盲点；再根据第一图像数据和图像采集盲点，为第一点云添加颜色信息。解决了图像采集盲点的难以确认问题，实现了对映射点的盲点筛选，完成了对第一点云中非图像采集盲点对应的点云的颜色添加。

可选的，图像盲点确定模块520可以包括：

候选点确定单元，用于根据映射点的已记录高度信息和初始信息判断条件，从映射点中确定候选点；

图像盲点确定单元，用于根据候选点的当前高度信息，以及候选点的周围点的已记录高度信息，从候选点中确定图像采集盲点。

进一步的，图像盲点确定单元包括：

高度差确定子单元，用于针对每一候选点，根据候选点的当前高度信息，以及候选点的周围点的已记录高度信息，确定候选点与各周围点的高度差；

盲点确定子单元，用于若高度差大于高度阈值的周围点的个数大于数量阈值，则确定候选点为图像采集盲点。

具体的，盲点确定子单元可以用于：

在激光雷达为多回波激光雷达的情况下，若高度差大于高度阈值的周围点的个数大于数量阈值，则根据候选点对应的第一点云的采集方向和第一图像数据的采集方向，确定方向偏差；

若方向偏差大于偏差阈值，则确定候选点为图像采集盲点。

可选的，颜色信息添加模块530可以用于：

位姿矩阵确定单元，用于根据里程计记录的当前时刻的姿态信息和上一基准时刻的姿态信息，确定从上一基准时刻到当前时刻的位姿变换矩阵；

关联点云确定单元，用于根据位姿变换矩阵，确定激光雷达当前时刻采集的第一点云在上一基准时刻采集的第二点云中的关联点云；

映射点确定单元，用于将关联点云从雷达坐标系转换到上一基准时刻采集的第一图像数据的图像坐标系下，得第一点云在第一图像数据中的映射点。

相应的，在根据里程计记录的当前时刻和上一基准时刻的姿态信息，确定从上一基准时刻到当前时刻的位姿变换矩阵之前，姿态矩阵确定单元还包括：

将移动设备上安装的组合惯导的采集的当前时刻和上一基准时刻的姿态信息，作为里程计记录的当前时刻和上一基准时刻的姿态信息。

相应的，在为第一点云添加颜色信息之后，数据处理装置还包括：

点云数据更新模块，用于基于第一点云的位姿信息、颜色信息和当前时刻的里程计信息，更新三维点云模型。

相应的，在为第一点云添加颜色信息之后，数据处理装置还包括：

盲区点云确定模块，用于根据图像采集盲点，确定第一点云中的盲区点云；

补色点云确定模块，用于若检测到第一点云补色事件，则根据更新后的三维点云模型，确定所述第一点云中的盲区点云中的可补色点云；

颜色信息补填模块，用于基于下一基准时刻采集的图像数据，对可补色点云补填颜色信息。

其中，第一点云补色事件包括以下任一事件：

在当前时刻的下一时刻为非基准时刻的情况下，检测到已对下一时刻的第三点云中的盲区点云执行完补填颜色信息的操作；

在当前时刻的下一时刻为基准时刻的情况下，检测到已对下一时刻之后的非基准时刻的第四点云执行完添加颜色信息的操作。

本发明实施例所提供的数据处理装置可执行本发明任一实施例所提供的数据处理方法，具备执行方法相应的功能模块和有益效果。

实施例六

图6为本发明实施例六提供的一种电子设备的结构示意图，图6示出了适于用来实现本发明实施例实施方式的示例性设备的框图。图6显示的设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：一个或者多个处理器或者处理单元610，系统存储器620，连接不同系统组件（包括系统存储器620和处理单元610）的总线630。

总线630表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构（ISA）总线，微通道体系结构（MAC）总线，增强型ISA总线、视频电子标准协会（VESA）局域总线以及外围组件互连（PCI）总线。

电子设备600典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备600访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器620可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（RAM）621和/或高速缓存存储器（高速缓存622）。电子设备600可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统623可以用于读写不可移动的、非易失性磁介质（图6未显示，通常称为“硬盘驱动器”）。尽管图6中未示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM, DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线630相连。系统存储器620可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本发明实施例各实施例的功能。

具有一组（至少一个）程序模块624的程序/实用工具625，可以存储在例如系统存储器620中，这样的程序模块624包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块624通常执行本发明实施例所描述的实施例中的功能和/或方法。

电子设备600也可以与一个或多个外部设备700（例如键盘、指向设备、显示器710等）通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口640进行。并且，电子设备600还可以通过网络适配器650与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图所示，网络适配器650通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元610通过运行存储在系统存储器620中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的数据处理方法。

实施例七

本发明实施例七还提供一种计算机可读存储介质，其上存储有计算机程序（或称为计算机可执行指令），该程序被处理器执行时用于执行本发明实施例所提供的数据处理方法时使用。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明实施例进行了较为详细的说明，但是本发明实施例不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。