一种基于点云的数字正射影像图的快速生成方法及装置

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于点云的数字正射影像图的快速生成方法及装置。

背景技术

航空摄影测量是基础地理信息数据的主要获取手段，其主要任务是制作数字正射影像图(DOM)。传统的航空摄影测量需布设地面控制点，导致成图工序复杂、制作周期长，不能满足DOM对现势性的要求，即无法及时更新地理信息数据。针对以上问题，POS(Positionand Orientation System)定位定姿技术提供了一种有效解决办法。其核心思想是将POS系统装置在无人机上，以实现直接对地目标定位，打破了必须布设地面控制点的限制。但是，无地面控制点条件下制作的DOM存在精度不高的缺陷。

现有基于点云的DOM生成方案，主要是通过无人机采集的图像帧，通过空中三角测量计算，得到一定精度的纠正点云，再将无人机影像通过该纠正后坐标，反算到成果DOM的像素。空中三角测量能消除无人机影像重叠区域的像素误差，但计算较慢。在使用传统基于影像处理的软件进行无人机影像处理时，往往需要几个小时才能输出正射影像成果。

由于在野外作业时，常常需要快速预览无人机飞行后的区域数据，而常规的计算方法无法满足该需求，因此提出基于“搭载正射相机的激光雷达系统”硬件条件下的DOM快速生成的方法，以实现数字正射影像图(DOM)在实际作业中的快速预览等功能。

发明内容

本发明针对现有技术中存在的技术问题，提供一种基于点云的数字正射影像图的快速生成方法及装置，以实现数字正射影像图(DOM)在实际作业中的快速预览等功能。

本发明解决上述技术问题的技术方案如下：

第一方面，本发明提供一种基于点云的数字正射影像图的快速生成方法，包括：

S1，获取雷达系统采集的点云数据以及正射相机拍摄的帧图像；

S2，根据预设大小将点云数据分块处理，得到多个数字高程模型数据分块；

S3，根据点云坐标以及当前帧图像四角顶点的世界坐标提取与当前帧图像相交的数字高程模型数据分块；

S4，利用相机成像模型计算当前帧图像中每一像素点的世界坐标，并计算每一像素点对应的世界坐标点在当前帧图像上的权重；

S5，遍历当前帧图像中的所有像素点，若像素点M对应的世界坐标点P在当前帧图像I

S6，选取下一帧图像作为当前帧，并跳转至步骤S3，直至遍历完所有帧图像，得到点云数据中任一点云对应的像素值，生成数字正射影像图。

进一步的，根据点云坐标以及当前帧图像四角顶点的世界坐标提取与当前帧图像相交的数字高程模型数据分块，包括：

计算当前帧图像四角顶点的世界坐标，构造当前帧图像对应的平面包围盒；

根据数字高程模型数据分块中所包含点云的XY坐标，构造每个数字高程模型数据分块的点云包围盒；

将所述平面包围盒和任意一个所述点云包围盒做相交运算，若结果不为空，则将当前帧图像与与其相交的数字高程模型数据分块进行绑定。

进一步的，像素点对应的世界坐标点在当前帧图像上的权重的计算方法为：像素点与相机投影中心的连线和相机投影中心与像底点连线之间的夹角的余弦。

进一步的，步骤S5还包括：若像素点M对应的世界坐标点P在当前帧图像I

进一步的，遮挡判断方法，包括：

针对像素点M对应的世界坐标点P，将世界坐标点P与相机投影中心的连线记为L0，将世界坐标点P与像底点的连线记为L1；

通过投影关系，得到帧图像上单个像素对应世界坐标系中的实际距离，以该距离为回溯步长，以世界坐标点P为起点，沿L1方向，按照所述回溯步长提取L1上的点；

对于提取的L1上的任意一点(x,y)，根据点云数据获取(x,y)对应的高程值Z1，同时根据直线L0计算(x,y)对应的高程值Z0；

若Z1大于Z0则表示像素点M对应的世界坐标点P被遮挡。

第二方面，本发明提供一种基于点云的数字正射影像图的快速生成装置，包括：

数据获取模块，获取雷达系统采集的点云数据以及正射相机拍摄的帧图像；

DEM分块模块，根据预设大小将点云数据分块处理，得到多个数字高程模型数据分块；

求交模块，根据点云坐标以及当前帧图像四角顶点的世界坐标提取与当前帧图像相交的数字高程模型数据分块；

权重计算模块，利用相机成像模型计算当前帧图像中每一像素点的世界坐标，并计算每一像素点对应的世界坐标点在当前帧图像上的权重；

权重判断及赋值模块，遍历当前帧图像中的所有像素点，若像素点M对应的世界坐标点P在当前帧图像I

数字正射影像生成模块，用于在遍历完所有帧图像，得到点云数据中任一点云对应的像素值后，生成数字正射影像图。

进一步的，所述求交模块，包括：

第一构造模块，计算当前帧图像四角顶点的世界坐标，构造当前帧图像对应的平面包围盒；

第二构造模块，根据数字高程模型数据分块中所包含点云的XY坐标，构造每个数字高程模型数据分块的点云包围盒；

相交运算及绑定模块，将所述平面包围盒和任意一个所述点云包围盒做相交运算，若结果不为空，则将当前帧图像与与其相交的数字高程模型数据分块进行绑定。

进一步的，所述权重判断及赋值模块，还包括遮挡判断模块；

所述遮挡判断模块用于在判断得到像素点M对应的世界坐标点P在当前帧图像I

第三方面，本发明提供一种电子设备，包括：

存储器，用于存储计算机软件程序；

处理器，用于读取并执行所述计算机软件程序，进而实现本发明第一方面所述的一种基于点云的数字正射影像图的快速生成方法。

第四方面，本发明提供一种非暂态计算机可读存储介质，所述存储介质中存储有用于实现本发明第一方面所述的一种基于点云的数字正射影像图的快速生成方法的计算机软件程序。

本发明的有益效果是：

本方案能使得DOM生成时间较常规基于影像处理的软件提升4倍，同时处理过程中内存占用更低，CPU利用率更高。在处理时免相控、无空三，在弱纹理、无纹理区域也能进行处理，较一般软件的适用面更广。

附图说明

图1为本发明实施例提供的硬件系统结构示意图；

图2为本发明实施例提供的一种基于点云的数字正射影像图的快速生成方法流程示意图；

图3为本发明实施例提供的一种基于点云的数字正射影像图的快速生成装置结构示意图；

图4为本发明实施例提供的电子设备的实施例示意图；

图5为本发明实施例提供的一种计算机可读存储介质的实施例示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

本发明基于搭载正射相机的激光雷达系统硬件体系，可直接获得DOM生成过程中必须的相机内外方位角元素数据，在精度足够的情况下，能免去空三计算，以大幅提高DOM生成效率。

由于无空三解算，因此避免了空三解算失败导致的问题。

而在弱纹理和无纹理区域，基于影像处理的方式由于找不到特征点，因此无法处理。但本方案由于采用像素投影的方式直接计算，因此不存在上述问题。

硬件上，系统以ARM核心板为中央处理单元，包含GNSS板卡、IMU、激光雷达、正射相机、数据和照片存储等单元，系统结构如图1所示。

系统通过GNSS板卡采集GNSS观测数据(支持GPS、GLONASS、北斗、Galileo四星座全点频)，依靠GNSS板卡的PPS同步脉冲信号和GPRMC授时数据为整个系统提供统一的时间标签，实现各单元时间信息的同步。GNSS板卡的MEMS、星历数据等则由核心板存储到数据存储卡上，待后期数据处理时使用。

惯性导航模块IMU以设定的频率将实时的姿态信息发送给核心板，核心板为每一帧数据打上统一的时间标签(GNSS授时)。核心板再将包含时间标签的IMU数据存储到数据存储卡上，待后期数据处理时使用。

激光雷达直接读取GNSS板卡的PPS同步脉冲信号和GPRMC授时数据，激光雷达为点云数据打上时间标签后通过以太网将数据发送给核心板，核心板再将激光雷达数据存储到数据存储卡上，待后期数据处理时使用。

正射相机收到核心板的触发信号后拍摄照片，在照片拍摄的同时，正射相机会反馈一个脉冲信号给核心板，核心板记录下反馈信号的精确时间，并记录在数据存储卡中。照片则存储在专门的照片存储卡中。后期数据处理时可以通过匹配算法，将照片拍摄的时间和照片进行一一对应的匹配。

通过统一的时间标签机制，激光点云、IMU数据的时间标签精度优于1μs，影像数据的时间标签精度优于1ms。

基于上述硬件系统，本发明实施例提供一种基于点云的数字正射影像图的快速生成方法，如图2所示，包括：

S1，获取雷达系统采集的点云数据以及正射相机拍摄的帧图像并进行预处理。

S2，根据预设大小将点云数据分块处理，得到多个数字高程模型数据分块。数据量过大时，内存无法承载，因此将数据进行分块，一来减少内存占用，二来可以进行并行处理。

S3，根据点云坐标以及当前帧图像四角顶点的世界坐标提取与当前帧图像相交的数字高程模型数据分块。

首先，计算当前帧图像四角顶点的世界坐标，构造当前帧图像对应的平面包围盒；

其次，根据数字高程模型数据分块中所包含点云的XY坐标，构造每个数字高程模型数据分块的点云包围盒；

然后，将所述平面包围盒和任意一个所述点云包围盒做相交运算，若结果不为空，则将当前帧图像与与其相交的数字高程模型数据分块进行绑定。

S4，利用相机成像模型计算当前帧图像中每一像素点的世界坐标，并计算每一像素点对应的世界坐标点在当前帧图像上的权重。

在处理无人机影像时，遍历当前影像的像素点，通过计算方程得到该像素点的世界坐标，此时的世界坐标只有XY值，再通过DEM可以得到该点的Z值，由此得到世界坐标。由于该点对应无人机影像上的某像素点，因此可以得到该世界坐标点的颜色值。该计算方程(相机成像模型)则如下式：

sp＝A[R|t]P

式中，p为像素坐标，P

像素点对应的世界坐标点在当前帧图像上的权重的计算方法为：像素点与相机投影中心的连线和相机投影中心与像底点连线之间的夹角的余弦。

S5，遍历当前帧图像中的所有像素点，若像素点M对应的世界坐标点P在当前帧图像I

由于无人机影像有重叠区域，对于同一个世界坐标点，其在不同影像上的权重不同。因此可以通过权重的大小，初步判断是否存在影像重叠的情况。

S6，选取下一帧图像作为当前帧，并跳转至步骤S3，直至遍历完所有帧图像，得到点云数据中任一点云对应的像素值，生成数字正射影像图。

在上述实施例的基础上，步骤S5还包括：若像素点M对应的世界坐标点P在当前帧图像I

优选的，遮挡判断方法，包括：

针对像素点M对应的世界坐标点P，将世界坐标点P与相机投影中心的连线记为L0，将世界坐标点P与像底点的连线记为L1；

通过投影关系，得到帧图像上单个像素对应世界坐标系中的实际距离，以该距离为回溯步长，以世界坐标点P为起点，沿L1方向，按照所述回溯步长提取L1上的点；

对于提取的L1上的任意一点(x,y)，根据点云数据获取(x,y)对应的高程值Z1，同时根据直线L0计算(x,y)对应的高程值Z0；

若Z1大于Z0则表示像素点M对应的世界坐标点P被遮挡。

除了本实施例中所采用的遮挡判断方法，可以采用同一世界坐标点在不同的帧图像中的像素值是否相同来判断。具体判断方法不在此进行赘述。

本方案能使得DOM生成时间较常规基于影像处理的软件提升4倍，同时处理过程中内存占用更低，CPU利用率更高。在处理时免相控、无空三，在弱纹理、无纹理区域也能进行处理，较一般软件的适用面更广。

如图3所示，本发明实施例还提供一种基于点云的数字正射影像图的快速生成装置，包括：

数据获取模块，获取雷达系统采集的点云数据以及正射相机拍摄的帧图像；

DEM分块模块，根据预设大小将点云数据分块处理，得到多个数字高程模型数据分块；

求交模块，根据点云坐标以及当前帧图像四角顶点的世界坐标提取与当前帧图像相交的数字高程模型数据分块；

权重计算模块，利用相机成像模型计算当前帧图像中每一像素点的世界坐标，并计算每一像素点对应的世界坐标点在当前帧图像上的权重；

权重判断及赋值模块，遍历当前帧图像中的所有像素点，若像素点M对应的世界坐标点P在当前帧图像I

数字正射影像生成模块，用于在遍历完所有帧图像，得到点云数据中任一点云对应的像素值后，生成数字正射影像图。

进一步的，所述求交模块，包括：

第一构造模块，计算当前帧图像四角顶点的世界坐标，构造当前帧图像对应的平面包围盒；

第二构造模块，根据数字高程模型数据分块中所包含点云的XY坐标，构造每个数字高程模型数据分块的点云包围盒；

相交运算及绑定模块，将所述平面包围盒和任意一个所述点云包围盒做相交运算，若结果不为空，则将当前帧图像与与其相交的数字高程模型数据分块进行绑定。

进一步的，所述权重判断及赋值模块，还包括遮挡判断模块；

所述遮挡判断模块用于在判断得到像素点M对应的世界坐标点P在当前帧图像I

请参阅图4，图4为本发明实施例提供的电子设备的实施例示意图。如图4所示，本发明实施例提了一种电子设备500，包括存储器510、处理器520及存储在存储器520上并可在处理器520上运行的计算机程序511，处理器520执行计算机程序511时实现以下步骤：

S1，获取雷达系统采集的点云数据以及正射相机拍摄的帧图像并进行预处理；

S2，根据预设大小将点云数据分块处理，得到多个数字高程模型数据分块；

S3，根据点云坐标以及当前帧图像四角顶点的世界坐标提取与当前帧图像相交的数字高程模型数据分块；

S4，利用相机成像模型计算当前帧图像中每一像素点的世界坐标，并计算每一像素点对应的世界坐标点在当前帧图像上的权重；

S5，遍历当前帧图像中的所有像素点，若像素点M对应的世界坐标点P在当前帧图像I

S6，选取下一帧图像作为当前帧，并跳转至步骤S3，直至遍历完所有帧图像，得到点云数据中任一点云对应的像素值，生成数字正射影像图。

请参阅图5，图5为本发明实施例提供的一种计算机可读存储介质的实施例示意图。如图5所示，本实施例提供了一种计算机可读存储介质600，其上存储有计算机程序611，该计算机程序611被处理器执行时实现如下步骤：

S1，获取雷达系统采集的点云数据以及正射相机拍摄的帧图像并进行预处理；

S2，根据预设大小将点云数据分块处理，得到多个数字高程模型数据分块；

S3，根据点云坐标以及当前帧图像四角顶点的世界坐标提取与当前帧图像相交的数字高程模型数据分块；

S4，利用相机成像模型计算当前帧图像中每一像素点的世界坐标，并计算每一像素点对应的世界坐标点在当前帧图像上的权重；

S5，遍历当前帧图像中的所有像素点，若像素点M对应的世界坐标点P在当前帧图像I

S6，选取下一帧图像作为当前帧，并跳转至步骤S3，直至遍历完所有帧图像，得到点云数据中任一点云对应的像素值，生成数字正射影像图。

需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。