一种基于无人机视频序列的三维变化检测方法

技术领域

本发明属于无人机技术领域，具体涉及一种基于无人机视频序列的三维变化检测方法。

背景技术

和二维图像相比，三维点云能够更加完整地保存和展示物体的形状、结构等特性。随着三维重建技术和三维数据采集技术的发展，三维点云逐渐被用于机器人、无人驾 驶、无人机等多个领域。场景-场景之间的三维变化检测现已被广泛应用于国防工业领 域，如安全监控领域的有无其他目标出现；环境监测领域的检测是否有新建的建筑、 已拆除的建筑或者变化的建筑等。

目前二维变化检测方法较为成熟，但只能检测平面变化，缺少三维空间感知能力，如建筑物高度等。对于需要高度信息的变化检测，三维点云具备极强的优势。通过传 统的航空机载激光雷达获取点云数据需要耗费大量的人力物力。通过多个影像的密集 匹配技术提供了获取三维信息的新技术，但存在较多错误的匹配。根据三维信息使用 的不同，大致可以分为几何信息比较法和几何信息与光谱信息相结合的方法。几何信 息比较法易受高度数据影响、对数据要求高、计算复杂；几何信息与光谱信息相结合 的方法对参数敏感、对样本采集及特征提取要求高。

近年来，无人机技术得以快速发展，具有成本低、灵活、高效等特点，通过无人 机视频序列重建获取三维点云逐渐成为一种新的趋势。

发明内容

为了克服现有技术的不足，本发明提供了一种基于无人机视频序列的三维变化检测方法，首先通过无人机视频序列重建三维点云；然后对不同时刻获取的两个点云进 行配准；其次，通过两个点云之间的差值获取候选区域；最后通过候选区域的密度和 长宽高属性及体积等多层次几何属性对候选区域进行筛选。该方法操作简单，在面对 诸多干扰的情况下仍能准确地定位三维变化区域。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：通过无人机视频序列重建场景三维点云；

步骤2：将不同时刻重建的两个点云P

步骤3：利用点云P

步骤4：利用欧式聚类法对点云P

进一步地，所述步骤1中根据无人机视频序列重建场景三维点云的具体过程包括：

步骤1-1：通过间隔取帧的方式获取无人机视频的图片序列；

步骤1-2：通过运动恢复结构法对图片序列进行稀疏重建；

步骤1-3：通过多视图立体算法进一步进行稠密重建，获取更加稠密的点云数据，完成重建。

进一步地，所述步骤2中将不同时刻重建的两个点云P

步骤2-1：分别从两个点云中随机选择n个关键点

步骤2-2：根据特征描述符生成两个点云关键点之间的特征匹配并根据特征匹配的得分挑选K个特征匹配

步骤2-3：从挑选的K个特征匹配中任意选择3个特征匹配

式中，R代表一个3x3的旋转矩阵，t代表一个1x3平移变换；

步骤2-4：将点云P

重叠率r

1)通过旋转平移变换(R,t)对点云P′

2)在点云P

3)重叠率r

其中，

步骤2-5：将点云P

进一步地，所述步骤3中获取候选区域和去除噪声的具体步骤如下：

步骤3-1：在点云P

步骤3-2：遍历

进一步地，所述步骤4具体如下：

步骤4-1：从点云Pc中任意选择一点

步骤4-2：遍历集合

步骤4-3：若点云P

步骤4-4：计算每个候选建筑物内点数量，若数量小于预设数量阈值，则认为该建筑物属于未去除干净的噪声，不属于建筑物；

步骤4-5：经过步骤4-4筛选之后，计算剩余候选建筑物的边界框，若边界框的体积小于预设体积阈值，则判定该候选建筑为配准误差所带来的错误结果，将该建筑物 去除，剩余的候选建筑物即为最后的结果。

本发明的有益效果如下：

1)本发明方法鲁棒性强，面对诸多干扰的情况下仍然能获取较为准确的结果。

2)本发明方法简单有效，无需检测关键点所处的区域，所有操作均可手动实现，不需要使用第三方API。

附图说明

图1本发明方法实施流程图。

图2本发明实施例无人机视频序列。

图3本发明实施例根据无人机视频重建之后的三维点云。

图4本发明实施例两个不同时刻获得的无人机视频序列重建之后的点云。

图5本发明实施例配准效果图。

图6本发明实施例生成候选区域。

图7本发明实施例去除噪声示意图。

图8本发明实施例实例分割示意图。

图9本发明实施例根据实例点数量筛选示意图。

图10本发明实施例长宽高和体积等多层次几何属性筛选示意图。

图11本发明实施例最终效果图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明要解决的技术问题是：基于上述存在的问题和无人机视频序列，提出一种基于无人机视频序列的三维变化检测方法。该方法首先通过无人机视频序列重建三维 点云；然后对不同时刻获取的两个点云进行配准；其次，通过两个点云之间的差值获 取候选区域；最后通过候选区域的密度和长宽高属性及体积等多层次几何属性对候选 区域进行筛选。

该方法操作简单，在面对诸多干扰的情况下仍能准确地定位三维变化区域。

一种基于无人机视频序列的三维变化检测方法，

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：通过无人机视频序列重建场景三维点云；

步骤1-1：通过间隔取帧的方式获取无人机视频的图片序列；

步骤1-2：通过运动恢复结构法对图片序列进行稀疏重建；

步骤1-3：通过多视图立体算法进一步进行稠密重建，获取更加稠密的点云数据，完成重建。

步骤2：将不同时刻重建的两个点云P

步骤2-1：分别从两个点云中随机选择n个关键点

步骤2-2：根据特征描述符生成两个点云关键点之间的特征匹配并根据特征匹配的得分挑选K个特征匹配

步骤2-3：从挑选的K个特征匹配中任意选择3个特征匹配

步骤2-4：将点云P

重叠率r

1)通过旋转平移变换(R，t)对点云P′

2)在点云P

3)重叠率r

其中，|·|表示集合大小；

步骤2-5：将点云P

步骤3：利用点云P

步骤3-1：在点云P

步骤3-2：遍历

步骤4：利用欧式聚类法对点云P

步骤4-1：从点云P

步骤4-2：遍历集合

步骤4-3：若点云P

步骤4-4：计算每个候选建筑物内点数量，若数量小于预设数量阈值，则认为该建筑物属于未去除干净的噪声，不属于建筑物；

步骤4-5：经过步骤4-4筛选之后，计算剩余候选建筑物的边界框，若边界框的体积小于预设体积阈值，则判定该候选建筑为配准误差所带来的错误结果，将该建筑物 去除，剩余的候选建筑物即为最后的结果。

具体实施例：

本发明技术方案的实施例提供的一种基于无人机视频序列的三维变化检测方法，其流程如图1所示，包括通过无人机视频序列重建三维点云；关键点选取及局部特征 构造；点云配准；获取候选区域；筛选候选区域。下面结合示例来具体阐述本发明提 供的一种基于无人机视频序列的三维变化检测方法。

(1)首先通过间隔取帧的方式获取无人机视频的图片序列，如图2所示，然后通过运动恢复结构法对图片序列进行稀疏重建。此时重建出来的点云数据较为稀疏，无法 完整地表现出整个对象的几何特征，需要通过多视图立体算法进一步进行稠密重建， 获取更加稠密的点云数据，至此重建完成，如图3所示，两个不同时刻获取的视频序 列重建之后的三维点云如图4所示。

(2)初始状态如图4所示，两个点云并未对齐，因此，需要将两个点云配准对齐之后再进行后续操作。配准流程如下所示：首先分别从两个点云P

(3)在点云P

(4)对(3)中获得的点云P

结果如图8所示。获取全部建筑物区域以后进一步对所获得的区域使用密度法和长宽高及体积多层次几何属性进一步筛选，最终剩余的区域即为结果区域，如图9和 图10所示。

将本发明算法应用到实际三维变化检测中，效果如图11所示，最后的建筑物区域，其点云被染色且用边界框标记，从图11可以看出本发明的方法检测标注较为准 确。