一种基于人工智能的无人机测绘果冻效应检测方法及系统

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的无人机测绘果冻效应检测方法及系统。

背景技术

在利用无人机进行航拍测绘过程中，为了得到清晰的图像，会在无人机上部署具有卷帘快门的RGB相机。卷帘快门的相机成像质量好，图像清晰，但是因为卷帘快门的特性，在无人机飞行过程中，当机架或装置发生共振时，相机采集的图像将会发生果冻效应。全局快门虽然可以避免果冻效应，但是卷帘快门具有输出简单、成本效益高、电子噪声少等优点，因此卷帘快门相机仍是目前最广泛的快门技术。但是在城市测绘中卷帘快门噪声的果冻效应会对获得的数据精度有一定影响，因为果冻效应程度不同，所以将果冻效应量化，解决果冻效应程度的检测是当前需要解决的问题。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的无人机测绘果冻效应检测方法及系统，所采用的技术方案具体如下：

本发明提出了一种基于人工智能的无人机测绘果冻效应检测方法，所述方法包括：

通过无人机上双目相机和激光雷达扫描仪获得RGB图像和所述三维点云；利用所述三维点云获得深度图像；

获得RGB图像内所述双目相机的重叠区域；提取所述重叠区域内建筑物区域作为第一感兴趣区域；对所述第一感兴趣区域进行三维重建获得双目点云；

将所述第一感兴趣区域划分多个第一子区域；分别计算所述第一子区域和所述深度图像对应区域内的点云密度；所述点云密度包括双目点云密度和三维点云密度；所述双目点云密度和所述三维点云密度比例为点云密度比；选取一个所述第一子区域内的点云密度比为第一点云密度比，计算其他每个所述第一子区域的所述点云密度比与所述第一点云密度比的差异性；选取差异性最小的所述点云密度比为标准点云密度比；差异性最大的所述第一子区域作为第二感兴趣区域；

将所述第二感兴趣区域划分多个第二子区域；所述深度图像中划分相同的所述第二子区域；计算每个所述第二子区域内所述RGB图像和所述深度图像中的坐标误差特征；

根据每个所述第二子区域内的所述点云密度计算所述第二感兴趣区域的稳定度；

计算每个所述第二子区域内点云密度比与所述标准点云密度比的比例差异均值；

利用所述坐标误差特征、所述稳定度和所述比例差异均值分析获得果冻效应程度。

进一步地，所述激光雷达扫描仪采用TOF激光雷达，且所述激光雷达扫描仪和所述双目相机中一个相机的拍摄角度和范围相同。

进一步地，所述提取所述重叠区域内建筑物区域作为第一感兴趣区域包括：

提取所述双目相机所拍摄的两张所述RGB图像中的建筑物角点作为特征点；寻找同一空间位置在两张所述RGB图像中的所述特征点的投影点，对所述特征点进行匹配得到重叠区域；

分析所述重叠区域中的颜色特征信息，提取建筑物区域，并提取所述建筑物区域的外接矩形作为所述第一感兴趣区域。

进一步地，所述计算每个所述第二子区域内所述RGB图像和所述深度图像中的坐标误差特征：

将所述深度图像中对应所述第二感兴趣区域的区域内的所述三维点云坐标转换到所述双目点云坐标中，获得转换坐标；计算所述转换坐标和所述双目点云的坐标差异均值；

通过坐标误差特征计算模型获得所述坐标误差特征：

其中，σ′为所述第二感兴趣区域中的所述坐标误差特征，σ

进一步地，所述三维点云坐标转换到所述双目点云坐标中包括：

通过三维点云坐标转换公式进行坐标转换：

p

其中，p

进一步地，所述根据每个所述第二子区域内的所述点云密度计算所述第二感兴趣区域的稳定度包括：

计算最大所述点云密度比与最小所述点云密度比的比值获得点云密度比例差异比；

所述点云密度比例差异比减一的绝对值为所述稳定度。

进一步地，所述利用所述坐标误差特征、所述稳定度和所述比例差异均值分析获得果冻效应程度包括：

通过果冻效应指标分析模型分析所述果冻效应程度：

其中，ω为果冻效应指标，α、β和γ为拟合权重，σ′

本发明还提出了一种基于人工智能的无人机测绘果冻效应检测系统，所述系统包括：图像信息获取模块、第一感兴趣区域获取模块、第二感兴趣区域获取模块、坐标误差特征获取模块、稳定度获取模块、比例差异获取模块和果冻效应程度获取模块；

所述图像信息获取模块用于通过无人机上双目相机和激光雷达扫描仪获得RGB图像和三维点云；利用所述三维点云获得深度图像；

所述第一感兴趣区域获取模块用于获得所述RGB图像内所述双目相机的重叠区域；提取所述重叠区域内建筑物区域作为第一感兴趣区域；对所述第一感兴趣区域进行三维重建获得双目点云；

所述第二感兴趣区域获取模块用于将所述第一感兴趣区域划分多个第一子区域；分别计算所述第一子区域和所述深度图像对应区域内的点云密度；所述点云密度包括双目点云密度和三维点云密度；所述双目点云密度和所述三维点云密度比例为点云密度比；选取一个所述第一子区域内的点云密度比为第一点云密度比，计算其他每个所述第一子区域的所述点云密度比与所述第一点云密度比的差异性；选取差异性最小的所述点云密度比为标准点云密度比；差异性最大的所述第一子区域作为第二感兴趣区域；

所述坐标误差特征获取模块用于将所述第二感兴趣区域划分多个第二子区域；所述深度图像中划分相同的所述第二子区域；计算每个所述第二子区域内所述RGB图像和所述深度图像中的坐标误差特征；

所述稳定度获取模块用于根据每个所述第二子区域内的所述点云密度计算所述第二感兴趣区域的稳定度；

所述比例差异获取模块用于计算每个所述第二子区域内点云密度比与所述标准点云密度比的比例差异均值；

所述果冻效应程度获取模块用于利用所述坐标误差特征、所述稳定度和所述比例差异均值分析获得果冻效应程度。

进一步地，所述图像信息获取模块中的激光雷达扫描仪采用TOF激光雷达，且所述激光雷达扫描仪和所述双目相机中一个相机的拍摄角度和范围相同。

进一步地，所述第一感兴趣区域获取模块还包括重叠区域获取模块和颜色特征分析模块；

所述重叠区域获取模块用于提取所述双目相机所拍摄的两张所述RGB图像中的建筑物角点作为特征点；寻找同一空间位置在两张所述RGB图像中的所述特征点的投影点，对所述特征点进行匹配得到重叠区域；

所述颜色特征分析模块用于分析所述重叠区域中的颜色特征信息，提取建筑物区域，并提取所述建筑物区域的外接矩形作为所述第一感兴趣区域。

本发明具有如下有益效果：

1.本发明实施例分析多个特征对果冻效应程度的影响，把更多因素考虑在内，更全面更准确的检测了果冻效应程度，获得了量化的果冻效应程度。为无人机测绘过程提供了参考依据。

2.本发明实施例结合双目相机和激光雷达扫描仪对图像进行采集，获得了颜色特征鲜明的RGB图像和三维点云获得的深度图像。通过RGB图像获得的双目点云和激光雷达扫描仪获得的三维点云对当前发生的果冻效应图片进行分析，提高了检测果冻效应的准确度。

3.本发明实施例通过划分多个感兴趣区域和相应的子区域，仅对划分的感兴趣区域进行处理分析，减少了系统计算量，提高了检测效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于人工智能的无人机测绘果冻效应检测方法流程图；

图2为本发明一个实施例所提供的一种基于人工智能的无人机测绘果冻效应检测系统框图；

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的无人机测绘果冻效应检测方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于人工智能的无人机测绘果冻效应检测方法及系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种基于人工智能的无人机测绘果冻效应检测方法流程图，该方法具体包括：

步骤S1：利用双目相机和激光雷达扫描仪获得RGB图像和深度图像。

在无人机上部署双目相机和激光雷达扫描仪，激光雷达扫描仪的拍摄角度和范围与双目相机中的一个相机拍摄角度和范围相同。在本发明实施例中，激光雷达扫描仪和左侧相机拍摄角度和范围相同，激光雷达扫描仪采用TOF激光雷达。

使用卷帘快门的双目相机可以采集到高质量的RGB图像，使用TOF激光雷达可以采集到的高质量的三维点云数据。当无人机产生振动时，利用卷帘快门的双目相机逐行曝光时不同像素行之间可能会产生相互挤压导致果冻效应。TOF激光雷达采用全局快门采集数据，在一次曝光一张图片时不会出现果冻效应。通过双目相机和激光雷达扫描仪获得RGB图像和三维点云，利用三维点云可获得深度图像，根据RGB图像和深度图像对比分析果冻效应程度。

步骤S2：通过双目相机重叠区域和建筑区域划分第一感兴趣区域。

为了能够降低无关工况对检测RGB图像果冻效应的影响，提高系统的检测速度，减少系统计算量，本发明实施例通过双目相机重叠区域内的建筑区域划分第一感兴趣区域，对第一感兴趣区域进行三维重建获得双目点云，具体包括：

1)提取双目相机采集的RGB图像中的特征数据，本发明实施例应用场景为无人机城市测绘，建筑物特征比较突出和明显，在图像中建筑物与周围像素变化也比较大，因此选用建筑物角点作为特征点。本发明实施例采用SIFT算法检测建筑物角点。

2)进行特征点的匹配，寻找同一空间位置在双目相机采集的两个图像中的特征点投影点。通过特征描述子判断两个图像中特征点的相似性。特征点匹配过程中受场景几何形状和外界因素的影响，很难保证高精度的影像匹配，所以在特征匹配过程中采用RANSAC算法去除无匹配点，提高匹配精度，使得后续三维重建结果更精准。

3)根据特征点匹配之后可以得到两个图像中的重叠区域。因为在城市测绘中建筑物为刚性物体，发生果冻效应时特征比较明显，能够更好体现果冻效应程度，因此本发明实施例在重叠区域内根据颜色信息获得建筑物区域。将重叠区域图像转换成CIE-Lab颜色模型，将图像中每个像素点在颜色模型中对应的(L,a,b)值和位置信息(x,y)共同作为一个五维特征向量：[L,a,b,x,y]。其中，L表示亮度，a红色到绿色的范围，b表示黄色到蓝色的范围，x,y为像素点的坐标信息。采用DBSCAN算法对像素特征进行聚类分析，将具有相似特性的像素聚合成一个簇，形成一个更具有代表性的大元素。选取簇中元素最多的一个集合对应的区域作为最终的建筑物区域，并提取建筑物区域的外接矩形作为第一感兴趣区域。

4)在第一感兴趣区域内基于对极几何原理进行三维重建，本发明实施例使用PMVS算法进行稠密重建，最终获得第一感兴趣区域内的双目点云。

步骤S3：根据第一感兴趣区域内的点云密度比划分第二感兴趣区域。

将第一感兴趣区域划分多个第一子区域。在本发明实施例中，将第一感兴趣区域均匀的划分成9分，划分成3*3的九宫格，每一个格代表一个第一子区域。

分别计算每个第一子区域和深度图像对应区域的点云密度，获得双目点云密度和三维点云密度。点云密度由第一子区域内的点云数目与第一子区域的面积相比得到。在本发明实施例中，根据交并比模型在深度图中搜索对应的区域。

根据获得的双目点云密度和三维点云密度获得每个第一子区域的点云密度比：

其中，k

将一个第一子区域内的点云密度比作为第一点云密度比，利用差异度量模型依次计算第一点云密度比和其他子区域的点云密度比的差异性大小，差异性度量模型为：

其中，τ

根据差异性度量模型得到9个第一子区域的差异性，选取差异性最小的第一子区域的点云密度比作为标准点云密度比，选取差异性最大的第一子区域作为第二感兴趣区域。

划分第二感兴趣区域能够减少系统计算量，提高检测精度和检测效率。

步骤S4：在第二感兴趣区域中划分第二子区域，计算每个第二子区域内的RGB图像和深度图像中的坐标误差特征。

将第二感兴趣区域划分多个第二子区域，在本发明实施例中，将第二感兴趣区域均匀的划分成9分，划分成3*3的九宫格，每一个格代表一个第二子区域。将深度图像中划分相同的第二子区域。

双目点云和三维点云的坐标差异可以很好的体现果冻效应程度。若存在果冻效应，果冻效应越大，两种点云在同一坐标系下的点云坐标误差程度越大。

通过三维点云坐标转换公式将第二感兴趣区域内的三维点云数据坐标转换到双目点云坐标中，三维点云坐标转换公式为：

p

其中，p

其中，

将三维点云坐标信息转换到双目点云坐标信息后，计算每个第二子区域内的坐标误差：

其中，ε为每个点的坐标误差，(x

根据坐标误差可以求得第二子区域的坐标误差均值：

其中，N为第二子区域内的点云个数，σ为坐标误差均值。

通过坐标误差特征模型输出坐标误差特征：

其中，σ′为第二感兴趣区域中的坐标误差特征，σ

步骤S5：计算第二感兴趣区域的稳定度。

计算最大点云密度比与最小点云密度比的比值获得点云密度比例差异比，点云密度比例差异比减一的绝对值为稳定度。用公式描述为：

其中，ρ

需要说明的是，为保证模型检测结果的准确性，ρ

步骤S6：计算每个第二子区域内点云密度比与标准点云密度比的比例差异均值。

分别计算第二子区域内的双目点云密度和三维点云密度，根据双目点云密度和三维点云密度获得第二子区域的点云密度比。计算每个第二子区域的点云密度比与标准点云密度比的比例差异均值

其中，

步骤S7：分析果冻效应程度。

将获得的坐标误差特征、稳定度和比例差异均值构建特征向量并归一化处理，通过果冻效应指标分析果冻效应程度：

其中，ω为果冻效应指标，α、β和γ为拟合权重，σ′

测绘人员可依据果冻效应程度输出结果对测绘航拍影响的果冻效应进行判断，只管的交接到发生果冻效应的程度，辅助工作人员选取高质量、高精度的无人机测绘航拍影像，对城市地貌的规划及建设过程提供了有利的帮助。

综上所述，通过无人机上部署的双目相机和激光雷达扫描仪获得RGB图像和三维点云，利用三维点云获得深度图像。进而在RGB图像上和深度图像上划分第一感兴趣区域，获得第一感兴趣区域的双目点云和三维点云。划分第一子区域获得各个第一子区域内的点云密度比，通过差异性分析确定第二感兴趣区域和标准点云密度比。在第二感兴趣区域内进行进一步分析，划分第二子区域。计算第二子区域中RGB图像和深度图像的坐标误差特征。根据第二子区域的点云密度比获得第二感兴趣区域的稳定度。计算第二子区域内点云密度比与标准点云密度比的比例差异均值。根据坐标误差特征、稳定度和比例差异均值分析并获得果冻效应程度。

请参阅图1，其示出了本发明一个实施例提供的一种基于人工智能的无人机测绘果冻效应检测系统框图，该系统包括：图像信息获取101、第一感兴趣区域获取模块102、第二感兴趣区域获取模块103、坐标误差特征获取模块104、稳定度获取模块105、比例差异获取模块106和果冻效应程度获取模块107。

图像信息获取模块101用于通过无人机上双目相机和激光雷达扫描仪获得RGB图像和三维点云。利用三维点云获得深度图像。

第一感兴趣区域获取模块102用于获得RGB图像内双目相机的重叠区域。提取重叠区域内建筑物区域作为第一感兴趣区域。对第一感兴趣区域进行三维重建获得双目点云。

第二感兴趣区域获取模块103用于将第一感兴趣区域划分多个第一子区域。分别计算第一子区域和深度图像对应区域内的点云密度。点云密度包括双目点云密度和三维点云密度。双目点云密度和三维点云密度比例为点云密度比。选取一个第一子区域内的点云密度比为第一点云密度比，计算其他每个第一子区域的点云密度比与第一点云密度比的差异性。选取差异性最小的点云密度比为标准点云密度比。差异性最大的第一子区域作为第二感兴趣区域。

坐标误差特征获取模块104用于将第二感兴趣区域划分多个第二子区域。深度图像中划分相同的第二子区域。计算每个第二子区域内RGB图像和深度图像中的坐标误差特征。

稳定度获取模块105用于根据每个第二子区域内的点云密度计算第二感兴趣区域的稳定度。

比例差异获取模块106用于计算每个第二子区域内点云密度比与标准点云密度比的比例差异均值。

果冻效应程度获取模块107用于利用坐标误差特征获取模块104提取的坐标误差特征、稳定度获取模块105提取的稳定度和比例差异获取模块106提取的比例差异均值分析获得果冻效应程度。

优选的，图像信息获取模块107中的激光雷达扫描仪采用TOF激光雷达，且激光雷达扫描仪和双目相机中的一个相机的拍摄角度和范围相同。

优选的，第一感兴趣区域获取模块还包括重叠区域获取模块和颜色特征分析模块。

重叠区域获取模块用于提取图像信息获取模块107中的双目相机所拍摄的两张RGB图像中的建筑物角点作为特征点。寻找同一空间位置在两张RGB图像中的特征点的投影点，对特征点进行匹配得到重叠区域。

颜色特征分析模块用于分析重叠区域中的颜色特征信息，提取建筑物区域，并提取建筑物区域的外接矩形作为所述第一感兴趣区域。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。