一种语义与结构信息双约束的倾斜影像特征点过滤方法

技术领域

本发明涉及图像处理领域，更具体的说是涉及一种语义与结构信息双约束的倾斜影像特征点过滤方法。

背景技术

近年来，利用计算机视觉领域兴起的运动恢复结构(ISFM，IncrementalStructure From Motion)方法实现倾斜摄影三维场景重建的研究受到了国内外学者的广泛关注，并形成了以特征匹配、空三平差、稠密构网三个步骤为核心的重建过程。其中，特征匹配是基础，通常采用SIFT(Scale-invariant feature transform)、SURF(Speeded UpRobust Features)等算法提取特征点，进而由同名特征进行匹配。然而，在大范围倾斜摄影三维重建过程中，经由上述算法提取的特征点，(1)数量多，单张影像包括上万个甚至十几万个特征点，直接影响图像匹配的效率，且容易导致空三失败；(2)质量杂，特征点的质量参差不齐，质量较差的特征点降低了特征点的匹配率和后续的空三精度。因此，如何在特征匹配阶段合理的选择鲁棒性强、稳定性高的特征点对，即特征点过滤，从而加快匹配速度、提高匹配质量，一直是该领域的研究难点问题。现有特征点过滤方法可以分为两类：一类为基于全域单尺度的过滤方法(Cao et al.，2010；Hartmann et al.，2014；Yi et al.，2018)，一类为基于全域多尺度的过滤方法。前者以全域单尺度的特征点为研究对象，利用机器学习(如词袋模型、词汇树、神经网络等)对特征点进行分类与过滤，然而这类方法特征点过滤效果的优劣依赖于样本库的质量，且针对不同的场景，需建立对应的样本库，不易操作且较为耗时，因此，在实际应用中，更多的学者选择了后者进行特征点自动过滤，即建立差分高斯金字塔，在全域多尺度上进行特征点过滤。

发明内容

有鉴于此，本发明提供了一种语义与结构信息双约束的倾斜影像特征点过滤方法。

为了实现上述目的，本发明采用如下技术方案：

一种语义与结构信息双约束的倾斜影像特征点过滤方法，包括以下步骤：

构建高斯金字塔；确定特征点数量以及特征点数量阈值；基于可见光波段差异植被指数，识别植被区域并生成植被掩模图，以线探测算法提取所述植被掩模图的线特征掩模图；所述植被掩模图作为语义约束，所述线特征掩模图作为结构约束；利用所述植被掩模图与所述线特征掩模图，依据二元组分类模型将所述高斯金字塔中每层特征点分为三类；

沿所述高斯金字塔根据所述特征点数量、所属高斯金字塔层次、所述语义约束、所述结构约束进行多层次遍历，直至满足阈值要求，得到所需特征点。

优选的，所述线探测算法为将原始的线探测算法获取的较为零散且不连续的直线段转换为矢量数据，并构建点-线拓扑，进行线段连接。

优选的，根据所述可见光波段差异植被指数将影像分为第一区域和第二区域，通过判断分类阈值CT与任一像素的可见光波段差异植被指数对所述像素进行分类。

优选的，所述特征点的选取有以下规则：

在每一层特征点全部保留的前提下，计算满足特征点数量阈值所需的层次数量，记为Lt；在L0-Lt层级范围内，优先顾及层次特征对特征点质量的影响，保留I、II类特征点，剔除III类特征点；从Lt+1层开始，优先顾及地物语义、结构信息对特征点质量的影像，保留I类特征点；计算是否满足数量阈值要求，若满足，则停止遍历，若不满足，则向下一层级继续寻找I类特征点，直至Ln级或满足数量阈值要求；若至Ln级仍不满足数量阈值要求，则由Lt+1层开始，增加II类特征点，并逐层遍历，直至满足阈值要求。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了提出一种地类语义与结构信息双约束下的特征点过滤方法，通过提取图像中的植被区域及线特征区域，建立二元组分类模型，进而兼顾数量、层次及地物语义、结构特征作为约束进行特征点过滤，有效提高了特征点过滤质量。经实际数据验证，得到以下结论：

(1)在稀疏点云重构方面，相较目前最优的Wu方法，本发明方法在地物结构特征明显的区域特征点有所增加，如地物分割边界、建筑物结构线等，使本发明方法在特征点数量较少的情况下，也能够较好的概括场景结构。

(2)在特征点匹配率方面，相较目前最优的Wu方法，本发明方法的特征点匹配率提高了3％，达到了83％，表明本发明方法过滤后的特征点具有更高的稳定性。

(3)在平均重投影误差方面，小范围(0.75km

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明的流程示意图；

图2附图为本发明的测区范围及控制点分布示意图；

图3附图为本发明的定性分析样例图像；

图3a附图为本发明的植被区域初始特征点构建稀疏点云结果图；

图3b附图为本发明的植被区域Wu方法特征点构建稀疏点云结果图；

图3c附图为本发明的植被区域本文方法特征点构建稀疏点云结果图；

图3d附图为本发明的建筑物区域初始特征点构建稀疏点云结果；

图3e附图为本发明的建筑物区域Wu方法特征点构建稀疏点云结果；

图3f附图为本发明的建筑物区域本文方法特征点构建稀疏点云结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种语义与结构信息双约束的倾斜影像特征点过滤方法，如图1所示，包括以下步骤：

一种语义与结构信息双约束的倾斜影像特征点过滤方法，包括以下步骤：

构建高斯金字塔；确定特征点数量以及特征点数量阈值；基于可见光波段差异植被指数，识别植被区域并生成植被掩模图，以线探测算法提取植被掩模图的线特征掩模图；植被掩模图作为语义约束，线特征掩模图作为结构约束；利用植被掩模图与线特征掩模图，依据二元组分类模型将高斯金字塔中每层特征点分为三类；

沿高斯金字塔根据特征点数量、所属高斯金字塔层次、语义约束、结构约束进行多层次遍历，直至满足阈值要求，得到所需特征点。

植被指数选取VDVI植被指数提取植被信息，如公式(1)：

改进的线探测算法为将线探测算法获取的较为零散且不连续的直线段转换为矢量数据，并构建点-线拓扑，进行线段连接。具体的经过初始LSD算法获取的图像直线段较为零散且不连续，本发明将其转换为矢量数据，并构建点-线拓扑，进行线段连接，即对于两个彼此相离的弧段，若其结点间距离小于某一距离阈值，在考虑弧段延展性及延伸角度的基础上，对两弧段进行聚合或延伸。具体而言，若弧段平行且不共线，则进行延伸处理；否则，将两弧段结点聚合至其几何中心。

特征二元组分类模型的建立为：基于植被指数计算结果，将影像分为两类：植被区域与非植被区域，分类阈值CT根据植被指数分布规律，采用大津法计算最大类间方差自动计算；对于任一像素的可见光波段差异植被指数值VDVI，若VDVI>CT，则该影像为植被，若VDVI≤CT，则该影像为植被。

特征二元组分类模型的建立的具体计算方法如下：

设定一幅图像中的植被指数分布范围为[1，2，…，L]，取值为i的像素数量记为n

其中，ω

则最优的阈值k*由式(3)计算：

同时依据特征点是否位于线特征特征缓冲区，将图像分为特征线区域和非特征线区域；设特征点类别的确定受语义特征和结构特征影响，则建立如下分类模型：

f(i)＝αx

其中，f(i)为特征点i的分类值，x

式中，BZFL代表特征线缓冲区；

由此将图像内的特征点分为三类：

I类：1＜f(i)≤2代表特征线和非植被区域；II类：0＜f(i)≤1代表特征线和植被区域，同时代表非特征线和非植被区域；III类：f(i)＝0代表非特征线和植被区域。

特征点渐进式选取算法具体步骤如下：

步骤1：构建高斯金字塔：基于高斯尺度自上而下构建高斯金字塔；

步骤2：确定特征点数量阈值：倾斜影像相邻相对对应的相机位置及场景结构变化较小，为此，可采用通用的数量阈值，如8192个特征点；

步骤3：创建植被掩模图：基于植被指数，识别植被区域，并生成植被掩模图像；

步骤4：创建线特征掩模图：采用线探测算法检测出明显几何形状的线段，构建线-段拓扑关系过滤零碎线段，保留线特征，构建缓冲区，生成线特征掩模图；(其中，线特征的缓冲区是指以该线特征为中心，以一定宽度向该线特征两侧进行扩展得到的多边形区域。其中，所述一定宽度没有具体值，一般设置为5个像素为宜。)

步骤5：特征点分类：利用步骤2和步骤3生成的两类掩模图像，依据二元组分类模型，将每层特征点分为I、II、III类；

步骤6：多层次遍历：遍历时，特征点的选取需同时考虑数量、层次及地物语义、结构特征。

特征点的选取有以下规则：

在每一层特征点全部保留的前提下，计算满足特征点数量阈值所需的层次数量，记为L

在本实施例中，提出一种语义与结构信息双约束的倾斜影像特征点过滤方法，该方法包括三个步骤：(1)植被区域识别和线特征提取：以可见光波段差异植被指数(visible-band difference vegetation index,VDVI)提取倾斜影像中的植被信息，同时以改进的线探测算法(Line Segment Detector,LSD)计影像内的地物线特征；(2)特征点二元组分类模型：以植被区域识别结果作为特征点过滤的语义约束，以线特征识别结果作为特征点过滤的结构约束，建立特征点分类模型，将特征点分为四类；(3)特征点渐进式选取算法：构建高斯金字塔，确定特征点数量阈值，并以此阈值作为逼近条件，逐层遍历高斯金字塔进行特征点选取，直至符合数量阈值要求。

其中，植被区域识别和线特征提取包含两个部分：

(1)植被区域识别

植被区域是一种典型的弱纹理区域，即在植被区域内不存在角点、边界等显著的纹理特征，且相邻像素取值非常接近，纹理特征差异不明显。植被区域的这种弱纹理性质，使其内的特征点稳定性较差。为此，本发明首先识别图像内的植被区域，并以此对图像进行二值划分。

绿色植被在可见光波段的反射光谱具有蓝色、红色强烈吸收，绿色强烈反射的特征，植被遥感领域已提出大量基于上述特征进行植被区域计算的指数，如红绿比值指数、过绿指数、可见光波段差异植被指数等指数。其中VDVI指数更适合可见光图像的植被信息提取，提取精度可达90％以上。

(2)线特征提取

三维重建过程中，位于具有明显结构或纹理信息区域(如建筑区域)内的特征点稳定性更强，为此，本发明采用LSD线检测器在倾斜影像内进行线特征提取。LSD是一种线段检测分割算法，可有效检测出图像中局部直线段轮廓，该算法检测速度快、检测精度高、误检率低，对不同图像适应性强，共包括六个关键步骤：尺度变换、梯度计算、梯度排序、梯度阈值、区域生长和直线勾勒。

经过LSD算法获取的图像直线段较为零散且不连续，本发明将其转换为矢量数据，并构建点-线拓扑，进行线段连接。更新拓扑，剔除距离小于一定阈值的孤立弧段和悬挂弧段。

本实施例中的实验数据。

实验区域为山东省东营市部分城市建成区域，测区范围5.2km*7.8km，采用5镜头(1正视+4侧视)UltraCamOspreyPrima(UCOp)相机飞行29条航带，获取11795张相片，数据量总共2.08TB。此外，测区范围共包括157个地面控制点数据。数据相关描述见表1，测区范围和控制点数据见图2。

表1测区倾斜影像数据描述

定性评价及分析

分别以SIFT算法提取的初始特征点、Wu方法过滤的特征点、本发明方法过滤的特征点作为输入数据，进性空三联合平差处理，生成场景的稀疏点云。图3为试验区内某一景影像稀疏点云构建结果。

图3a、图3b和图3c为三种方法在植被区域稀疏点云构建结果。可以看到，由初始特征点构建的稀疏点云数量最多，植被区域也存在部分特征点；经Wu方法过滤后，稀疏点云数量明显减少，植被区域内的部分特征点被去除，然而，过于稀疏的点云导致无法准确刻画场景结构，地物结构特征变得模糊；由本发明方法过滤后，植被区域内不再存在特征点，且本发明方法确定的稀疏点云数量较Wu方法获取的稀疏点云数量有所增加，增加的点云集中于地物结构特征明显的区域，如地物分割边界、建筑物结构线等，使本发明方法在特征点数量较少的情况下，也能够较好的概括场景结构。

图3d、图3e和图3f为三种方法建筑物区域稀疏点云构建结果。与植被区域稀疏点云类似，由初始特征点构建的稀疏点云数量最多，由Wu方法特征点构建的稀疏点云数量最少，由本发明方法特征点构建的稀疏点云数量介于二者之间。建筑物是结构特征明显的代表性地物，可以看到，特征点过多时，邻近的特征点会影响建筑物主体结构的探测，特征点过少时，分散的特征点难以聚集在一起集中反映建筑物主体结构，本发明的方法则有效的避免了这两种不足，冗余特征点减少、结构特征点增多，使建筑物轮廓能够较好保持，清晰可见，从而更有利于后面的稠密重建和正射影像生产。

定量评价及分析

进一步采用匹配耗时、特征点匹配率和平均重投影误差对不同方法的特征点选取合理性和有效性进行验证。

特征点匹配率是指相同数据集下，图像提取特征点成功匹配数量(重复匹配次数>2)与该图像提取的特征点全部数量之比，数学函数见式(7)：

式中，为图像提取的全部特征点数，为提取的特征点重复匹配(次数大于2)的特征点数量。

在40km

表2特征点匹配率统计

*:d表示天，h表示小时，m表示分钟。

由表2可以看出，实验区内，初始特征点数量较多，仅在特征匹配阶段即需近20天的时间；经Wu方法进行特征点过滤后，匹配耗时明显减少，仅为14h34m，仅为初始特征点匹配耗时的3％；本发明方法因对特征点做了细化分类，导致耗时有所增加，但整体耗时与Wu方法耗时基本一致，为初始特征点匹配耗时的3.5％。此外，由初始特征点直接进行特征匹配，获得的特征点匹配率为68.41％；使用Wu方法进行特征点过滤后，特征点匹配率有所提高，达到了80.19％，验证了高斯层次较高的特征点具有更高的稳定性；使用本发明方法进行特征点过滤后，特征点匹配率再次提高，达到了83.42％，表明本发明方法进一步提高了特征点稳定性。

平均重投影误差是指特征点经过联合空三平差处理后，稀疏点云的重投影误差平方和与稀疏点云总数的比值的二次平方根，数学函数见式(8)。

式中，是稀疏点云总数，,分别为稀疏点云在x，y方向的重投影误差。

在0.75km

表3平均重投影误差统计

由表3可以看出，在小范围(0.75km

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本发明所示的这些实施例，而是要符合与本发明所公开的原理和新颖特点相一致的最宽的范围。