一种应用于巷道复杂场景的导航灭点检测方法

技术领域

本发明涉及一种导航灭点检测方法，适用于矿井巷道中使用的一种应用于巷道复杂场景的导航灭点检测方法，属于计算机视觉领域。

背景技术

自主导航是巷道机器人完成各项任务、作业的前提，也是赋予机器人感知和行动能力的关键因素。由于巷道场景的复杂性、封闭性、特殊性，导致巷道电磁环境复杂，GPS信号弱甚至是丢失，机器人在巷道环境下不能利用GPS进行定位导航，现有的地面导航系统也不适用于巷道非结构化的复杂环境。随着机器视觉研究的深入以及半导体和计算机技术的发展，视觉信息正被越来越多地应用到导航的实践中。视觉导航是一种利用可见光与不可见光成像技术进行导航的方法，它具有隐蔽性好、自主性强、测量快速、准确，以及廉价、可靠等优点。

灭点，又称消失点，在线性透视中，两条或多条代表平行线线条向远处地平线伸展直至聚合的那一点。而在图像中，消失点的位置信息对图像中道路的方向、大致方位等信息的确定具有重要的意义。因此，在封闭巷道复杂环境下进行灭点检测成为了研究热点。

文献(刘震,汪家悦,陈丽娟.基于灭点优化的单幅图像三维重建[J].浙江工业大学学报,2019)提出一种利用直线参数信息的灭点检测算法得到有效的直线，并通过改进的回归算法获取直线参数的线性模型，再利用最小二乘法解算灭点；文献(储珺,王丽,张桂梅.利用直线参数信息的建筑物灭点检测方法[J].计算机应用，2013)对不同方向直线进行聚类，并证明了各方向的直线参数满足线性分布关系，然后利用稳健回归算法建立直线参数的线性模型，并据此去除外点；文献(陈肖,王敏.一种快速的人工场景图像消失点检测方[J].计算机工程与科学,2014)提出一种新的方法，先检测图像中较长的边界线并进行筛选、分组，然后利用消失点与焦距之间的制约关系,确定三向消失点的位置以及焦距的大小；文献(陈世增,李必军,周继苗.利用双灭点的车道线检测[J].测绘通报,2020)对左右车道线分别估计灭点,以灭点为导向,构建特征点的统计直方图；然后选择穿过大多数特征点的直线且通过特征点和所选线之间的重叠度对灭点进行估计更新,重复上一步骤以获得稳定的灭点；文献(丁伟利,李勇,王文锋,等.基于垂线包络和平行线对的城市道路图像消失点检测算法[J].光学学报,2014)提出了一种新的基于垂线包络和平行线对的城市道路图像消失点检测算法。利用图像中存在的竖直线,提出了竖直区域的包络线估计方法,并实现了对道路区域的分割,有效提取了道路区域内的平行线对。使用方向分组策略将道路区域平行线分成两类,并对近似对称的直线对求交点。利用Cmeans聚类和统计相结合的方法估计了城市道路场景中的消失点；文献(罗小松.基于韦伯局部特征的道路消失点检测[D].重庆大学,2014)提出了一种基于改进WLD的道路消失点检测方法，首先，对道路图像进行预处理，减少图像噪音对消失点检测过程的影响。然后，采用改进后的WLD提取道路图像的局部纹理特征。接着，利用改进后的WLD中的差分激励分量提取道路的显著区域，以减少环境噪音对检测结果的干扰。最后，根据改进后的WLD中的方向分量以及道路图像的显著区域采用提出的线性投票模式获取道路图像的主消失点。

发明内容

针对上述技术的不足之处，提供一种应用于巷道复杂场景的导航灭点检测方法，解决巷道复杂环境下干扰因素多，光照不均衡，缺乏直线特征，以及现有的算法不适用于巷道复杂场景等问题。

为解决以上技术问题，本发明应用于巷道复杂场景的导航灭点检测方法，其特征在于步骤如下：

步骤1)对获取的巷道场景图像按顺序进行缩放、滤波、灰度化预处理，然后采用LSD直线检测算法提取预处理后的巷道场景图像中的直线；

步骤2)设置直线长度阈值，剔除预处理后的巷道场景图像中长度较短的干扰直线；

步骤3)基于数字图像中像素点的分布形式，通过加入平均梯度约束的方式剔除图像中由于阴影区域产生的干扰直线；

步骤4)结合运动估计技术，在传统块匹配算法的基础之上引入缩放系数形成改进的块匹配算法，对预处理后的巷道场景图像采用改进的块匹配算法求出相邻帧图像的块运动轨迹直线；

步骤5)将得到的块运动轨直线转换为参数空间中的样本点，利用LOF算法计算每个样本点的异常因子值；

步骤6)将样本点的异常因子值和样本点对应直线的长度共同作为衡量直线重要性的标准，并以此确定样本点的权值函数，本步骤中的直线包括剔除干扰直线后剩余的直线和生成的块运动轨迹直线；

步骤7)最后采用改进的RANSAC随机抽样算法提取样本空间中的有效直线模型，根据有效的直线模型即可求出巷道场景图像中的灭点坐标。

步骤1)的具体内容包括：

步骤11)为了提高算法的执行效率，在对巷道复杂场景图像进行直线特征提取之前，首先将原图像的分辨率降低，通过降低图像的分辨率大幅减少图像数据量，消除非常短的线段的干扰，保留重要的直线特征；

步骤12)在巷道复杂场景下由于数字图像的传输极易受到电磁干扰，因此使用双边滤波算法去除图像中的噪声从而防止噪声对直线特征提取的结果造成影响，双边滤波算法的核函数如下：

式中：w(i,j,p,q)是由空间域核与像素范围域核两种核共同决定，(i,j)和(p,q)分别表示两个像素点的坐标；

步骤13)将滤波后的图像转换为灰度图，用以提高算法的运算速度，图像灰度化采用的公式如下：

Gray(i,j)＝0.299R(i,j)+0.578G(i,j)+0.114B(i,j) (2)

式中：R(i,j),G(i,j),B(i,j)分别表示为RGB图像中坐标为(i,j)的红色、绿色、黄色三通道的像素值；

步骤14)采用LSD算法检测灰度图上的直线，通过LSD算法输出灰度图中每条直线的起点和终点坐标，如第n条直线的起点和终点坐标分别为(x

步骤2)的具体内容包括：

步骤21)根据步骤14)中得到的(x

步骤3)的具体内容包括：

步骤31)剔除长度l

步骤32)若|x

步骤33)按照上述规则，将第n条直线上所有像素点和它们的邻域像素点组成一个点集[(x

步骤34)计算点集中每个像素点的梯度幅值，假设某个像素点的坐标为(x,y)，g(x,y)为该像素点的灰度值，像素点在x方向和y方向上的梯度分量通过如下公式计算：

式中：d

步骤35)像素点的梯度幅值即为

步骤36)利用式(4)计算每条直线段邻域点集的平均梯度幅值d

步骤37)根据d

步骤38)将剔除干扰线段后的直线分为一组并记为A＝{a

步骤4)的具体内容包括：

步骤41)假设预处理后的图像分辨率为W×H，取块边长为N，即可以将图像划分为

步骤42)假设当前帧图像中某一个块为K

步骤43)找出以这8个点为中心的块[K

式中：K0

步骤44)以上一步中MAD值最小的块为中心，间隔为2的距离，搜索上下左右及斜对角共8个点；

步骤45)重复42)，将间隔再减半，找到最接近点为中心的上下左右及斜对角8个点，分别以这8个点为中心，设置缩放系数分别为1、

步骤46)采用OpenCV库中的resize函数将24个块缩放为边长为N的块，然后计算每个块与K

步骤47)在下一帧图像中将K

步骤48)将图像中的块运动轨迹直线分为一组并记为B＝{a

所述的步骤5)的具体内容包括：

步骤51)将步骤38)和步骤48)得到的直线集合A、B分为一组，得到(m+n)条直线，并将所有直线转换为(k,b)参数空间中的样本点，即在参数空间中的每一个样本点都对应着图像中的某条直线；

步骤52)采用LOF算法计算出每个样本点的异常因子值，假设第i个样本点的异常因子值表示为LOF

所述的步骤6)的具体内容包括：

步骤61)将样本点的异常因子值和该样本点对应直线的长度共同作为样本点重要性的衡量标准，基于此，第i个样本点的权值函数W

式中：l

所述的步骤7)的具体内容包括：

步骤71)随机选取参数空间中的两个样本点(k

步骤72)计算参数空间中其它样本点到该直线的距离dist，同时设定允许误差为ε，若满足dist≤ε条件的样本点标记为内点，否则标记为外点；

步骤73)根据公式(6)的权值函数计算每个内点的权值，并求和，记为sum；

步骤74)不断地重复步骤71)、步骤72)、步骤73)这三个步骤，直至遍历完所有的两个样本点组合，找出sum的最大值sum

本发明提出的计算直线平均梯度方法，可以有效的剔除图像中由于阴影区域产生的直线，得到更为精确的直线检测结果，同时结合运动估计技术，采用改进的块匹配算法求得图像中的块运动轨迹直线，解决了巷道场景中缺乏直线特征的问题；然后改进的块匹配算法进行灭点估计，使得本发明在巷道复杂环境中，灭点检测的精度更高。

附图说明

图1是本发明应用于巷道复杂场景的导航灭点检测方法的图像块匹配算法示意图；

图2是本发明的数字图像中直线分布形式示意图；

图3是本发明的RANSAC算法判断内外点示意图；

图4是本发明应用于巷道复杂场景的导航灭点检测方法的灭点检测方法流程图。

具体实施方式

下面结合附图对本发明作进一步描述，以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图4所示，本发明的应一种应用于巷道复杂场景的导航灭点检测方法，首先使用LSD直线检测算法对巷道场景图像进行直线特征提取，得到图像中的直线信息；然后设置长度阈值剔除图像中较短的直线，通过加入平均梯度约束剔除图像中由于阴影区域产生的干扰直线；接着结合运动估计技术充分利用连续帧图像之间的关系，在传统块匹配算法的基础之上加入缩放系数，增加图像中可用的直线信息并用于辅助灭点估计；最后，将检测到的直线转换成参数空间中的样本点后，通过LOF算法计算出每个样本点的异常因子值，并将样本点的异常因子值和直线的长度共同作为衡量该样本点重要性的标准，并以此设计样本点的权值函数，最后采用改进的RANSAC算法进行灭点的回归估计。本方法较其他算法的优势：干扰直线剔除效果好，能够解决巷道复杂场景中缺乏直线特征的难题，最后的灭点检测精度更高，更适用于巷道复杂场景。

本发明采用的巷道复杂场景中的导航灭点检测方法如下，具体步骤为：

步骤1)对获取的巷道场景图像按顺序进行缩放、滤波、灰度化预处理，然后采用LSD(a Line Segment Detector)检测算法提取预处理后的巷道场景图像中的直线；

步骤11)为了提高算法的执行效率，在对巷道复杂场景图像进行直线特征提取之前，首先将原图像的分辨率降低，通过降低图像的分辨率，可以大幅减少图像数据量，虽然这样会丢失一小部分细节，但是仍然能够保留重要的直线特征，同时还能消除一些非常短的线段的干扰，利大于弊；

步骤12)在巷道复杂场景下，数字图像的传输极易受到电磁干扰，图像中难免会产生高斯噪声和椒盐噪声，为了防止这部分噪声对直线特征提取的结果造成影响，采用双边滤波算法去除图像中的噪声，其中滤波算法的核函数如下：

式中：w(i,j,p,q)是由空间域核与像素范围域核两种核共同决定，(i,j)和(p,q)分别表示两个像素点的坐标；

步骤13)将滤波后的图像的转换为灰度图，提高算法的运算速度，图像灰度化的方法如下：

Gray(i,j)＝0.299R(i,j)+0.578G(i,j)+0.114B(i,j) (14)

式中：R(i,j),G(i,j),B(i,j)分别表示为RGB图像中坐标为(i,j)的红色、绿色、黄色三通道的像素值；

步骤14)在灰度图上采用LSD算法检测图像中的直线特征，该算法输出的是图像中每条直线的起点和终点坐标，假设第n条直线的起点和终点坐标分别为(x

如图2和图3所示，步骤2)设置直线长度阈值，剔除预处理后的巷道场景图像中长度较短的干扰直线；具体的，根据(x

步骤3)基于数字图像中像素点的分布形式，通过加入平均梯度约束的方式剔除图像中由于阴影区域产生的干扰直线；

步骤31)剔除长度l

步骤32)若|x

步骤33)按照上述规则，将第n条直线上所有像素点和它们的邻域像素点组成一个点集[(x

步骤34)计算点集中每个像素点的梯度幅值，假设某个像素点的坐标为(x,y)，g(x,y)为该像素点的灰度值，像素点在x方向和y方向上的梯度分量通过如下公式计算：

式中：d

步骤35)像素点的梯度幅值即为

步骤36)计算每条直线段邻域点集的平均梯度幅值d

步骤37)根据d

步骤38)将剔除干扰线段后的直线组记为A＝{a

如图1所示，步骤4)结合运动估计技术，在传统块匹配算法的基础之上引入缩放系数，对预处理后的巷道场景图像采用改进的块匹配算法求出相邻帧图像的块运动轨迹直线；

步骤41)假设预处理后的图像分辨率为W×H，取块边长为N，即可以将图像划分为

步骤42)假设当前帧图像中某一个块为K

步骤43)找出以这8个点为中心的块[K

式中：K0

步骤44)以上一步中MAD值最小的块为中心，间隔为2的距离，搜索上下左右及斜对角共8个点；

步骤45)重复步骤42)，将间隔再减半，找到最接近点为中心的上下左右及斜对角8个点，分别以这8个点为中心，设置缩放系数分别为1、

步骤46)采用OpenCV库中的resize函数将24个块缩放为边长为N的块，然后计算每个块与K

步骤47)在下一帧图像中将K

步骤48)将图像中的块运动轨迹直线分为一组并记为B＝{a

如图2所示，步骤5)将得到的块运动轨直线转换为参数空间中的样本点，利用LOF(Local Outlier Factor)算法计算每个样本点的异常因子值；

步骤51)将步骤38)和步骤48)得到的直线集合A、B分为一组，得到(m+n)条直线，并将所有直线转换为(k,b)参数空间中的样本点，即在参数空间中的每一个样本点都对应着图像中的某条直线；

步骤52)采用LOF算法计算出每个样本点的异常因子值，假设第i个样本点的异常因子值表示为LOF

步骤6)将样本点的异常因子值和样本点对应直线的长度共同作为衡量直线(包括剔除干扰直线后剩余的直线和生成的块运动轨迹直线)重要性的标准，并以此确定样本点的权值函数；具体的，将样本点的异常因子值和该样本点对应直线的长度共同作为样本点重要性的衡量标准，基于此，第i个样本点的权值函数定义如下：

式中：l

步骤7)最后采用改进的RANSAC(RANdom SAmple Consensus)算法提取样本空间中的有效直线模型，根据有效的直线模型即可求出巷道场景图像中的灭点坐标；

步骤71)随机选取参数空间中的两个样本点(k

步骤72)计算参数空间中其它样本点到该直线的距离dist，同时设定允许误差为ε，对于满足dist≤ε条件的样本点标记为内点，否则标记为外点；

步骤73)根据公式(18)的权值函数计算每个内点的权值W，并对它们求和，所有内点的权值和记为sum；

步骤74)不断地重复步骤71)、步骤72)、步骤73)这三个步骤，直至遍历完所有的两个样本点组合，找出sum的最大值sum