一种在室内复杂环境下基于单目视觉/惯性的定位技术方法

技术领域

本发明涉及一种在室内复杂环境下基于单目视觉/惯性的定位技术方法，属于机器人感知定位领域。

背景技术

移动机器人的出现极大地方便了我们的生活。为使移动机器人在高度智能化时代能脱离人类操控，具备自我定位和感知能力，SLAM技术应运而生。SLAM技术根据传感器不同分为基于视觉和激光雷达。视觉SLAM以相机为主要传感器，包括单目、双目和RGB-D相机。单目相机轻便、价格低廉，但在快速移动和特征缺失时效果较差，因此需要多传感器融合，如将视觉传感器和IMU信息结合为VIO系统，以提高定位精度。

然而，目前大多数SLAM技术假设场所为静态环境，而实际场景中存在许多动态场景，如室内人和动物行走、可移动物体。处理动态环境的方法可以通过识别并去除动态特征点，保留静态特征点，以提升定位精度。目前的动态特征剔除方法采用语义分割和几何方法，但这些方法可能耗费大量时间，降低系统实时性。因此，本方法选择轻量级神经网络框架，平衡实时性和精确度，以适应复杂的动态场景。

在视觉惯性SLAM系统中，通常采用提取特征点的方法，但在弱纹理场景下可能检测不到足够的点特征，影响定位精度甚至无法定位。然而，在这些场景下往往存在较多线特征，合理利用线特征可解决问题。因此，本方法在点特征的基础上加入线特征，以保持较高的定位精度。

发明内容

本发明所要解决的技术问题在于，在室内动态场景和弱纹理场景下，提取点线特征，训练神经网络识别并剔除动态特征，利用保留的静态点线特征构建约束，优化位姿，得到一种在室内复杂环境下精度较高的定位方法。

为解决上述技术问题，本发明提供一种在室内复杂环境下基于单目视觉/惯性的定位技术方法，该方法包括如下步骤：

S1：基于输入图像帧，使用神经网络框架识别图像帧中预设的动态目标类别，生成对应的目标框；

S2：根据S1输出的附带目标类别信息的图像帧，进行点特征和线特征提取，随后进行特征匹配；

S3：根据S2的点线特征信息，在S1提取出的动态目标矩形框中进行动态特征剔除，保留静态特征用于后续定位建图；

S4：根据S3提取出的静态特征构建点线特征约束进行后端优化用于定位建图，并利用预设的点线词袋库用于回环检测和重定位。

优选的，所述步骤S1具体包括以下过程：

S1.1收集包含室内环境中动态目标的图像并标注出目标的位置信息，调整深度学习框架的超参数使其适应复杂室内环境，并使用框架训练自制的数据集，建立能够精准检测室内环境图像帧中目标的模型，生成对应矩形目标框；

S1.2使用训练好的模型对单目相机传来的图像帧进行目标检测，生成改进的目标矩形框：

(T，X，Y，W/2，H/2)

其中，T代表预设的目标类别，X和Y表示矩形框中心的横纵坐标，W和H表示矩形框的宽度和高度。该框中心与初始矩形框中心相同，宽高为其一半。

检测目标时，针对框内特征设定判定规则：

优选的，所述步骤S2具体包括以下过程：

S2.1基于设定的滑动窗口，利用Harris Corner算法提取角点；

S2.2采用KLT光流法对帧间提取出的的角点进行匹配，以角点为中心构建固定大小的矩形窗口作为比较对象，并使用图像金字塔方法防止陷入局部最小值；

S2.3采用改进的EDlines方法提取线特征，定义线特征提取公式为：

其中A为一条线段，n为A的线段长度，k为A上与A方向一致的点的数目，N

若NFA<1，则保留线段，否则丢弃；此方法同时能筛选掉短线段；

S2.4提取线特征时采用RANSAC方法区分内外点，设置迭代次数，选取内点拟合线段；

S2.5提取出线段后，使用LBD算法建立线段支持域计算描述符，将支持域分成若干个条带{B

优选的，所述步骤S3具体包括以下过程：

S3.1在两帧间采用对极几何约束方法剔除动态特征点，对于特征点对应第二帧图像上的极线L

其中x

S3.2对于动态线特征的剔除，判断匹配线段的两端点到其投影线段的距离，定义距离公式：

其中，空间线段的重投影线段为l

M大于设定阈值，则将其视为动态线特征，否则视为静态线特征。

优选的，所述步骤S4具体包括以下过程：

S4.1在构建的系统中建立先验约束、IMU预积分约束、点重投影约束、线重投影约束、回环检测约束：

其中B为窗口内IMU测量集合，D和L为图像帧中至少被观测两次的点特征和线特征的集合；H

S4.2基于提取到的BRIEF描述子和LBD线特征，使用Kmeans++算法对所有的点线特征聚类得到词典树。循环计算当前帧和系统所存储关键帧之间的相似度，依次比较图像的向量范数，向量V

其中V

当s大于设定阈值时判断两帧为回环，固定回环帧，并进行4-DOF的位姿图优化，最终得到高精度位姿。

相对于现有技术，本发明的优点如下：

首先，本发明改进了线特征的提取方法，将传统的LSD方法提取线特征改进为EDLines方法提取线特征，加快了线特征的提取速度和精度，并抑制了短线段的提取；改进了EDLines方法，在其中加入了RANSAC方法，降低了外点对线段提取的影响。

其次，针对室内大部分可能出现的动态物体做了神经网络训练，在保持实时性的同时能提供语义信息。

最后，运用相对应的动态点线特征剔除方法，达到了精度较高且速度较快的剔除动态特征、保留静态特征的目的，最终实现室内鲁棒定位。

附图说明

图1为本发明的系统总框图；

图2为本发明的线段支持域的条带表示方法。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施仅用于说明本发明而不用与限制本发明的范围。

实施例1：如图1所示，一种在室内复杂环境下基于单目视觉/惯性的定位技术方法，该方法包括如下步骤：

步骤S1：基于输入图像帧，使用神经网络框架识别图像帧中预设的动态目标类别，生成对应的目标框；

S1.1收集包含室内环境中动态目标的图像并标注出目标的位置信息，调整深度学习框架的超参数使其适应复杂室内环境，并使用框架训练自制的数据集，建立能够精准检测室内环境图像帧中目标的模型，生成对应矩形目标框；

S1.2使用训练好的模型对单目相机传来的图像帧进行目标检测，生成改进的目标矩形框：

(T，X，Y，W/2，H/2)

其中，T代表预设的目标类别，X和Y表示矩形框中心的横纵坐标，W和H表示矩形框的宽度和高度。该框中心与初始矩形框中心相同，宽高为其一半。

检测目标时，针对框内特征设定判定规则：

步骤S2：根据S1输出的附带目标类别信息的图像帧，进行点特征和线特征提取，随后进行特征匹配；

S2.1基于设定的滑动窗口，利用Harris Corner算法提取角点；

S2.2采用KLT光流法对帧间提取出的的角点进行匹配，以角点为中心构建固定大小的矩形窗口作为比较对象，并使用图像金字塔方法防止陷入局部最小值；

S2.3采用改进的EDlines方法提取线特征，定义线特征提取公式为：

其中A为一条线段，n为A的线段长度，k为A上与A方向一致的点的数目，N

若NFA<1，则保留线段，否则丢弃；此方法同时能筛选掉短线段；

S2.4提取线特征时采用RANSAC方法区分内外点，设置迭代次数，选取内点拟合线段；

S2.5提取出线段后，使用LBD算法建立线段支持域计算描述符，将支持域分成若干个条带{B

步骤S3：根据S2的点线特征信息，在S1提取出的动态目标矩形框中进行动态特征剔除，保留静态特征用于后续定位建图；

S3.1在两帧间采用对极几何约束方法剔除动态特征点，对于特征点对应第二帧图像上的极线L

其中x

S3.2对于动态线特征的剔除，如图2所示，判断匹配线段的两端点到其投影线段的距离，定义距离公式：

其中，空间线段的重投影线段为l

M大于设定阈值，则将其视为动态线特征，否则视为静态线特征。步骤S4：根据S3提取出的静态特征构建点线特征约束进行后端优化用于定位建图，并利用预设的点线词袋库用于回环检测和重定位。

S4.1在构建的系统中建立先验约束、IMU预积分约束、点重投影约束、线重投影约束、回环检测约束：

其中B为窗口内IMU测量集合，D和L为图像帧中至少被观测两次的点特征和线特征的集合；H

S4.2基于提取到的BRIEF描述子和LBD线特征，使用Kmeans++算法对所有的点线特征聚类得到词典树。循环计算当前帧和系统所存储关键帧之间的相似度，依次比较图像的向量范数，向量V

其中V

当s大于设定阈值时判断两帧为回环，固定回环帧，并进行4-DOF的位姿图优化，最终得到高精度位姿。

需要说明的是上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发明的保护范围，在上述技术方案的基础上做出的等同替换或者替代，均属于本发明的保护范围。