光流与惯导融合的零部署室内精确定位方法

技术领域

本发明涉及一种不依赖额外基础设施的室内定位方法，尤其涉及一种光流与惯导融合的零部署室内精确定位方法，属于物联网领域。

背景技术

人的大多社会行为与室内位置密切相关，精确室内定位是全社会数字化的重要基石，并将彻底改变人们的生活和工作。室内定位服务作为一种基础性服务，连续不断地提供精确的位置信息，其应用场景包括但不限于安防监控、应急救援、智能看护、精准营销及智能工厂等领域。尽管北斗卫星导航系统、伽利略定位系统等可于空旷、弱遮挡室外环境中精确定位移动设备，但是被建筑物挡住后、在多径效应与阴影效应共同作用下，在室内环境和建筑物密集区域内，这些传统定位系统定位精度无法满足人们需求。

常见的室内定位技术可根据有无基础设施部署分为两类。基于基础设施的定位法，例如，基于WiFi等无线电信号的定位方法，需依赖预先部署的无线接入点，且在火灾、地震等极端情况下可能失效。此外,室内环境动态变化造成的复杂多变的多径效应，导致较大定位误差。这些基于基础设施的方法共同具有的一个明显缺点是设备布置成本会随着室内面积的增加成比例增加，导致覆盖大范围的定位方法成本较高。而部署成本的高低会影响其普及程度与速度，即使它的定位效果较好。常见的零基础设施定位法依赖定位设备所搭载的惯性传感器，然而，非专用定位设备(例如智能手机等)所使用的惯性传感器成本较低、精度不高，更重要的是累积误差容易导致定位误差持续增大。

加速度计、陀螺仪和磁力计使用的坐标系为右前上坐标系。对于右前上坐标系，当设备正面朝上平放于桌面时，会相对于设备屏幕来定义坐标系，其中，x轴指向设备屏幕右侧，y轴指向设备屏幕前方，z轴垂直于设备屏幕向上延伸。当设备的屏幕方向改变时，坐标轴不会转换，也就是说，传感器的坐标系不会随着设备的移动而改变。加速度计测量施加到设备的加速度，包括重力。陀螺仪测量围绕设备的x、y和z轴的旋转速率，逆时针方向旋转为正方向。如果观察者从x、y或z轴上某个正位置看向位于原点的设备，则在该设备看起来是逆时针旋转的情况下，该观察者将报告正旋转。磁力计测量三个轴的磁场强度，可以监测地球磁场的变化。

角点可被简单地视为具有显著特征的图像像素点，角点检测又叫特征点检测，是图像处理、计算机视觉等领域用于获得图像局部特征点等信息的一类手段，在运动检测，图像匹配，视频跟踪等领域有着广泛的应用前景。

光流最早由美国心理学家Gibson在十九世纪四十年代提出，光流是视觉场景中由观察者(比如眼睛、摄像头)和场景之间的相对运动引起的物体、表面和边缘的表观运动，这种相对运动包括观察者运动、场景运动或二者同时运动。光流估计是计算机视觉研究中的一个重要方向，它具有广泛的用途，包括目标对象分割、运动检测、立体视差测量等。智能手机光流估计利用图像传感器拍摄的连续图像序列的相邻两帧在空间、时间上的相关性与变化情况，计算出像素点在相邻两帧中的速度矢量，即光流。对图像每个像素计算光流称为稠密光流，对图像的部分像素(即具有明显特征的角点)计算光流称为稀疏光流。

发明内容

本发明的目的是：充分利用移动设备的各种传感器进行位置定位，从而达到不依赖额外基础设施进行室内定位，并且达到较高的定位精度。

为了达到上述目的，本发明的技术方案是提供了一种光流与惯导融合的零部署室内精确定位方法，其特征在于，包括以下步骤：

步骤1、通过扫描二维码获取初始位置x

步骤2、通过扫描二维码获取像素距离比r，其中，二维码事先编码了其现实宽度，像素距离比为二维码现实宽度除以二维码像素宽度；

步骤3、计算初始姿态，静止时通过加速度计、陀螺仪和磁力计读数计算出终端设备的初始姿态，包括俯仰角、横滚角和偏航角；

步骤4、通过陀螺仪读数得到计算的姿态变化量；

步骤5、通过加速度计读数、磁力计读数得到估计的姿态变化量；

步骤6、融合计算的姿态变化量和估计的姿态变化量对姿态进行更新，得出当前姿态；

步骤7、将摄像头拍摄地面得到的图像进行姿态补偿，其中，姿态补偿需要设备姿态的俯仰角和横滚角；

步骤8、依据设备的前进速度将图像分割为上、下区域，其中，上区域所占的像素高度计算公式如下式所示：

式中，h为上区域像素高度，h

步骤9、分别检测上、下区域图像的角点，使用Lucas稀疏光流算法计算这些角点在下一帧中的位置，以此得出光流；

步骤呢10、根据运动特征剔除步骤9得出的部分光流；

步骤11、分别对上、下区域的光流使用中值滤波，再使用均值滤波于上、下区域的光流得出最终光流；

步骤12、结合像素距离比r将最终光流转化为设备在现实世界的位移；

步骤13、通过偏航角和位移，将上一时刻的设备位置更新为当前时刻位置，计算公式如下式所示：

式中，μ

步骤14、定位过程中重复步骤4到步骤13。

优选地，步骤2中，采用以下方法获得像素距离比：

使用摄像头拍摄一定时间长度的二维码视频帧，计算每帧二维码视频帧的像素距离比，则最终的像素距离比为一定时间长度的二维码视频帧的像素距离比的平均值。

优选地，步骤5中，对加速度计读数应用低通滤波器进行滤波处理后，基于滤波的加速度计读数得到所述估计的姿态变化量。

优选地，所述低通滤波器的截止频率为2Hz，计算公式如下式所示：

式中，a′

与现有技术相比，本发明的有益之处是：

本发明结合了惯性传感器和摄像头的优点，利用通过惯性传感器计算的方向和通过摄像头计算的位移，形成了光流与惯导融合的零部署室内精确定位方法，该室内定位方法能够准确计算出步行方向以及步行位移，从而准确计算出当前位置。本发明是基于手机惯性传感器和摄像头数据所做的实验，但本发明可应用于其他包含惯性传感器和摄像头的终端设备，比如平板电脑、机器人小车等。

附图说明

图1为本发明的系统结构图；

图2为本发明使用过程的示意图；

图3为本发明扫描二维码的示意图；

图4为本发明按直线步行的轨迹图；

图5为本发明按矩形步行的轨迹图；

图6为本发明按箭头步行的轨迹图；

图7为本发明按圆形步行的轨迹图；

图8为本发明按直线步行的定位误差累积分布图；

图9为本发明按矩形步行的定位误差累积分布图；

图10为本发明按箭头步行的定位误差累积分布图；

图11为本发明按圆形步行的定位误差累积分布图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本实施例公开的一种光流与惯导融合的零部署室内精确定位方法，具体包括以下步骤：

步骤一、扫描二维码获取初始位置，二维码事先编码了其所在位置。通过OpenCV4.4.0对摄像头获取的二维码图像进行识别，识别出其中的初始位置信息，如(0,0)。

步骤二、扫描二维码获取像素距离比，二维码事先编码了其现实宽度。使用摄像头拍摄地面的二维码2s，通过OpenCV 4.4.0识别出摄像头获取的二维码顶点在图像中的像素位置，则每帧图像像素距离比的计算方式为二维码现实宽度除以二维码像素宽度，最终的像素距离比为2s视频帧像素距离比的平均值。

步骤三、计算初始姿态，静止时通过加速度计、陀螺仪和磁力计读数计算出终端设备的初始姿态，包括俯仰角、横滚角和偏航角，计算公式如式(1)、(2)所示：

式(1)中，θ表示俯仰角，φ表示横滚角，g表示重力加速度，a

步骤四、通过陀螺仪读数计算姿态变化量，利用龙格库塔法将三轴陀螺仪读数转化为四元数变化量。

步骤五、对加速度计读数应用低通滤波器，以滤除掉部分运动加速度，更精确地得出加速度，其中，低通滤波器使用的截止频率为2Hz，计算公式如式(3)所示：

式(3)中，a′

步骤六、通过滤波后的加速度计读数、磁力计读数估计出姿态变化量，其中梯度由雅可比矩阵计算得出，步长依据原始加速度幅值进行自适应调整。本实施例中，步长自适应调整的公式如式(4)所示：

式(4)中，μ

步骤七、融合计算的姿态变化量和估计的姿态变化量对姿态进行更新，得出当前姿态。

步骤八、将摄像头拍摄地面得到的图像进行姿态补偿，其中，姿态补偿需要设备姿态的俯仰角和横滚角。

步骤九、依据设备的前进速度将图像分割为上、下区域，当前进速度变大时，上区域所占的像素高度相应地变小。上区域所占的像素高度计算公式如式(5)所示：

式(5)中，h为上区域像素高度，h

步骤十、使用Shi-Tomasi角点检测算法分别检测上、下区域图像的角点，使用Lucas稀疏光流算法计算这些角点在下一帧中的位置，以此得出光流。

步骤十一、根据运动特征剔除步骤十得出的部分光流，比如向后光流、角度过大光流、速度过大光流，本实施例中，角度超过20°的光流会被剔除，速度超过1.8m/s的光流会被剔除。

步骤十二、分别对上、下区域的光流使用中值滤波，再使用均值滤波于上、下区域的光流得出最终光流。

步骤十三、结合像素距离比将最终光流转化为设备在现实世界的位移。

步骤十四、通过偏航角和位移，将上一时刻的设备位置更新为当前时刻位置，计算公式如式(6)所示：

式(6)中，μ

步骤十五、定位过程中重复步骤四到步骤十四。

本发明是基于手机惯性传感器和摄像头数据所做的实验，但本发明可应用于其他包含惯性传感器和摄像头的终端设备，比如平板电脑、机器人小车等。