基于UWB模块、语义地图与视觉信息的定位方法

技术领域

本发明属于图像处理领域，涉及一种基于UWB模块、语义地图与视觉信息的定位方法。

背景技术

近年来,面向需求越来越迫切的室内位置服务,室内定位技术发展迅速,是移动互联时代的研究热点,逐步在各行各业发挥作用,给人们的日常生活带来了一定的影响。人体检测有着广泛的应用前景和市场需求。

目标检测与识别的研究方法主要由两大类：基于传统的目标检测与识别方法和基于深度学习的目标检测与识别方法。

基于传统的目标检测与识别方法主要可以表示为：目标特征提取，目标识别，目标定位。所用到的特征都是人为设计的，例如SIFT , HOG, SURF等，通过这些特征对目标进行识别，然后再结合相应的策略对目标进行定位，但对多个行人之间的情况，仍旧没有很合适的办法解决行人之间的遮挡问题。目前国内外研究者们提出了蓝牙、红外线、RFD，WLAN、超宽带、超声波等室内定位技术及应用系统，但是不同的室内定位技术根据其定位性能有一定的应用局限,还没有一种普适化技术能满足当前所有的室内定位服务需求。

基于深度学习的目标检测与识别方法主要可以表示为：图像的深度特征提取，基于深度神经网络的目标识别与定位。但对小尺寸目标、遮挡目标的检测精度仍然不够；训练时正负样本不够均衡，对算法性能会产生负面影响；部分领域训练样本获取难度较高，而训练集样本数量较少会导致算法模型的效果不佳。

发明内容

本发明提供了一种基于UWB模块、语义地图与视觉信息的定位方法包括以下步骤：

步骤1，在游泳池场景安装布置UWB基站标签、双光谱摄像头；

步骤2，通过UWB定位获得游泳池内人员的位置；

步骤3，对可见光视频中人员进行检测，经过透视变换，获得游泳池内人员的位置；

步骤4，将UWB定位数据、可见光视频中人员位置、热成像视频中人员位置绑定，进行人员配对；

步骤5，构建语义地图，人员在三种模态下的位置在地图上实时显示。

在步骤1中，在游泳池场景安装布置UWB基站标签、双光谱摄像头的具体步骤如下：

第一步：UWB模块包括基站与标签两类设备，用来对溺水目标进行实时定位与溺水判断；4个基站分别安置在游泳池2个长边的正上方，每侧各2个；

第二步：可见光与远红外摄像头绑定在一起，数量为4个，分别安装在游泳池4个角的正上方。

在步骤3中，通过UWB定位获得游泳池内人员的位置的具体步骤如下：

第一步：以游泳池水平面为基准，选取其中一角为坐标原点，建立直角坐标系；

第二步：计算4个基站相对坐标原点的位置（

第三步：测试UWB定位的准确性、延时性，计算UWB定位的误差范围。

在步骤3中，对可见光视频中人员进行检测，经过透视变换，获得游泳池内人员的位置的具体步骤如下：

第一步：双光谱摄像机固定之后，自采集游泳池内可见光视频，并对可见光视频切成图像；

第二步：利用labelimg软件对图像中游泳人员采用标注全身的方式标注；

第三步：利用YOLOv5对标注的图像训练，获得权值文件，应用于目标检测中；

第四步：利用YOLOv5对可见光实时视频中人员检测，利用deep sort对人员跟踪，获得目标检测矩形框；

第五步：计算目标矩形框的中心点；

第六步：标注图像中游泳池的位置，计算透视变换矩阵；

第七步：将目标矩形框的中心点做透视变换，获得人员在可见光视频下的位置。

在步骤4中，将UWB定位数据、可见光视频中人员位置中人员位置绑定，进行人员配对的具体步骤如下：

第一步：设置定时器，每隔1秒提取UWB定位信息、可见光视频中人的位置信息；

第二步：分别计算UWB定位与可见光视频下人的角度、速度：设UWB中人员a与可见光视频中人员a’前1秒与当前时刻位置分别为（

其中，/>

第三步：设置人员配对规则：若

在步骤6中，构建语义地图，人员在三种模态下的位置在地图上实时显示的具体步骤如下：

第一步：利用Qt软件设计游泳池地图界面；

第二步：传入人员在三种模态下的位置信息并在地图上实时显示。

本申请的有益效果为：

以基于UWB模块的定位技术为基础，通过引入UWB误差分析、粒子滤波优化算法，并结合表示环境结构特征的语义地图，建立基于UWB模块与语义地图的溺水目标联合定位模型，克服传统UWB定位方案易受噪声干扰的局限，为后续任务提供准确的位置度量。

通过深度学习将可见光、远红外等多模态信息引入到视觉检测模型中，进而提出基于多模态视觉信息融合的多任务学习框架，克服单模态模型对游泳场景视频学习能力不足及多源异构特征无法有效融合的缺陷。

结合UWB模块的定位优势和视觉信息的特征表示能力，将多维度特征融合到整个溺水报警系统中，结合游泳者状态的评估规则和多状态整合机制，建立基于多维度特征融合的溺水决策分析系统，突破传统决策分析系统只能使用单一特征且未有效利用多样信息的瓶颈，进一步减少了系统针对溺水事件的误报率。

在UWB基站标签布置充分的基础上，可以实现游泳者位置的精准度量，并基于多模态视觉信息融合的多任务学习实现高精度、高可靠、高安全的游泳场景理解，最后建立基于多维度特征融合的溺水决策分析系统，系统会根据警报内容自动控制视频分析模块与UWB定位模块，并及时通知救援人员展开救援工作，实现全流程闭环控制与决策。

附图说明

图1是本发明的算法流程图；

图2是基于UWB模块与语义地图的联合定位方法流程图；

图3是基于多模态视觉信息融合的多任务学习方法流程图；

图4基于多维度特征融合的溺水决策分析系统图；

图5是图4中有限状态结构的详细分析图。

具体实施方式

参照图1至图4。

本申请的原理如下： 在UWB基站标签布置充分的基础上，根据UWB粗测量节点分布拟合出UWB定位误差与梯度分布，并据此计算多组UWB节点的定位误差矩阵，由粒子滤波算法对误差矩阵进行优化得出UWB节点的精确定位结果，实现游泳者位置的精准度量。

在本申请中，为降低UWB定位系统部署的复杂性，采用双向测距方法(Two-WayRanging，TWR)来获得两个UWB节点之间的粗略测距结果。其中，任意两个UWB节点的通讯过程中，信号收、发的时间戳均被记录下来，并添加到其传输的数据帧。通过该时间戳信息，单向的信号飞行时间(Time of Fight，TOF)可以通过节点间的通信时间差计算。然后，在上述布置的少量测量节点

游泳环境语义地图构造：游泳馆语义地图模型实例化的过程中，需要解决的问题就是如何从当前的游泳池环境中准确高效的提取到类别的实例化以及对应的数据属性，因此，本申请首先结合UWB模块自身所采集的数据，然后需要进一步结合结构场景数据以及领域内的专家知识对上述语义地图本体模型中的内容进行扩充，最终实现UWB模块与语义地图的联合定位效果。

与单模态学习方法相比，多模态学习技术利用多种模态信息联合表示某个游泳目标，具有更强的学习与适应能力。本申请拟将多模态学习引入到溺水检测任务中，结合目标检测与跟踪、姿态估计等预训练模型所学的度量及迁移特征，开展基于多模态视觉信息融合的多任务学习框架研究，并将其最终应用到溺水报警等实际任务中，实现高精度、高可靠、高安全的游泳场景理解。

可见光图像特征提取子网络：本申请拟利用YOLOV4、RMPE和Deepsort作为可见光图像的预训练模型，获取游泳者所在的局部区域、游泳路线以及基于人体关键点的姿态动作；在训练阶段根据预测和监督信号之间的差异(loss)修正模型的参数，让其尽可能可能符合数据的分布；最终，通过构建多任务学习框架将多个基本训练流程集成在一起，提高基于可见光的溺水判别方法的泛化性能。

远红外图像特征提取子网络：本申请拟利用红外热成像摄像头采集游泳馆内物体表面的温度场信息，通过基于Yolov4的深度学习方法，提取远红外目标存在的多种特征分布，根据远红外本身无法穿透水面的特性，为后续的决策分析模块提供判定支持。

多模态图像特征叠加子网络：为了增强游泳者特征信息的有效性, 减少对图像场景理解的偏差，本申请拟通过特征叠加模块将可见光、远红外图像特征子网络各自输出的特征图相加, 获得多模态叠加特征。然后, 将叠加特征输入卷积-池化组合操作进行复合特征提取, 并在叠加特征提取模块中向其全连接层传递. 最后, 获取多模态叠加特征描述向量。因此，模型的第

本项目将在上述两项研究内容(即视频分析部分和UWB定位部分)的基础上，引入溺水事件推论与决策分析模块，深入开展基于溺水事件推论与决策分析模块研究，克服单一特征判别能力不足的缺陷，建立基于多维度特征融合的溺水决策分析系统。

评估游泳者状态的规则：为了及时预测到溺水事件的发生，本项目拟制定的溺水评估规则如下：

a)UWB定位部分，信号消失情况维持在一定的阈值范围；

b)视频分析部分，红外图像中检测且无法跟踪到游泳者信息；水下摄像头拍摄到的游泳者姿态运动出现如运动慢、水中接近于垂直、呈现出非正常、可能很快的肢体运动。

溺水事件推论与决策分析模块：为了区分不同的游泳者条件，本项目拟设计一种状态转换机制，如图5所示。例如，假设初始状态是“正常”，规则1和2用来区分正常游泳者与溺水者或踩水者。只有游泳者被检测到运动慢，同时又在水中接近垂直，系统才会把游泳者状态变为“可能溺水或踩水”，此时再用规则3进行判断，只有当三条规则同时满足条件时，才会被标识为溺水状态， 一旦此状态保持超过项目预定的时间时，就触发警报。最后，系统会根据警报内容自动控制视频分析模块与UWB定位模块，并及时通知救援人员展开救援工作，实现全流程闭环控制与决策。

本发明的一种基于UWB模块、语义地图与视觉信息的定位方法，

具体实施方式包括以下步骤：

步骤1，在游泳池场景安装布置UWB基站标签、双光谱摄像头，本步骤包括以下几步：

第一步：UWB模块包括基站与标签两类设备，用来对溺水目标进行实时定位与溺水判断；4个基站分别安置在游泳池2个长边的正上方，每侧各2个；

第二步：可见光与远红外摄像头绑定在一起，数量为4个，分别安装在游泳池4个角的正上方。

步骤2，通过UWB定位获得游泳池内人员的位置，本步骤包括以下几步：

第一步：以游泳池水平面为基准，选取其中一角为坐标原点，建立直角坐标系；

第二步：计算4个基站相对坐标原点的位置（

第三步：测试UWB定位的准确性、延时性，计算UWB定位的误差范围；

步骤3，对可见光视频中人员进行检测，经过透视变换，获得游泳池内人员的位置，本步骤包括以下几步：

第一步：双光谱摄像机固定之后，自采集游泳池内可见光视频，并对可见光视频切成图像；

第二步：利用labelimg软件对图像中游泳人员采用标注全身的方式标注；

第三步：利用YOLOv5对标注的图像训练，获得权值文件，应用于目标检测中；

第四步：利用YOLOv5对可见光实时视频中人员检测，利用deep sort对人员跟踪，

获得目标检测矩形框；

步骤4，将UWB定位数据、可见光视频中人员位置、热成像视频中人员位置绑定，进行人员配对，本步骤包括以下几步：

第一步：设置定时器，每隔1秒提取UWB定位信息、可见光视频中人的位置信息；

第二步：分别计算UWB定位与可见光视频下人的角度、速度：设UWB中人员a与可见光视频中人员a’前1秒与当前时刻位置分别为（

第三步：设置人员配对规则：

步骤5，构建语义地图，人员在三种模态下的位置在地图上实时显示，本步骤包括以下几步：

第一步：利用Qt软件设计游泳池地图界面；

第二步：传入人员在三种模态下的位置信息并在地图上实时显示。