基于数据模态缺失和Embrace Net的图像定位方法

技术领域

本发明涉及一种室内目标定位方法，具体涉及一种基于数据模态缺失和EmbraceNet的图像定位方法，属于定位导航技术和机器学习应用领域。

背景技术

近年来，随着计算机通信技术及移动智能终端的发展与普及，人们也越来越依赖于通过手中的电子设备来获取自身的物理位置信息、进而满足各项基于位置信息的服务需求。

现阶段，针对室外环境的定位技术发展已经非常成熟、各种卫星导航系统的应用也十分广泛，比如我国自主研发的北斗卫星导航系统、美国的GPS、俄罗斯的GLONASS以及欧洲的GALILEO等。虽然上述卫星导航系统普遍具有定位精度高、实时性强等优点，但是在面对峡谷、高大建筑群附近、地下室及室内等复杂环境时，由于受到多径干扰、环境噪声及非直射环境等因素的影响，GPS信号会高度衰减，其定位精度也会迅速降低、难以满足精确定位的需要。

在各种需求的推动下，国内外学者也陆续提出了多种针对复杂室内环境的定位方案，如蓝牙室内定位技术、WiFi定位技术、红外线定位技术、无线射频识别定位技术、超宽带技术以及ZigBee、惯导、超声波等。上述这些室内定位方案，大都是基于无线传感网络，需要在目标区域内部署足够数量的、用于信号发送和接收的特定设备，而这些设备的部署和维护无疑会提高方案整体的实现成本。为此，部分业内人士开始着眼于基于图像和机器学习的室内定位技术，以期在克服传统方案中所存在的信号衰减问题的同时，尽可能地降低成本。

具体而言，现阶段常见的基于图像的定位方法主要包括：基于灰度图像的室内定位方法，即先对灰度图像数据进行特征提取，再根据提取的特征进行位置的求解，得到定位结果；基于彩色图像的室内定位方法，即通过图像分类的方式来实现定位，采用深度神经网络对图像的特征进行提取并分类，通过分类结果来确认其地理位置信息进行定位。

无论使用上述哪种方法，或多或少都需要利用深度学习网络模型。对于目前大多数深度学习网络模型中普遍存在的多模态数据的缺失问题，普遍的解决方案是重复利用已经获取到的值、使用默认值或使用插值方法来填补缺失的数据，但将这样的处理方式应用到室内定位方面时，就很难保证方案定位性能的稳健性。

综上所述，如果能够提出一种全新的、结合有定位导航和机器学习的定位方法，那么必将对未来的室内目标定位技术的发展具有重要的参考价值。

发明内容

鉴于现有技术存在上述缺陷，本发明的目的是提出一种基于数据模态缺失和Embrace Net的图像定位方法，具体如下。

一种基于数据模态缺失和Embrace Net的图像定位方法，由离线建模与在线定位两阶段构成，

所述离线建模阶段包括如下步骤，

S1、利用相机收集训练图像，对训练图像进行图像预处理后进行类别划分，并作为训练数据集，

S2、对所述训练数据集中的训练图像进行特征提取与特征融合，随后进行离线分类学习，得到最佳参数的特征提取网络、特征融合网络和位置分类模型；

所述在线定位阶段包括如下步骤，

S3、利用相机收集目标图像，对目标图像进行图像预处理，

S4、利用所述特征提取网络对每幅目标图像进行特征提取、利用所述特征融合网络对所提取的特征进行特征融合，随后利用所述位置分类模型得到目标的位置估计值。

优选地，所述S1包括如下步骤：

S11、对待定位区域进行划分、在待定位区域内确定多个参考点，利用多个相机分别收集目标在每个参考点的训练图像；

S12、对所收集的训练图像进行大小归一化处理，若存在图像丢失，则利用像素值为255、大小与S11中所收集图像尺寸相同的黑色图像进行替代；

S13、依据位置信息对经过S12处理后的训练图像进行类别划分，将结果汇总、作为所述训练数据集。

优选地，所述S2包括如下步骤：

S21、搭建卷积神经网络模型和Embrace Net模型；

S22、基于所述卷积神经网络模型，利用卷积神经网络的卷积层、池化层和全连接层对所述训练数据集中的图像进行特征提取；

S23、基于所述Embrace Net模型，利用Embrace Net对S22中所提取的特征进行特征融合；

S24、利用卷积神经网络的全连接层和Softmax层对S23中融合后的特征进行离线分类学习，最终得到最佳参数的特征提取网络、特征融合网络和位置分类模型。

优选地，所述S3包括如下步骤：利用相机收集目标图像，对所述目标图像进行大小归一化处理，若存在图像丢失，则利用像素值为255的黑色图像进行替代。

本发明的优点主要体现在以下几个方面：

本发明所提出的一种基于数据模态缺失和Embrace Net的图像定位方法，将多图像测量技术与机器学习技术相结合、实现了针对室内复杂环境的目标定位，本发明利用相机所采集的图像进行后续的定位作业，不仅克服了传统方案中所存在的信号衰减问题，而且也大幅降低了方法的实现成本、更符合绿色环保的需求。

同时，本发明采集卷积神经网络对图像进行特征提取，并使用embrace net依据概率对多模态的特征进行融合，充分地利用了每一个模态中的信息，避免了多图像定位中由于某个图像数据丢失导致的定位精度降低的情况，保证了方案定位性能的稳健性。

此外，本发明还为室内目标定位的相关研究和应用提供了可以一种全新的思路，为领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸和深入研究，具有十分广阔的应用前景。

以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。

附图说明

图1为本发明方法的处理流程示意图；

图2为本发明中离线建模阶段的网络架构示意图；

图3为本发明中使用Embrace Net进行特征融合时的流程示意图；

图4为本发明的定位性能描述图。

具体实施方式

如图1所示，本发明揭示了一种基于数据模态缺失和Embrace Net的图像定位方法，由离线建模与在线定位两阶段构成，具体如下。

所述离线建模阶段包括如下步骤：

S1、利用相机收集训练图像(即原始图像)，对训练图像进行图像预处理后进行类别划分，并作为训练数据集；

S2、对所述训练数据集中的训练图像进行特征提取与特征融合，随后进行离线分类学习，得到最佳参数的特征提取网络、特征融合网络和位置分类模型。

进一步而言，所述S1包括如下步骤：

S11、对待定位区域进行划分、在待定位区域内确定多个参考点，利用多个相机分别收集目标在每个参考点的训练图像；

S12、使用双线插值法对所收集的训练图像进行大小归一化处理，若存在因相机故障或数据传输不当而导致的图像丢失，则利用像素值为255、大小与S11中所收集图像尺寸相同的黑色图像进行替代；

S13、依据位置信息对经过S12处理后的训练图像进行类别划分，将结果汇总、作为所述训练数据集。

所述S2包括如下步骤：

S21、搭建卷积神经网络模型和Embrace Net模型；

S22、基于所述卷积神经网络模型，利用卷积神经网络的卷积层、池化层和全连接层对所述训练数据集中的图像进行特征提取；

S23、基于所述Embrace Net模型，利用Embrace Net对S22中所提取的特征进行特征融合；

S24、利用卷积神经网络的全连接层和Softmax层对S23中融合后的特征进行离线分类学习，最终得到最佳参数的特征提取网络、特征融合网络和位置分类模型。

图2描述了本发明中离线建模阶段的网络架构，经过两个卷积层和一个全连接层后输出的特征提取信息。特征提取网络参数如下：

第一个卷积层(conv1)，输入为84×256×3，卷积核的大小为5×5，深度为64，横向和纵向的步长都设置为1，padding设置为SAME，使用截断的正态分布对权重进行初始化，经过ReLU激活函数之后，再输入池化层L_pool1，为84×256×64。

第一个池化层(pool1)，输入84×256×64，使用重叠的最大池化层，尺寸为3×3，步长为2，padding设置为SAME，输出为42×128×64。

第二个卷积层(conv2)，输入为42×128×64，卷积核的大小为5×5，深度为64，padding设置为SAME，横向和纵向的步长都为1，，经过ReLU激活函数之后，再输入池化层L_pool2，为42×128×64。

第二个池化层(pool2)，输入42×128×64，使用重叠的最大池化层，尺寸为3×3，步长为2，padding设置为SAME，输出为21×64×64。

全连接层(full 1)输入为21×64×64，通过全连接层最终输出为一维向量形式，大小为86016。

在进行特征融合时，假设对m张图像进行特征融合，融合后的特征维度为c。第k个经过全连接层处理后的特征向量表示为d

令向量r

r

其中，p＝[p

d′

这样，最终Embrace Net层的输出可以表示为e＝[e

e

在方法应用中，开始时设置

深度学习网络模型中对于多模态数据的缺失问题，常用的解决办法是重复使用已经获取到的值、使用默认值或使用插值方法来填补缺失的数据。而本发明采用的embracenet层是按照概率从每个模态中选择部分的特征进行组合，最终建立了不同模态之间的相关性。在训练后的模型中，由于某个模态的数据丢失而丢失的信息可以被其他模态所覆盖，这就确保了数据丢失情况的下的定位性能的稳健性。

所述在线定位阶段包括如下步骤：

S3、利用相机收集目标图像，对目标图像进行图像预处理，所述的图像预处理过程与前序操作中类似，即使用双线插值法对所述目标图像进行大小归一化处理，若存在因相机故障或数据传输不当而导致的图像丢失，则利用像素值为255的黑色图像进行替代；

S4、利用所述特征提取网络对每幅目标图像进行特征提取、利用所述特征融合网络对所提取的特征进行特征融合，随后利用所述位置分类模型得到目标的位置估计值。

为了论证上述方案的有效性，可进行如下实验，假设1个相机对应的图片缺失，在算法实现过程中用一个与理想图像同样大小的矩阵来代替真实的图像，构建训练数据集并进行分类定位模型的训练。图4描述了训练集中有50％的数据存在缺失下定位性能。在样本量为792张图片时，分别用完整的图像和缺失的图像进行测试，分类的准确率分别为0.998和0.987。当增加训练集数据量到3168张时，分别用完整的测试图像和缺失的测试图像进行测试的准确率为0.998和0.997。因此本发明的方法无论在训练集存在数据模态丢失，还是在测试集中存在数据模态丢失，定位分类准确率均高于95％、定位性能好。

综上所述，本发明所提出的一种基于数据模态缺失和Embrace Net的图像定位方法，将多图像测量技术与机器学习技术相结合、实现了针对室内复杂环境的目标定位，本发明利用相机所采集的图像进行后续的定位作业，不仅克服了传统方案中所存在的信号衰减问题，而且也大幅降低了方法的实现成本、更符合绿色环保的需求。

同时，本发明采集卷积神经网络对图像进行特征提取，并使用embrace net依据概率对多模态的特征进行融合，充分地利用了每一个模态中的信息，避免了多图像定位中由于某个图像数据丢失导致的定位精度降低的情况，保证了方案定位性能的稳健性。

此外，本发明还为室内目标定位的相关研究和应用提供了可以一种全新的思路，为领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸和深入研究，具有十分广阔的应用前景。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

最后，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。