一种异源图像匹配定位方法、设备及计算机可读存储介质

技术领域

本发明涉及无人驾驶航空器技术领域，尤其涉及一种异源图像匹配定位方法、设备及计算机可读存储介质。

背景技术

目前，无人驾驶航空器使用的导航方式主要是惯性导航和GPS。其中，惯性导航不易受电磁干扰，但是其定位误差会随时间而增大，因而在无人驾驶航空器长时间飞行时导航效果不佳；相比之下，GPS的导航精度相对较高，但是，在有遮挡、有干扰等复杂环境下，其通信能力受限，使得GPS导航在这些环境下导航精度难以维持。

因此，在通信能力受限的情况下，如何有效地实现无人驾驶航空器的自主导航，成为目前亟待解决的技术问题。

发明内容

为了解决现有技术中的上述技术缺陷，本发明提出了一种异源图像匹配定位方法，该方法包括：

在航空器的飞行过程中，采用预设的卷积神经网络模型提取输入的飞行图像的图像特征，并对所述图像特征和预设的特征集合进行余弦距离计算，得到相似度集合；

获取所述相似度集合中的最大值、与所述最大值对应的特征以及与所述特征在预设的卫星图上对应的像素点；

比较所述最大值与预设的匹配相似度阈值；

若所述最大值小于所述匹配相似度阈值，则重新执行所述飞行图像的输入操作，若所述最大值大于或等于所述匹配相似度阈值，则根据所述卫星图中的像素与经纬度的对应关系，匹配得到所述像素点的经纬度。

可选地，所述在航空器的飞行过程中，采用预设的卷积神经网络模型提取输入的飞行图像的图像特征，并对所述图像特征和预设的特征集合进行余弦距离计算，得到相似度集合，之前包括：

在执行匹配定位前，收集多张由所述航空器拍摄的训练飞行图像，并获取所述飞行过程所涉及的飞行区域的卫星图；

将三元组损失作为训练损失训练所述训练飞行图像，并将得到的所述卷积神经网络作为特征提取器。

可选地，所述在航空器的飞行过程中，采用预设的卷积神经网络模型提取输入的飞行图像的图像特征，并对所述图像特征和预设的特征集合进行余弦距离计算，得到相似度集合，之前还包括：

预设图像块的大小集合以及所述图像块的长宽比；

根据所述图像块以及所述匹配定位的定位需求预设所述匹配相似度阈值。

可选地，所述在航空器的飞行过程中，采用预设的卷积神经网络模型提取输入的飞行图像的图像特征，并对所述图像特征和预设的特征集合进行余弦距离计算，得到相似度集合，之前还包括：

在所述卫星图中，获取每一像素对应的经纬度；

根据所有像素对应的经纬度生成所述卫星图中的所述对应关系。

可选地，所述在航空器的飞行过程中，采用预设的卷积神经网络模型提取输入的飞行图像的图像特征，并对所述图像特征和预设的特征集合进行余弦距离计算，得到相似度集合，之前还包括：

在所述卫星图中，根据预设的所述图像块的大小以及所述长宽比提取不同尺寸和/或不同长宽比的所述图像块；

通过所述特征提取器对所述图像块进行特征提取，并将得到的所述特征集合保存至所述航空器的存储介质。

可选地，所述在航空器的飞行过程中，采用预设的卷积神经网络模型提取输入的飞行图像的图像特征，并对所述图像特征和预设的特征集合进行余弦距离计算，得到相似度集合，包括：

在输入所述飞行图像时，获取当前的飞行高度；

选取与所述飞行高度对应的尺寸和/或长宽比的所述图像块，进行特征提取，得到与所述飞行高度对应的所述特征集合。

可选地，所述获取所述相似度集合中的最大值、与所述最大值对应的特征以及与所述特征在预设的卫星图上对应的像素点，包括：

获取多个高度所述卫星图，并确定每一高度的所述卫星图对应的飞行高度区间；

选取与所述当前的飞行高度所处的飞行高度区间对应的所述卫星图，并获取所述最大值、所述特征以及与所述特征在所述卫星图上对应的所述像素点。

可选地，所述若所述最大值小于所述匹配相似度阈值，则重新执行所述飞行图像的输入操作，若所述最大值大于或等于所述匹配相似度阈值，则根据所述卫星图中的像素与经纬度的对应关系，匹配得到所述像素点的经纬度，包括：

根据匹配得到的所述经纬度输出当前的匹配定位的定位数据；

在所述航空器持续导航的过程中，根据每一次的所述定位数据交替和/或间隔执行所述匹配定位和惯导定位。

本发明还提出了一种异源图像匹配定位设备，该设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的异源图像匹配定位方法的步骤。

本发明还提出了一种计算机可读存储介质，该计算机可读存储介质上存储有异源图像匹配定位程序，异源图像匹配定位程序被处理器执行时实现如上述任一项所述的异源图像匹配定位方法的步骤。

实施本发明的异源图像匹配定位方法、设备及计算机可读存储介质，通过在航空器的飞行过程中，采用预设的卷积神经网络模型提取输入的飞行图像的图像特征，并对所述图像特征和预设的特征集合进行余弦距离计算，得到相似度集合；获取所述相似度集合中的最大值、与所述最大值对应的特征以及与所述特征在预设的卫星图上对应的像素点；比较所述最大值与预设的匹配相似度阈值；若所述最大值小于所述匹配相似度阈值，则重新执行所述飞行图像的输入操作，若所述最大值大于或等于所述匹配相似度阈值，则根据所述卫星图中的像素与经纬度的对应关系，匹配得到所述像素点的经纬度。实现了一种航空器的自主导航定位方案，有效地解决了航空器在通信能力受限情况下的导航需求，提升了航空器在复杂场景下的导航精度和导航效率。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明异源图像匹配定位方法的第一流程图；

图2是本发明异源图像匹配定位方法的第二流程图；

图3是本发明异源图像匹配定位方法的第三流程图；

图4是本发明异源图像匹配定位方法的第四流程图；

图5是本发明异源图像匹配定位方法的第五流程图；

图6是本发明异源图像匹配定位方法的第六流程图；

图7是本发明异源图像匹配定位方法的第七流程图；

图8是本发明异源图像匹配定位方法的第八流程图。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

图1是本发明异源图像匹配定位方法的第一流程图。本实施例提出了一种异源图像匹配定位方法，该方法包括：

S1、在航空器的飞行过程中，采用预设的卷积神经网络模型提取输入的飞行图像的图像特征，并对所述图像特征和预设的特征集合进行余弦距离计算，得到相似度集合；

S2、获取所述相似度集合中的最大值、与所述最大值对应的特征以及与所述特征在预设的卫星图上对应的像素点；

S3、比较所述最大值与预设的匹配相似度阈值；

S4、若所述最大值小于所述匹配相似度阈值，则重新执行所述飞行图像的输入操作，若所述最大值大于或等于所述匹配相似度阈值，则根据所述卫星图中的像素与经纬度的对应关系，匹配得到所述像素点的经纬度。

在本实施例中，以无人机为例进行说明。考虑到高性能自主导航能力对无人机的发展和应用具有重要意义，而现有市场上的无人机普遍应用惯导和GPS组合的导航方案。然而，在在一些复杂的环境中，由于传统传感器通信能力的限制，使得无人机无法准确地感知周围环境并正常工作。因此，本实施例提出了一种基于卫星图的异源图像匹配定位方案，具体的，本实施例利用预先存放的遥感卫星图作为参考图像，对参考图像以及无人机拍摄的地面正射影像提取特征并进行对比，从而准确算出当前无人机飞行位置的经纬度。可以看出，本实施例的上述异源图像匹配定位方案，可以在通信能力受限的情况下，有效地解决无人机无法自主导航定位的问题。同时，由于本实施例可以根据无人机飞行区域提前获取卫星图并进行特征提取，从而减少了计算过程、降低了无人机的处理资源负担，可进一步地提升导航效率。

可选地，在本实施例中，考虑到近年来随着嵌入式设备计算能力的发展，使得无人机可以在飞行过程中通过据机载相机拍摄图像并完成实时处理。同时，随着图像处理算法性能的提高，使得图像算法可以准确地完成图像匹配任务。因此，本实施例将针对无人机采用实时的匹配飞行图像以及遥感卫星图来实现导航定位。其中，本实施例将预先存放的遥感卫星图作为参考图像，并利用深度神经网络对参考图像以及无人机拍摄的地面正射影像提取特征并进行对比，从而准确算出当前无人机飞行位置的经纬度。

具体的，在本实施例中，首先，在航空器的飞行过程中，采用预设的卷积神经网络模型VGG16(包括13个卷积层和3个全连接层的16层卷积神经网络模型)提取输入的飞行图像的图像特征f，并对所述图像特征f和预设的特征集合G进行余弦距离计算，得到相似度集合S＝[s

可选地，在本实施例中，上述VGG16网络可替换为任意其他深度神经网络，作为本实施例的特征提取器。

可选地，在本实施例中，上述使用余弦距离计算特征相似度的方式，可被替换为其他特征相似度的计算方式。

本实施例的有益效果在于，通过在航空器的飞行过程中，采用预设的卷积神经网络模型提取输入的飞行图像的图像特征，并对所述图像特征和预设的特征集合进行余弦距离计算，得到相似度集合；获取所述相似度集合中的最大值、与所述最大值对应的特征以及与所述特征在预设的卫星图上对应的像素点；比较所述最大值与预设的匹配相似度阈值；若所述最大值小于所述匹配相似度阈值，则重新执行所述飞行图像的输入操作，若所述最大值大于或等于所述匹配相似度阈值，则根据所述卫星图中的像素与经纬度的对应关系，匹配得到所述像素点的经纬度。实现了一种航空器的自主导航定位方案，有效地解决了航空器在通信能力受限情况下的导航需求，提升了航空器在复杂场景下的导航精度和导航效率。

图2是本发明异源图像匹配定位方法的第二流程图，基于上述实施例，所述在航空器的飞行过程中，采用预设的卷积神经网络模型提取输入的飞行图像的图像特征，并对所述图像特征和预设的特征集合进行余弦距离计算，得到相似度集合，之前包括：

S01、在执行匹配定位前，收集多张由所述航空器拍摄的训练飞行图像，并获取所述飞行过程所涉及的飞行区域的卫星图；

S02、将三元组损失作为训练损失训练所述训练飞行图像，并将得到的所述卷积神经网络作为特征提取器。

可选地，在本实施例中，在执行匹配定位前的一次或多次飞行过程中，收集多张由所述航空器拍摄的训练飞行图像，其中，多张所述训练飞行图像为所述飞行区域的局部拍摄图像、或所述飞行区域的邻接区域的拍摄图像。

可选地，在本实施例中，获取所述飞行过程所涉及的飞行区域的卫星图，其中，所述卫星图包含多个成像高度的遥感卫星图。

图3是本发明异源图像匹配定位方法的第三流程图，基于上述实施例，所述在航空器的飞行过程中，采用预设的卷积神经网络模型提取输入的飞行图像的图像特征，并对所述图像特征和预设的特征集合进行余弦距离计算，得到相似度集合，之前还包括：

S03、预设图像块的大小集合以及所述图像块的长宽比；

S04、根据所述图像块以及所述匹配定位的定位需求预设所述匹配相似度阈值。

可选地，在本实施例中，所述定位需求包含定位效率和/或定位精度。

可选地，在本实施例中，根据上述大小集合、长宽比、定位效率和/或定位精度中的一种或多种设置本实施例的匹配相似度阈值。

可选地，在本实施例中，在航空器处于通信条件良好，GPS导航和/或惯导处于正常工作状态时，设置较高的匹配相似度阈值；反之，设置较低的匹配相似度阈值。

可选地，在本实施例中，设定的图像块的大小集合为M＝[m

图4是本发明异源图像匹配定位方法的第四流程图，基于上述实施例，所述在航空器的飞行过程中，采用预设的卷积神经网络模型提取输入的飞行图像的图像特征，并对所述图像特征和预设的特征集合进行余弦距离计算，得到相似度集合，之前还包括：

S05、在所述卫星图中，获取每一像素对应的经纬度；

S06、根据所有像素对应的经纬度生成所述卫星图中的所述对应关系。

可选地，在本实施例中，根据航空器的飞行航线所涉及的飞行区域，获取其飞行区域的高分辨率遥感卫星图。

可选地，在本实施例中，在遥感卫星图上，获取每一个像素所带有的准确的经纬度信息，将遥感卫星图和对应的经纬度信息作为参考图像数据。

图5是本发明异源图像匹配定位方法的第五流程图，基于上述实施例，所述在航空器的飞行过程中，采用预设的卷积神经网络模型提取输入的飞行图像的图像特征，并对所述图像特征和预设的特征集合进行余弦距离计算，得到相似度集合，之前还包括：

S07、在所述卫星图中，根据预设的所述图像块的大小以及所述长宽比提取不同尺寸和/或不同长宽比的所述图像块；

S08、通过所述特征提取器对所述图像块进行特征提取，并将得到的所述特征集合保存至所述航空器的存储介质。

可选地，在本实施例中，根据上述预先设置的大小、长宽比例在卫星图上提取不同尺寸、长宽比的图像块，并使用上述VGG16网络进行特征提取，得到特征集合G＝[g

可选地，在本实施例中，上述特征集合保存于航空器的存储设备中；或者，将其保存于地面站，并由航空器的飞控根据自身的定位需求，对自身所需的特征集合执行下载、删除、添加以及编辑等操作。

图6是本发明异源图像匹配定位方法的第六流程图，基于上述实施例，所述在航空器的飞行过程中，采用预设的卷积神经网络模型提取输入的飞行图像的图像特征，并对所述图像特征和预设的特征集合进行余弦距离计算，得到相似度集合，包括：

S11、在输入所述飞行图像时，获取当前的飞行高度；

S12、选取与所述飞行高度对应的尺寸和/或长宽比的所述图像块，进行特征提取，得到与所述飞行高度对应的所述特征集合。

可选地，在本实施例中，在卫星图中提取不同大小、长宽比图像块，以此适应不同飞行高度的航拍图，并结合所采用的深度神经网络进行特征提取，从而提高图像匹配的准确性。

图7是本发明异源图像匹配定位方法的第七流程图，基于上述实施例，所述获取所述相似度集合中的最大值、与所述最大值对应的特征以及与所述特征在预设的卫星图上对应的像素点，包括：

S21、获取多个高度所述卫星图，并确定每一高度的所述卫星图对应的飞行高度区间；

S22、选取与所述当前的飞行高度所处的飞行高度区间对应的所述卫星图，并获取所述最大值、所述特征以及与所述特征在所述卫星图上对应的所述像素点。

可选地，在本实施例中，通过选取与所述当前的飞行高度所处的飞行高度区间对应的所述卫星图，并获取所述最大值、所述特征以及与所述特征在所述卫星图上对应的所述像素点，从而进一步地提升像素点的定位准确性。

图8是本发明异源图像匹配定位方法的第八流程图，基于上述实施例，所述若所述最大值小于所述匹配相似度阈值，则重新执行所述飞行图像的输入操作，若所述最大值大于或等于所述匹配相似度阈值，则根据所述卫星图中的像素与经纬度的对应关系，匹配得到所述像素点的经纬度，包括：

S41、根据匹配得到的所述经纬度输出当前的匹配定位的定位数据；

S42、在所述航空器持续导航的过程中，根据每一次的所述定位数据交替和/或间隔执行所述匹配定位和惯导定位。

可选地，在本实施例中，在航空器处于通信条件不佳，GPS导航和/或惯导处于异常工作状态时，执行一次或数次本实施例的异源图像匹配定位方案，从而得到较为准确的定位数据，并以此定位数据作为后续惯导的初始数据。

基于上述实施例，本发明还提出了一种异源图像匹配定位设备，该设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的异源图像匹配定位方法的步骤。

需要说明的是，上述设备实施例与方法实施例属于同一构思，其具体实现过程详细见方法实施例，且方法实施例中的技术特征在设备实施例中均对应适用，这里不再赘述。

基于上述实施例，本发明还提出了一种计算机可读存储介质，该计算机可读存储介质上存储有异源图像匹配定位程序，异源图像匹配定位程序被处理器执行时实现如上述任一项所述的异源图像匹配定位方法的步骤。

需要说明的是，上述介质实施例与方法实施例属于同一构思，其具体实现过程详细见方法实施例，且方法实施例中的技术特征在介质实施例中均对应适用，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。