一种非显著场景图像的地理定位方法、装置及计算设备

技术领域

本发明涉及图像处理及地理定位技术领域，特别涉及一种非显著场景图像的地理定位方法、装置及计算设备。

背景技术

图像地理定位是将没有标注地理位置的图像，通过一系列方法获得对应地理位置，使其与现实地理空间建立关联映射的技术，对进一步挖掘图像信息有着重要的作用，在网络空间测绘、情报获取、室外定位等方面具有较高的应用价值。目前图像地理定位大多针对具有地标性参考物、明显指示性背景文字、强地域性人类活动的显著场景图像进行定位，但是对于不包含上述明显信息的非显著场景难以精确定位其地理位置。

发明内容

本发明实施例提供了一种非显著场景图像的地理定位方法、装置及计算设备，能够实现非显著场景图像的精确地理定位，解决了非显著场景图像无明显地理标志物，难以精确定位地理位置等难题。

第一方面，本发明实施例提供了一种非显著场景图像的地理定位方法，包括：

构建地理空间知识库；其中，所述地理空间知识库包括存储空间语义特征、文字语义特征和地理位置之间的关联关系的索引表；

对待处理非显著场景图像进行特征提取，得到空间语义特征和文字语义特征；

根据所述地理空间知识库、所述待处理非显著场景图像的空间语义特征和文字语义特征，确定所述待处理非显著场景图像的地理位置。

可选地，所述构建地理空间知识库，包括：

获取已知地理位置的非显著场景图像及卫星遥感影像；

对所述非显著场景图像和所述卫星遥感影像进行特征提取，得到对应所述已知地理位置的空间语义特征和文字语义特征；

将所述已知地理位置的地理位置名称、空间语义特征和文字语义特征进行关联，得到对应所述已知地理位置的关联关系；

根据所述关联关系确定所述索引表；

根据所述索引表、所述已知地理位置的地理位置名称、所述已知地理位置的空间语义特征和所述已知地理位置的文字语义特征，生成所述地理空间知识库。

可选地，所述对待处理非显著场景图像进行特征提取，得到空间语义特征和文字语义特征，包括：

将所述待处理非显著场景图像输入预先训练的特征提取模型；

得到由所述特征提取模型输出的空间语义特征；其中，所述特征提取模型通过至少两组第一样本集训练得到，每一组第一样本集中包括作为输入的样本非显著场景图像以及作为输出的该样本非显著场景图像包括的空间语义特征；

根据所述待处理非显著场景图像和所述空间语义特征，确定各所述空间语义特征之间的特征关系为所述文字语义特征。

可选地，所述根据所述地理空间知识库、所述待处理非显著场景图像的空间语义特征和文字语义特征，确定所述待处理非显著场景图像的地理位置，包括：

根据所述待处理非显著场景图像的空间语义特征和文字语义特征，确定检索语义要素；

将所述检索语义要素输入所述索引表中，得到候选地理位置；

从所述候选地理位置中确定所述待处理非显著场景图像的地理位置。

可选地，在将所述检索语义要素输入所述索引表中，得到候选地理位置之后，还包括：

将所述待处理非显著场景图像输入预先训练的图像编码模型；

得到由所述图像编码模型输出的目标图像向量；其中，所述图像编码模型通过至少两组第二样本集训练得到，每一组第二样本集中包括作为输入的样本非显著场景图像以及作为输出的该样本非显著场景图像的图像向量；

将所述地理空间知识库中包括的卫星遥感影像输入所述图像编码模型，得到所述卫星遥感影像的图像向量；

根据所述目标图像向量和所述卫星遥感影像的图像向量，从所述卫星遥感影像中确定所述待处理非显著场景图像的候选地理位置。

可选地，所述从所述候选地理位置中确定所述待处理非显著场景图像的地理位置，包括：

所述空间语义特征包括地形标志、地貌标志、地域标志、植被类型标志、建筑标志、道路标志；

获取所述候选地理位置所包括的空间语义特征和文字语义特征；

对所述地形标志、所述地貌标志、所述地域标志、所述植被类型标志、所述建筑标志、所述道路标志、所述文字语义特征进行权重赋值，并根据所述权重赋值和得到所述候选地理位置时的置信度对所述候选地理位置进行评价，得到评分；

将所述评分大于预设评分阈值的候选地理位置确定为所述待处理非显著场景图像的地理位置。

第二方面，本发明实施例还提供了一种非显著场景图像的地理定位装置，包括：

构建模块，用于构建地理空间知识库；其中，所述地理空间知识库包括存储空间语义特征、文字语义特征和地理位置之间的关联关系的索引表；

特征提取模块，用于对待处理非显著场景图像进行特征提取，得到空间语义特征和文字语义特征；

定位模块，用于根据所述地理空间知识库、所述待处理非显著场景图像的空间语义特征和文字语义特征，确定所述待处理非显著场景图像的地理位置。

可选地，所述特征提取模块还用于执行如下操作：

将所述待处理非显著场景图像输入预先训练的特征提取模型；

得到由所述特征提取模型输出的空间语义特征；其中，所述特征提取模型通过至少两组第一样本集训练得到，每一组第一样本集中包括作为输入的样本非显著场景图像以及作为输出的该样本非显著场景图像包括的空间语义特征；

根据所述待处理非显著场景图像和所述空间语义特征，确定各所述空间语义特征之间的特征关系为所述文字语义特征。

第三方面，本发明实施例还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现上述任一项所述的非显著场景图像的地理定位方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述任一项所述的非显著场景图像的地理定位方法。

本发明实施例提供了一种非显著场景图像的地理定位方法、装置及计算设备，该方法首先构建了包括索引表的地理空间知识库，索引表中记载了空间语义特征、文字语义特征和地理位置之间的关联关系，然后对非显著场景图像进行特征提取，得到对应的空间语义特征和文字语义特征，以便由地理空间知识库中的索引表进一步确定该非显著场景图像的地理位置。如此，对于不包括地标性参考物、明显指示性背景文字、强地域性人类活动等的非显著场景图像，通过预先构建的地理空间知识库、空间语义特征和文字语义特征便能精确定位其地理位置，实现了非显著场景图像的精确地理定位。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种非显著场景图像的地理定位方法的流程图；

图2是本发明一实施例提供的一种计算设备的硬件架构图；

图3是本发明一实施例提供的一种非显著场景图像的地理定位装置结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，本发明实施例提供了一种非显著场景图像的地理定位方法，该方法包括：

步骤100，构建地理空间知识库；其中，地理空间知识库包括存储空间语义特征、文字语义特征和地理位置之间的关联关系的索引表；

步骤102，对待处理非显著场景图像进行特征提取，得到空间语义特征和文字语义特征；

步骤104，根据地理空间知识库、待处理非显著场景图像的空间语义特征和文字语义特征，确定待处理非显著场景图像的地理位置。

本发明实施例中，首先构建了包括索引表的地理空间知识库，索引表中记载了空间语义特征、文字语义特征和地理位置之间的关联关系，然后对非显著场景图像进行特征提取，得到对应的空间语义特征和文字语义特征，以便由地理空间知识库中的索引表进一步确定该非显著场景图像的地理位置。如此，对于无明显地理标志物的非显著场景图像，通过预先构建的地理空间知识库、空间语义特征和文字语义特征便能精确定位其地理位置，实现了非显著场景图像的精确地理定位。

下面描述图1所示的各个步骤的执行方式。

首先，针对步骤100，构建地理空间知识库，包括：

获取已知地理位置的非显著场景图像及卫星遥感影像；

对非显著场景图像和卫星遥感影像进行特征提取，得到对应已知地理位置的空间语义特征和文字语义特征；

将已知地理位置的地理位置名称、空间语义特征和文字语义特征进行关联，得到对应已知地理位置的关联关系；

根据关联关系确定索引表；

根据索引表、已知地理位置的地理位置名称、已知地理位置的空间语义特征和已知地理位置的文字语义特征，生成地理空间知识库。

在本发明中，根据互联网存储的海量社交网络图片、新闻图片、街景图片卫星遥感图像等数据及对应的标题、简介文本，建立地理空间知识库。该地理空间知识库包含典型地理空间名称库(即地理位置名称的集合)、典型地理空间卫星遥感影像库、地理空间图片库、典型地理空间对应的空间语义特征库和文字语义特征库，生成空间语义特征-文字语义特征-地理位置的倒排索引表，并对已知地理位置的非显著图像的地理空间位置及相关语义特征进行标注，以有利于对地理定位的各类有价值信息进行统一管理。

在本发明中，文字语义特征用于标记空间语义特征之间的关联关系，并且明显提升了对于细粒度位置的定位。

需要说明的是，空间语义特征是指在空间中具有特定含义和作用的特征。例如可以是地理位置、地形地貌、建筑物、道路、河流等物理特征，也可以是人类活动和文化背景所形成的区域性特征。显著性空间语义特征通常指对于地理定位有显著决定作用的空间地理标注物，如故宫、北京大学等。而单一的非显著性空间语义特征通常对空间地理定位有辅助作用，但无法直接定位到具体的空间位置，步骤100和步骤102中的空间语义特征多为单一的非显著性空间语义特征。索引表用于通过输入空间语义特征和文字语义特征索引到对应的地理位置。

具体地，网络图片对应的非显著性空间语义特征类型包含：特殊道路形状，如十字交叉路口等；非地标性人工地物，如游泳池等；自然地物类型分布模式，如梯田等；特殊地物，如飞机、火车等；图像或视频中的文字，如停车场指示牌。

然后，针对步骤102，对待处理非显著场景图像进行特征提取，得到空间语义特征和文字语义特征，包括：

将待处理非显著场景图像输入预先训练的特征提取模型；

得到由特征提取模型输出的空间语义特征；其中，特征提取模型通过至少两组第一样本集训练得到，每一组第一样本集中包括作为输入的样本非显著场景图像以及作为输出的该样本非显著场景图像包括的空间语义特征；

根据待处理非显著场景图像和空间语义特征，确定各空间语义特征之间的特征关系为文字语义特征。

在本发明中，通过特征提取模型完成图像中的空间语义特征抽取后，进行空间语义特征关系的抽取，主要针对单张图片的内部关系，例如包括但不限于使用TDE(TotalDirect Effect)进行无偏预测，通过因果图上的反事实运算直接将偏差与现有模型分开，通过消除偏见提升现有效果而实现更为准确的图像内关系抽取。

例如，待处理非显著图像A中提取得到的空间语义特征包括：轿车特征：丰田且无明显地域倾向；行人特征：亚洲人身形装扮；商店标牌文本特征：日语的大阪陈列、namco；对应的文字语义特征包括：日语的大阪陈列的对面为namco。待处理非显著图像B中提取得到的空间语义特征包括：植物特征：棕榈树；道路特征：四车道道路；商店标牌特征：壳牌石油；对应的文字语义特征包括：四车道道路的旁边为壳牌石油；壳牌石油的旁边为棕榈树。

针对步骤104，根据地理空间知识库、待处理非显著场景图像的空间语义特征和文字语义特征，确定待处理非显著场景图像的地理位置，包括：

根据待处理非显著场景图像的空间语义特征和文字语义特征，确定检索语义要素；

将检索语义要素输入索引表中，得到候选地理位置；

从候选地理位置中确定待处理非显著场景图像的地理位置。

在本发明中，使用语义知识引导对非显著场景做显式语义特征检索，设计多语义要素联合检索模式，确定检索语义要素，并通过索引表进行快速匹配计算，得到候选地理位置，以便从候选地理位置中进一步筛选定位最终的地理位置。

在一些优选的实施方式中，在将检索语义要素输入索引表中，得到候选地理位置之后，还包括：

将待处理非显著场景图像输入预先训练的图像编码模型；

得到由图像编码模型输出的目标图像向量；其中，图像编码模型通过至少两组第二样本集训练得到，每一组第二样本集中包括作为输入的样本非显著场景图像以及作为输出的该样本非显著场景图像的图像向量；

将地理空间知识库中包括的卫星遥感影像输入图像编码模型，得到卫星遥感影像的图像向量；

根据目标图像向量和卫星遥感影像的图像向量，从卫星遥感影像中确定待处理非显著场景图像的候选地理位置。

在本发明中，由于非显著场景图像所获得的空间语义特征和文字语义特征并非为标志性特征，在难以基于这些特征精确定位该非显著场景图像的地理位置时，还包括对从卫星遥感影像库中筛选与该非显著场景图像相似度高的卫星遥感影像，进一步确定该非显著场景图像的地理位置。由于卫星遥感影像覆盖范围广且获取便利，而且地理空间知识库中标注地理位置的非显著场景图像与卫星遥感影像存在一一对应关系，因此通过训练图像编码模型，便能在无法通过索引表确定地理位置时，由图像编码模型输出的图像向量直接索引卫星遥感影像，对非显著场景位置进行估算，从而提升地理定位方法的普适性。

在一个具体的实施方式中，图像编码模型采用地理空间语义特征引导的VisionTransformer模型，分为图像分割编码、特征语义分组编码、transformer编码器三个主要部分。图像分割编码首先将输入的待处理非显著场景图像切分为多个区域，每个区域经过线性映射层后得到其对应的区域向量编码，将多个区域向量编码拼合成一个长向量，同时每部分增加位置编码。特征语义分组编码将离散的图像语义特征作为输入，同一类的特征语义编码为一个向量，同一类特征语义的特征间直接使用平均池化方式聚合，特征语义分组编码拼合在图像分割编码后，并与图像分割编码使用SEP字符隔开。图像分割编码与特征语义分组编码拼合后进入transformer编码器，transformer编码器采用多头注意力机制，同时输入输出间增加残差连接，输出端增加layer norm归一化实现更好的模型收敛效果。模型使用pairwise方式构建损失函数，同一典型区域的非显著场景图像与卫星遥感图像为一个正样本对，非显著场景图像与随机抽取的卫星遥感图像为一个负样本对，同时增加不同粒度的遥感图像作对比学习，增强对不同视野遥感图像的泛化能力，从而提高由卫星遥感影像中确定待处理非显著场景图像的地理位置的精确定位能力。

在一些优选的实施方式中，从候选地理位置中确定待处理非显著场景图像的地理位置，包括：

空间语义特征包括地形标志、地貌标志、地域标志、植被类型标志、建筑标志、道路标志；

获取候选地理位置所包括的空间语义特征和文字语义特征；

对地形标志、地貌标志、地域标志、植被类型标志、建筑标志、道路标志、文字语义特征进行权重赋值，并根据权重赋值和得到候选地理位置时的置信度对候选地理位置进行评价，得到评分；

将评分大于预设评分阈值的候选地理位置确定为待处理非显著场景图像的地理位置。

在本发明中，在由索引表确定多个候选地理位置，需要从多个候选地理位置中确定目标地理位置时，可以通过上述计算评分的方法确定目标地理位置。也可以在无法通过索引表确定地理位置，还需要结合卫星遥感影像确定时，将由索引表确定的候选地理位置和由卫星遥感影像确定的候选地理位置通过计算评分的方法进行综合评价，以确定最终的目标地理位置，提高定位准确性。

具体地，评分通过如下公式确定：

其中，P

在本发明中，用户能够根据定位精度需求，对该评分公式中的系数、空间语义特征的权重和文字语义特征的权重进行灵活设计，实现不同应用场景对地理位置的精确定位需求。

需要说明的是，由索引表得到的候选地理位置的置信度为相似度值，例如通过检索算法(如BM25算法)在地理空间知识库中计算与待处理非显著场景图像最相关的候选图像的相似度值。由卫星遥感影像得到的候选地理位置的置信度为相似度值，例如使用余弦相似度方法计算地理空间知识库中与待处理非显著场景图像最相关的卫星遥感影像的相似度值。优选地，根据空间语义特征和文字语义特征获取候选地理位置的方式对应的系数高于根据待处理非显著场景图像获取候选地理位置的方式对应的系数。

如图2、图3所示，本发明实施例提供了一种非显著场景图像的地理定位装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图2所示，为本发明实施例提供的一种非显著场景图像的地理定位装置所在计算设备的一种硬件架构图，除了图2所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的计算设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图3所示，作为一个逻辑意义上的装置，是通过其所在计算设备的CPU将非易失性存储器中对应的计算机程序读取到内存中运行形成的。本实施例提供的一种非显著场景图像的地理定位装置，包括：构建模块300、特征提取模块302和定位模块304；

构建模块300，用于构建地理空间知识库；其中，地理空间知识库包括存储空间语义特征、文字语义特征和地理位置之间的关联关系的索引表；

特征提取模块302，用于对待处理非显著场景图像进行特征提取，得到空间语义特征和文字语义特征；

定位模块304，用于根据地理空间知识库、待处理非显著场景图像的空间语义特征和文字语义特征，确定待处理非显著场景图像的地理位置。

在一些具体的实施方式中，构建模块300可用于执行上述步骤100，特征提取模块302可用于执行上述步骤102，定位模块304可用于执行上述步骤104。

在一些具体的实施方式中，构建模块300还用于执行如下操作：

获取已知地理位置的非显著场景图像及卫星遥感影像；

对非显著场景图像和卫星遥感影像进行特征提取，得到对应已知地理位置的空间语义特征和文字语义特征；

将已知地理位置的地理位置名称、空间语义特征和文字语义特征进行关联，得到对应已知地理位置的关联关系；

根据关联关系确定索引表；

根据索引表、已知地理位置的地理位置名称、已知地理位置的空间语义特征和已知地理位置的文字语义特征，生成地理空间知识库。

在一些具体的实施方式中，特征提取模块302还用于执行如下操作：

将待处理非显著场景图像输入预先训练的特征提取模型；

得到由特征提取模型输出的空间语义特征；其中，特征提取模型通过至少两组第一样本集训练得到，每一组第一样本集中包括作为输入的样本非显著场景图像以及作为输出的该样本非显著场景图像包括的空间语义特征；

根据待处理非显著场景图像和空间语义特征，确定各空间语义特征之间的特征关系为文字语义特征。

在一些具体的实施方式中，第一种方式，定位模块304还用于执行如下操作：

根据待处理非显著场景图像的空间语义特征和文字语义特征，确定检索语义要素；其中，空间语义特征包括地形标志、地貌标志、地域标志、植被类型标志、建筑标志、道路标志；

将检索语义要素输入索引表中，得到候选地理位置；

获取候选地理位置所包括的空间语义特征和文字语义特征；

对地形标志、地貌标志、地域标志、植被类型标志、建筑标志、道路标志、文字语义特征进行权重赋值，并根据权重赋值和得到候选地理位置时的置信度对候选地理位置进行评价，得到评分；

将评分大于预设评分阈值的候选地理位置确定为待处理非显著场景图像的地理位置。

在一些具体的实施方式中，第二种方式，定位模块304还用于执行如下操作：

根据待处理非显著场景图像的空间语义特征和文字语义特征，确定检索语义要素；空间语义特征包括地形标志、地貌标志、地域标志、植被类型标志、建筑标志、道路标志；

将检索语义要素输入索引表中，得到候选地理位置；

将待处理非显著场景图像输入预先训练的图像编码模型；

得到由图像编码模型输出的目标图像向量；其中，图像编码模型通过至少两组第二样本集训练得到，每一组第二样本集中包括作为输入的样本非显著场景图像以及作为输出的该样本非显著场景图像的图像向量；

将地理空间知识库中包括的卫星遥感影像输入图像编码模型，得到卫星遥感影像的图像向量；

根据目标图像向量和卫星遥感影像的图像向量，从卫星遥感影像中确定待处理非显著场景图像的候选地理位置；

获取所有候选地理位置所包括的空间语义特征和文字语义特征；

对地形标志、地貌标志、地域标志、植被类型标志、建筑标志、道路标志、文字语义特征进行权重赋值，并根据权重赋值和得到候选地理位置时的置信度对所有候选地理位置进行评价，得到评分；

将评分大于预设评分阈值的候选地理位置确定为待处理非显著场景图像的地理位置。

在一些具体的实施方式中，评分通过如下公式确定：

其中，P

可以理解的是，本发明实施例示意的结构并不构成对一种非显著场景图像的地理定位装置的具体限定。在本发明的另一些实施例中，一种非显著场景图像的地理定位装置可以包括比图示更多或者更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。

上述装置内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

本发明实施例还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现本发明任一实施例中的一种非显著场景图像的地理定位方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时，使所述处理器执行本发明任一实施例中的一种非显著场景图像的地理定位方法。

具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。

在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。

用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。

此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。

此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展模块中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展模块上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。