掌桥专利:专业的专利平台
掌桥专利
首页

定位方法、装置及车辆

文献发布时间:2023-06-19 19:38:38


定位方法、装置及车辆

技术领域

本公开涉及计算机视觉领域,尤其涉及一种定位方法、装置及车辆。

背景技术

通过卫星定位信号或其他定位信号可以确定接收信号的设备所在位置,当定位信号受影响,如信号干扰、信号屏蔽等情况,无法实现定位。采用视觉地图的定位方案,能够在卫星定位信号、蓝牙信号等受影响的环境下实现定位。视觉定位应用可广泛用于机器人、车辆等的定位及导航等。由于光照、气候等各种环境因素的影响,不同环境场景采集的图像差异较大,可能会导致定位不准确或定位失败。

发明内容

本公开提供了一种定位方法、装置及车辆,以至少解决现有技术中存在的以上技术问题。

根据本公开的第一方面,提供了一种定位方法,所述方法包括:

获取目标图像;

根据环境场景,从多个地图中确定至少一个地图作为目标地图,不同地图的环境场景不同;

在所述目标图像的环境场景与所述目标地图的环境场景均不一致的情况下,对所述目标图像和/或所述目标地图的地图图像进行图像增强处理,以使所述目标图像的环境场景和所述地图图像的环境场景相一致;

将环境场景相一致的所述目标图像和所述地图图像进行对比;

根据对比结果,确定所述目标图像对应的位置。

在一可实施方式中,对所述目标图像和/或所述目标地图的地图图像进行图像增强处理,包括:

获取所述目标地图的环境参数;对所述目标图像进行图像增强处理,使所述目标图像的环境参数与所述目标地图的环境参数相一致;或者

获取所述目标图像的环境参数;对所述目标地图的地图图像进行图像增强处理,使所述地图图像的环境参数与所述目标地图的环境参数相一致。

在一可实施方式中,所述目标地图包括第一目标地图和第二目标地图;对所述目标图像和/或所述目标地图的地图图像进行图像增强处理,包括:

获取所述第一目标地图的第一环境参数和所述第二目标地图的第二环境参数;根据所述第一环境参数对所述目标图像进行第一图像增强处理,消除所述目标图像的所述环境场景的第一环境因素;所述第一图像增强处理后的所述目标图像进行第二图像增强处理,使所述目标图像的所述环境场景的第二环境因素的环境参数与所述第二环境参数相一致;或者

获取所述第一目标地图的第一环境参数和所述第二目标地图的第二环境参数;对所述目标图像进行第三图像增强处理,使所述目标图像的所述环境场景的第一环境因素的环境参数与所述第一环境参数相一致;所述第三图像增强处理后的所述目标图像进行第四图像增强处理,使所述目标图像的所述环境场景的第二环境因素的环境参数与所述第二环境参数相一致。

在一可实施方式中,根据对比结果,确定所述目标图像对应的位置,包括:

确定与所述目标图像相匹配的地图图像;

确定所述目标图像与相匹配的所述地图图像的相对方位及距离;

根据所述地图图像对应的位置和所述相对方位及距离确定所述目标图像对应的位置。

在一可实施方式中,将环境场景相一致的所述目标图像与所述地图图像进行对比,包括:

提取所述目标图像的图像特征;

将所述目标图像的图像特征与所述地图图像的图像特征进行对比;

所述目标图像的图像特征与所述地图图像的图像特征的相似度达到阈值时,所述目标图像与所述地图图像相匹配;

根据相匹配的所述地图图像对应的位置确定所述目标图像对应的位置。

在一可实施方式中,所述地图图像的所述图像特征包括第一图像特征和第二图像特征,所述第二图像特征用于描述所述地图图像的环境场景,所述第一图像特征用于所述目标图像与所述地图图像的对比定位。

在一可实施方式中,在将环境场景相一致的所述目标图像与所述地图图像进行对比之前,所述方法包括:

将所述目标图像分为多个子图;

删除动态障碍物所在的子图;

获取剩余的各子图的图像特征;

合并所述各子图的图像特征,得到所述目标图像的图像特征。

在一可实施方式中,多个所述地图基于对图像进行图像增强处理得到。

在一可实施方式中,多个所述地图基于对图像进行图像增强处理得到,包括:

获取目标区域的原始图像;

对目标区域的所述原始图像进行图像增强处理,得到多个环境场景不同的目标地图图像。

在一可实施方式中,所述方法还包括:

获取原始图像特征,所述原始图像特征为所述原始图像的图像特征;

获取各加强图像特征,所述加强图像特征为各环境场景的所述目标地图图像的图像特征;

提取对应同一位置的所述原始图像特征和各所述加强图像特征的共性部分作为所述原始图像以及各所述目标地图图像的第一图像特征;

提取对应同一位置的所述原始图像特征和各所述加强图像特征的差异部分作为对应的所述原始图像以及各所述目标地图图像的第二图像特征。

在一可实施方式中,获取目标区域的原始图像,包括:

采集目标区域的视频流数据,并同步采集地理位置数据;

将所述视频流数据分别与同步采集的所述地理位置数据匹配,得到与所述地理位置数据对应的所述目标区域的所述原始图像。

在一可实施方式中,对目标区域的所述原始图像进行图像增强处理,得到目标地图图像,包括:

将所述原始图像输入训练好的模型,所述训练好的模型对所述原始图像进行图像增强处理得到所述目标地图图像。

在一可实施方式中,训练所述模型包括:

获取同一位置多个图像,每个所述图像的环境场景不同;

以多个所述图像中的第一图像为输入,第二图像为输出,训练所述模型,所述第一图像和所述第二图像的环境场景不同。

根据本公开的第二方面,提供了一种定位装置,所述装置包括:

获取模块,用于获取目标对象图像;

确定模块,用于根据环境场景,从多个地图中确定至少一个地图作为目标地图,不同地图的环境场景不同;

增强模块,用于在所述目标图像的环境场景与所述目标地图的环境场景均不一致的情况下,对所述目标图像和/或所述目标地图的地图图像进行图像增强处理,以使所述目标图像的环境场景和所述目标地图的地图图像的环境场景一致;

定位模块,用于将环境场景相一致的所述目标图像与所述地图的地图图像进行对比,根据对比结果确定所述目标图像对应的位置。

根据本公开的第三方面,提供了一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本公开所述的方法。

根据本公开的第四方面,提供了一种车辆,包括本公开所述的电子设备。

根据本公开的第五方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本公开所述的方法。

本公开的定位方法中,根据环境场景,从多个地图中确定至少一个地图作为目标地图用于与获取的目标图像对比,不同地图的环境场景不同;在所述目标图像的环境场景与所述目标地图的环境场景均不一致的情况下,对所述目标图像和/或所述目标地图的地图图像进行图像增强处理,以使所述目标图像的环境场景和所述地图图像的环境场景相一致;将环境场景相一致的所述目标图像和所述地图图像进行对比;根据对比结果,确定所述目标图像对应的位置。本公开实施例通过图像增强使目标图像与目标地图的地图图像在环境场景相一致的情况下进行对比,增加定位准确性。

应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,其中:

在附图中,相同或对应的标号表示相同或对应的部分。

图1示出了本公开实施例定位方法的实现流程示意图一;

图2a-图2d示出了本公开实施例定位方法中图像增强处理前后的对比图;

图3示出了本公开实施例定位方法的实现流程示意图二;

图4示出了本公开实施例定位装置的组成结构示意图;

图5示出了本公开实施例一种电子设备的组成结构示意图。

具体实施方式

为使本公开的目的、特征、优点能够更加的明显和易懂,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而非全部实施例。基于本公开中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。

参见图1,本公开实施例提供了一种定位方法,该方法包括:

获取目标图像;

根据环境场景,从多个地图中确定至少一个地图作为目标地图,不同地图的环境场景不同;

在目标图像的环境场景与目标地图的环境场景均不一致的情况下,对目标图像和/或目标地图的地图图像进行图像增强处理,以使目标图像的环境场景和地图图像的环境场景相一致;

将环境场景相一致的目标图像和地图图像进行对比;

根据对比结果,确定目标图像对应的位置。

本公开的定位方法中,根据环境场景,从多个地图中确定至少一个地图作为目标地图用于与获取的目标图像对比,不同地图的环境场景不同;在目标图像的环境场景与目标地图的环境场景均不一致的情况下,对目标图像和/或目标地图的地图图像进行图像增强处理,以使目标图像的环境场景和地图图像的环境场景相一致;将环境场景相一致的目标图像和地图图像进行对比;根据对比结果,确定目标图像对应的位置。本公开实施例通过图像增强使目标图像与目标地图的地图图像在环境场景相一致的情况下进行对比,增加定位准确性。

本公开实施例的定位方法可以用于各类机器人、车辆等的定位导航,也可以用于店铺定位等应用场景。目标图像的获取方式不限,可以是实时获取目标图像,也可以是预先获取的图像作为目标图像。可以根据具体的应用场景,选择目标图像的获取方式。例如,本公开实施例的方法应用于车辆或机器人的定位或导航时,可以通过车辆或机器人上的摄像头实时获取周围环境的图像作为目标图像,从而对车辆或机器人进行实时定位和导航。或者,本公开实施例的方法应用于根据已有图像对图像中的店铺进行定位时,确定图像中的店铺的位置,该目标图像则可以为预先获得的图像。

本公开实施例中,环境场景可以是根据不同视角、不同光照、不同气候等环境因素中的一种或多种进行划分。例如,根据光照不同可以划分为早晨、白天、傍晚、夜晚等。对于夜晚的环境场景也可以根据月亮的亮度划分为若干等级。根据气候不同,环境场景可以划分为晴天、阴天、下雨、下雪、雾等不同环境场景。具体的,每一种环境场景也可以进一步划分为若干等级,以下雨为例,根据雨量的大小,下雨的环境场景可以划分为10个等级,由1至10,等级越高,雨量越大。根据视角可以划分为平视、仰视、俯视、斜视等。同样,根据视角划分的环境场景也可以进一步细化,如斜视的环境场景可以分为左斜视的环境场景、右斜视的环境场景等,俯视及仰视可以按照俯仰角度划分为若干等级等。各环境因素也可以组合进行环境场景的划分,例如,根据气候和光照共同划分为白天下雨、傍晚下雨、夜晚下雨等,与雨量等级相结合时,环境场景可以划分为白天一级雨量、白天三级雨量等。

本公开实施例的方法中,根据环境场景,可以从多个地图中确定至少一个地图作为目标地图。目标地图用于与目标图像进行对比,以实现定位。确定目标地图时,可以先确定目标图像的环境场景,多个地图中的每一个地图对应有各自的环境场景。根据目标图像的环境场景与地图的环境场景的匹配,即可确定至少一个地图作为目标地图。根据环境场景的匹配,目标图像与地图的环境场景一致,则可将目标图像与目标地图的地图图像进行对比,以进行定位。若环境场景均不相同,则通过图像增强使目标图像与目标地图的环境场景相一致。

本公开实施例中,根据目标图像的环境场景确定对应的目标地图,可以是通过目标图像的环境场景与地图的环境场景进行匹配,根据匹配结果,可以是选取环境场景相似度最高的一个地图作为目标地图,也可以是按照环境场景相似度高低排序的前n个作为目标地图,n为正整数,具体实施中,n的取值范围可以是1-5。n的具体值可以根据历史经验、计算机资源的消耗、定位准确率等至少一个因素确定。也可以是按地图总数的百分比确定,以地图总数的15%为例,地图总数为20个时,n=20*15%=3。地图总数为18个时,n=18*15%=2。当然,以按地图总数的百分比确定n的具体取值,计算结果包含小数部分时,可以是四舍五入,也可以是仅取整数部分,或者在整数部分基础上加一。

其他示例性实施例中,根据匹配结果,确定至少一个地图作为目标地图时,也可以是选取环境场景相似度达到预设的第一阈值的地图作为目标地图。例如,第一阈值为80%,则环境场景的相似度达到80%的地图作为目标地图。

当然,根据匹配结果,确定至少一个地图作为目标地图,也可以是根据两个或多个条件共同确定。以环境场景相似度高低排序的前n个和相似度达到第一阈值共同确定目标地图为例,n=2,第一阈值为75%。相似度达到75%的地图数量为5,根据确定策略,最终确定环境场景相似度高低排序的前2个地图作为目标地图与目标图像进行对比。

具体实施中,目标图像的环境场景为傍晚下雨,而地图的环境场景包括傍晚的环境场景和下雨的环境场景,根据环境场景的对比度,傍晚的环境场景和下雨的环境场景最为接近,确定傍晚的环境场景的地图和下雨的环境场景地图作为目标地图。

根据目标图像的环境场景确定对应的目标地图,也可以是响应用户的选择操作确定对应的目标地图。例如,用户通过输入输出设备或触控操作等选择目标地图,根据用户的选择操作,将选中的地图作为用于与目标图像进行对比实现定位的目标地图。每个地图可以包括环境场景信息,根据环境场景信息,用户可以确定每一地图对应的环境场景。例如,在傍晚时,用户可以选择环境场景为傍晚的地图作为目标地图。在下雨时,可以选择环境场景为下雨的地图作为目标地图。用户可以是通过菜单进行选择,也可以是本公开方法在一显示界面上显示地图展示窗口,地图展示窗口显示可选择的地图,用户通过点击、划线、画圈等操作选择相应的地图作为目标地图。

每个地图包括目标区域的多个地图图像,每个地图图像对应有位置信息,通过比对,根据目标图像匹配成功的地图图像对应的位置信息,可以确定目标图像对应的位置。位置信息例如可以是经纬度坐标。

目标图像与目标地图两者的环境场景一致性越高,越利于目标图像与目标地图对比,能够提高定位结果的准确性。

本公开实施例中,对目标图像和/或目标地图的地图图像进行图像增强处理,以使目标图像的环境场景和地图图像在环境场景相一致的情况下进行对比,可以提高定位的准确性,降低定位不准确或定位失败概率。通过在不同环境场景下采集图像,建立不同场景的地图,可以提供多个环境场景的地图供定位、导航时选用,但多次采集图像需要消耗大量的人力物力,且采集时间不能无限长,因此很难采集到足够的不同环境场景的地图,在定位或导航时,仍然存在所有地图的环境场景均与目标图像的环境场景不一致的情况。本公开实施例通过图像增强使目标图像的环境场景和地图图像在环境场景相一致的情况下进行对比,改善了多个地图的环境场景均与目标地图的环境场景不一致,导致定位不准确或定位失败的问题。

本公开实施例中,既可以是对目标图像进行图像增强处理,也可以是对目标地图的地图图像进行图像增强处理,还可以是既对目标图像进行图像增强处理,又对目标地图的地图图像进行图像增强处理。本公开实施例中,图像增强可以包括空间增强和像素增强等。具体的,在下面涉及的实施例中进行进一步示例性说明。

在一可实施方式中,对目标图像和/或目标地图的地图图像进行图像增强处理,包括:获取目标地图的环境参数;对目标图像进行图像增强处理,使目标图像的环境参数与目标地图的环境参数相一致。本公开实施例中,环境参数可以包括亮度、对比度、像素、色阶等。通过图像增强处理,将目标图像的环境参数调整到与目标地图的环境参数一致。目标地图可以对应有环境参数,在建立地图时将对应的环境参数与地图相关联,在确定目标地图后,可以直接获取对应的环境参数。当然,在地图未关联环境参数的情况下,也可以通过计算获得目标地图的环境参数。例如,目标图像的环境场景为白天,目标地图的环境场景为无灯夜晚,读取与目标地图关联的环境参数,通过图像增强处理将目标图像的环境参数调整至与目标地图的环境参数相一致,使目标图像可以在环境场景一致的情况下与目标地图对比。

在一可实施方式中,对目标图像和/或目标地图的地图图像进行图像增强处理,包括:获取目标图像的环境参数;对目标地图的地图图像进行图像增强处理,使地图图像的环境参数与目标地图的环境参数相一致。结合上一实施例,本公开的定位方法也可以是目标地图的地图图像进行图像增强处理,目标图像的环境参数的具体数值可以通过计算得到,通过图像增强处理,将目标图像的环境参数调整到与目标地图的环境参数一致。本公开实施例中,在对目标地图的地图图像进行图像增强处理,以调整环境场景时,可以统一将目标地图的地图图像均进行相同的图像增强,生成新的地图,方便地图图像与目标图像的比对,并且可以丰富不同环境场景的地图。例如,目标图像的环境场景为白天,目标地图的环境场景为下雨,计算目标图像的环境参数,通过图像增强处理将目标地图的地图图像的环境参数调整至与目标图像的环境参数相一致,使目标地图的地图图像的环境场景调整是白天,从而在环境场景一致的情况下实现目标图像与目标地图对比。

在一可实施方式中,本公开实施例中,目标地图的个数可以为两个或两个以上,例如,目标地图包括第一目标地图和第二目标地图。对目标图像和/或目标地图的地图图像进行图像增强处理,包括:获取第一目标地图的第一环境参数和第二目标地图的第二环境参数;根据第一环境参数对目标图像进行第一图像增强处理,消除目标图像的环境场景的第一环境因素;第一图像增强处理后的目标图像进行第二图像增强处理,使目标图像的环境场景的第二环境因素的环境参数与第二环境参数相一致。本公开实施例中,可以确定两个或两个以上的地图作为目标地图,用于与目标图像对比。具体的,可以是根据环境场景,选择与目标图像的环境场景最接近的两个地图作为目标地图,为了便于说明,一个为第一目标地图,另一个为第二目标地图。例如,目标图像的环境场景为夜晚下雨,其第一环境因素为光照因素,第二环境因素为气候因素,第一目标地图的环境场景为夜晚,其环境参数为第一环境参数,第二目标地图的环境场景为下雨,其环境参数为第二环境参数,通过第一图像增强处理,用第一环境参数反向消除目标图像的夜晚的环境因素,保留下雨的环境因素,对保留下雨的环境因素的目标图像进行第二图像增强处理,使目标图像和第二目标地图两者的下雨的雨量相同,使两者可以在环境场景一致的情况下对比。当然,在反向消除目标图像的第一环境因素后,也可以是对第二目标地图进行图像增强处理,使目标图像和第二目标地图两者的环境参数一致。

在一可实施方式中,目标地图包括第一目标地图和第二目标地图。对目标图像和/或目标地图的地图图像进行图像增强处理,包括:获取第一目标地图的第一环境参数和第二目标地图的第二环境参数;对目标图像进行第三图像增强处理,使目标图像的环境场景的第一环境因素的环境参数与第一环境参数相一致;第三图像增强处理后的目标图像进行第四图像增强处理,使目标图像的环境场景的第二环境因素的环境参数与第二环境参数相一致。参考上一实施例,目标图像的环境场景为夜晚下雨,第一目标地图的环境场景为夜晚,第二目标地图的环境场景为下雨,通过第三图像增强处理,使目标图像的夜晚的光照条件与第一目标地图的夜晚的光照条件一致,通第四图像增强处理,使目标图像的雨量和第二目标地图的雨量一致。本公开实施例中,可以将第一目标地图和第二目标地图相结合得到第三目标地图,第三目标地图的环境参数根据第一环境参数和第二环境参数确定,第三目标地图的环境场景为夜晚下雨,将目标图像与第三目标地图的地图图像对比,使两者可以在环境场景一致的情况下对比。

在一可实施方式中,目标地图包括第一目标地图和第二目标地图。对目标图像和/或目标地图的地图图像进行图像增强处理,包括:获取第一目标地图的第一环境参数以及第二目标地图的第二环境参数;对目标图像进行第一图像增强处理,使目标图像的环境参数与第一目标地图的环境参数相一致;对目标图像进行第二图像增强处理,使目标图像的环境参数与第二目标地图的环境参数相一致。在对比时,在第一图像增强处理之后,先将目标图像和第一目标地图在环境场景一致的情况下进行对比,然后在第二图像增强处理之后,再将目标图像和第二目标地图在环境场景一致的情况下进行对比,第一目标地图和第二目标地图同一位置的地图图像均与目标图像匹配成功,则根据该位置确定目标图像的对应的位置。若其中一个匹配不成功,则重新进行图像增强处理,或重新确定目标地图。例如,目标图像的环境场景为下雨,第一目标地图的环境场景为二级雨量,第二目标地图的环境场景为三级雨量。目标图像的雨量为二级雨量与三级雨量之间,可以通过图像增强处理先将目标图像的雨量调整至与第一目标地图的雨量一致,然后,再将目标图像的雨量调整至与第二目标地图的雨量一致。

本公开实施例中,目标图像与目标地图图像的环境场景一致,可以目标图像的环境场景与目标地图图像的环境场景的相似度达到第二阈值,即可确定目标图像与目标地图图像的环境场景一致。第二阈值可以大于第一阈值。第二阈值例如可以是95%、96%、98%、99%等。

本公开实施例中,根据环境场景选择地图时,可以先选择相似度达到第二阈值的地图,在没有相似度达到第二阈值的地图的情况下,选择目标地图,然后进行图像增强处理。若有相似度达到第二阈值的地图,则直接进行对比。相似度达到第二阈值的地图的数量大于1时,可以选择相似度最大的地图与目标图像进行对比。

在一可实施方式中,目标地图包括第一目标地图和第二目标地图。对目标图像和/或目标地图的地图图像进行图像增强处理,包括:获取目标图像的环境参数;对第一目标地图进行第一图像增强处理,使目标图像的环境参数与第一目标地图的环境参数相一致;对第二目标地图进行第二图像增强处理,使目标图像的环境参数与第二目标地图的环境参数相一致。对比时,同样是分别对比,具体可参考上述实施例。

在一可实施方式中,根据对比结果,确定目标图像对应的位置,包括:确定与目标图像相匹配的地图图像;确定目标图像与相匹配的地图图像的相对方位及距离;根据地图图像对应的位置和相对方位及距离确定目标图像对应的位置。通过对比可以确定目标图像与地图图像是否相匹配,根据相匹配的地图图像对应的位置可以确定目标图像对应的位置。例如,根据目标图像的视角,图中物体的大小等信息可以确定目标图像对应的位置相对地图图像对应的位置是靠近拍摄者一侧,还是远离拍摄者一侧,在车辆、机器人定位、导航的场景中,拍摄者为车辆或机器人。假设目标图像相对地图图像的相对方位为靠近拍摄者一侧,且两者距离为5m,则根据相匹配的地图图像对应的位置可以确定目标图像对应的位置。

在一可实施方式中,将环境场景相一致的目标图像与地图图像进行对比,包括:提取目标图像的图像特征;将目标图像的图像特征与地图图像的图像特征进行对比;目标图像的图像特征与地图图像的图像特征的相似度达到阈值时,目标图像与地图图像相匹配;根据相匹配的地图图像对应的位置确定目标图像对应的位置。本公开实施例中,将目标图像与地图图像进行对比,可以根据两者各自的图像特征来确定是否匹配。地图图像的图像特征可以是在建立地图时与对应的地图图像相关联。目标图像与地图图像对比时,目标图像的图像特征与地图图像的图像特征的相似度达到阈值,即可确定目标图像与该地图图像相匹配。该阈值可以根据经验确定,该阈值还可以根据定位结果进行实时调整。该阈值例如可以是90%、95%、98%等。

目标图像的图像特征和地图图像的图像特征均可以是通过模型提取。提取图像特征的模型包括但不限于:基于SIFT的模型(尺度不变特征变换,Scale-invariant featuretransform)、基于SURF或基于ORB的词袋描述的模型,或者基于HASH的图像指纹的模型。

在一可实施方式中,地图图像的图像特征包括第一图像特征和第二图像特征,第二图像特征用于描述地图图像的环境场景,第一图像特征可以用于目标图像与地图图像的对比定位。根据环境场景确定目标地图时,可以将目标图像的图像特征与第二图像特征进行匹配,根据第二图像特征的匹配度可以确定目标地图,具体可参考涉及确定目标地图的实施例的相关描述。目标图像的图像特征与地图图像的图像特征的对比,确定目标图像与地图图像是否相匹配时,可以是第二图像特征单独与目标图像的图像特征对比,也可以是第一图像特征和第二图像特征作为整体与目标图像的图像特征对比。

在一可实施方式中,在将环境场景相一致的目标图像与地图图像进行对比之前,本公开实施例的定位方法还包括:对目标图像进行预处理。通过预处理可以准确提取目标图像的图像特征。预处理可以包括但不限于图像增强、图像滤波、图像分割、图像拉伸、边缘检测、动态障碍物去除等。示例性实施例中,对目标图像进行预处理包括:将目标图像分为多个子图;删除动态障碍物所在的子图;获取剩余的各子图的图像特征;合并各子图的图像特征,得到目标图像的图像特征。将动态障碍物所在的子图删除可以是根据动态障碍物的面积占所在子图的百分比确定。例如,动态障碍物的面积占所在子图的百分比达到阈值时,删除该子图。具体阈值的设置可以是5%、10%、20%、30%、50%、70%、80%等。也可以是将动态障碍物所在的子图均删除。

在一可实施方式中,多个地图基于对图像进行图像增强处理得到。通过对图像进行图像增强处理,得到不同环境场景的图像,从而建立不同环境场景的地图,可以改善多环境场景图像采集耗费人力、物力、时间,以及环境场景覆盖不全等问题。

在一可实施方式中,多个地图基于对图像进行图像增强处理得到,包括:获取目标区域的原始图像;对目标区域的原始图像进行图像增强处理,得到多个环境场景不同的目标地图图像。图像增强处理之前的图像可以称为原始图像,对原始图像增强处理得到的图像可以称为目标地图图像。原始图像可以是采集的图像,如建立目标区域的地图时,可以使用图像采集设备采集目标区域的图像作为原始图像进行图像增强,可以得到不同环境场景的地图图像。原始图像也可以是经图像增强处理得到的图像。例如,通过采集获得的目标区域的图像生成的地图可以对应第一环境场景,该图像可以作为原始图像进行图像增强处理,可以称为第一图像增强处理,得到地图图像称为第一地图图像,对应的环境场景称为第二环境场景,根据第一地图图像可以建立第一地图。在进一步扩展目标区域的不同环境场景的地图时,可以继续以采集获得的图像作为原始图像进行图像增强处理,也可以使用经图像增强处理得到的图像,例如第一地图图像作为原始图像进行图像增强处理。参见图2a至图2d,图2a为采集到的图像,对应的环境场景为白天,图2b、图2c和图2d分别为雨天、夜晚无灯、夜晚有灯的图像增强处理得到的图像。

在一可实施方式中,参见图3,本公开实施例的定位方法还包括:获取原始图像特征,原始图像特征为原始图像的图像特征;获取各加强图像特征,加强图像特征为各环境场景的目标地图图像的图像特征;提取对应同一位置的原始图像特征和各加强图像特征的共性部分作为原始图像以及各目标地图图像的第一图像特征;提取对应同一位置的原始图像特征和各加强图像特征的差异部分作为对应的原始图像以及各目标地图图像的第二图像特征。原始图像和图像增强处理得到的对应的目标地图图像的位置相同,对应同一位置的原始图像和图像增强处理得到的对应的目标地图图像的图像特征合并,提取共性部分作为第一图像特征,提取各自的图像特征与其他图像特征的差异部分作为第二图像特征,第二图像特征用于描述环境场景。提取共性部分和差异部分时,可以分别设置阈值,图像特征的共性达到对应的阈值时,作为共性部分,图像特征的差异达到对应的阈值时,作为差异部分。具体实施中,可以是对特征进行聚类,通过设定距离提取共性部分和差异部分。例如,参见图3,经纬度坐标(x,y)的位置对应有i个图像,包括原始图像和图像增强处理得到的图像,从1开始编号分别为图像1,图像2,……,图像i。将图像1至图像i的图像特征合并,图像1的h个图像特征包括特征1-1,特征1-2,……,特征1-h,经过提取a个特征为共性部分,b个特征为差异部分,a+b≤h。

在一可实施方式中,获取目标区域的原始图像,包括:采集目标区域的视频流数据,并同步采集地理位置数据;将视频流数据分别与同步采集的地理位置数据匹配,得到与地理位置数据对应的目标区域的原始图像。在采集视频流数据的同时,同步采集地理位置数据,地理位置数据可以通过GPS、北斗等卫星定位系统等获得。由于视频流数据和地理位置数据同步采集,因此基于时间匹配可以实现视频流数据与地理位置数据的对应。对于同一时间点,可以提取出原始图像和对应的地理位置,使构成地图的地图图像与地理位置一一对应。例如,对于同步采集的视频流数据和地理位置数据,在2022年4月22日20时30分40秒的时间点,地理位置数据对应的经纬度为(x1,y1),视频流提取出对应的原始图像为IM1,可以得到(x1,y1)-IM1的对应关系。根据IM1进行图像增强处理,可以得到多个环境场景的目标地图图像,分别命名为IM2、IM3、……、IMn。IM1至IMn均对应经纬度(x1,y1),分别提取IM1至IMn的图像特征,合并处理,提取共性部分和各自的差异部分,构成分别与IM1至IMn对应的图像特征。

在一可实施方式中,对目标区域的原始图像进行图像增强处理,得到目标地图图像,包括:将原始图像输入训练好的模型,训练好的模型对原始图像进行图像增强处理得到目标地图图像。采用训练好的模型进行图像增强处理,可以提高地图建立的效果,以覆盖更多的环境场景。具体实施中,用于图像增强处理的模型可以是AugGAN模型或SurfelGAN模型等。

在一可实施方式中,训练模型包括:获取同一位置多个图像,每个图像的环境场景不同;以多个图像中的第一图像为输入,第二图像为输出,训练模型,第一图像和第二图像的环境场景不同。用同一位置,不同环境场景的图像分别作为模型的输入和输出进行训练,可以得到用于获得不同环境场景的模块。在训练模型过程中,可以采用对抗训练。例如,以白天环境场景的第一图像为输入,分别以雨量1-10级的环境场景的第二图像作为输出,训练好的模型,根据雨量1-10级的环境场景对应的环境参数对输入的原始图像进行图像增强处理,可以得到对应雨量级别的环境场景的图像。训练好的模型即可用于建立地图,也可用于目标图像与目标地图图像对比时,使两者环境场景一致的图像增强处理。

参见图4,本公开实施例提供了一种定位装置,该定位装置包括获取模块、确定模块、增强模块和定位模块,获取模块用于获取目标对象图像;确定模块用于根据环境场景,从多个地图中确定至少一个地图作为目标地图,不同地图的环境场景不同;增强模块用于在目标图像的环境场景与目标地图的环境场景均不一致的情况下,对目标图像和/或目标地图的地图图像进行图像增强处理,以使目标图像的环境场景和目标地图的地图图像的环境场景一致;定位模块用于将环境场景相一致的目标图像与地图的地图图像进行对比,根据对比结果确定目标图像对应的位置。

在一可实施方式中,增强模块对目标图像和/或目标地图的地图图像进行图像增强处理,包括:获取目标地图的环境参数;对目标图像进行图像增强处理,使目标图像的环境参数与目标地图的环境参数相一致。

在一可实施方式中,增强模块对目标图像和/或目标地图的地图图像进行图像增强处理,包括:获取目标图像的环境参数;对目标地图的地图图像进行图像增强处理,使地图图像的环境参数与目标地图的环境参数相一致。

在一可实施方式中,目标地图包括第一目标地图和第二目标地图;增强模块对目标图像和/或目标地图的地图图像进行图像增强处理,包括:获取第一目标地图的第一环境参数和第二目标地图的第二环境参数;根据第一环境参数对目标图像进行第一图像增强处理,消除目标图像的环境场景的第一环境因素;第一图像增强处理后的目标图像进行第二图像增强处理,使目标图像的环境场景的第二环境因素的环境参数与第二环境参数相一致。

在一可实施方式中,目标地图包括第一目标地图和第二目标地图;增强模块对目标图像和/或目标地图的地图图像进行图像增强处理,包括:获取第一目标地图的第一环境参数和第二目标地图的第二环境参数;对目标图像进行第三图像增强处理,使目标图像的环境场景的第一环境因素的环境参数与第一环境参数相一致;第三图像增强处理后的目标图像进行第四图像增强处理,使目标图像的环境场景的第二环境因素的环境参数与第二环境参数相一致。

在一可实施方式中,定位模块根据对比结果,确定目标图像对应的位置,包括:确定与目标图像相匹配的地图图像;确定目标图像与相匹配的地图图像的相对方位及距离;根据地图图像对应的位置和相对方位及距离确定目标图像对应的位置。

在一可实施方式中,定位模块将环境场景相一致的目标图像与地图图像进行对比,包括:提取目标图像的图像特征;将目标图像的图像特征与地图图像的图像特征进行对比;目标图像的图像特征与地图图像的图像特征的相似度达到阈值时,目标图像与地图图像相匹配;根据相匹配的地图图像对应的位置确定目标图像对应的位置。

在一可实施方式中,地图图像的图像特征包括第一图像特征和第二图像特征,第二图像特征用于描述地图图像的环境场景,第一图像特征用于目标图像与地图图像的对比定位。

在一可实施方式中,该装置还包括预处理模块,预处理模块用于:将目标图像分为多个子图;删除动态障碍物所在的子图;获取剩余的各子图的图像特征;合并各子图的图像特征,得到目标图像的图像特征。

在一可实施方式中,多个地图基于对图像进行图像增强处理得到。

在一可实施方式中,多个地图基于对图像进行图像增强处理得到,包括:获取目标区域的原始图像;对目标区域的原始图像进行图像增强处理,得到多个环境场景不同的目标地图图像。

在一可实施方式中,该装置还包括提取模块,提取模块用于:获取原始图像特征,原始图像特征为原始图像的图像特征;获取各加强图像特征,加强图像特征为各环境场景的目标地图图像的图像特征;提取对应同一位置的原始图像特征和各加强图像特征的共性部分作为原始图像以及各目标地图图像的第一图像特征;提取对应同一位置的原始图像特征和各加强图像特征的差异部分作为对应的原始图像以及各目标地图图像的第二图像特征。

在一可实施方式中,提取模块获取目标区域的原始图像,包括:采集目标区域的视频流数据,并同步采集地理位置数据;将视频流数据分别与同步采集的地理位置数据匹配,得到与地理位置数据对应的目标区域的原始图像。

在一可实施方式中,增强模块对目标区域的原始图像进行图像增强处理,得到目标地图图像,包括:将原始图像输入训练好的模型,训练好的模型对原始图像进行图像增强处理得到目标地图图像。

在一可实施方式中,训练模型包括:获取同一位置多个图像,每个图像的环境场景不同;以多个图像中的第一图像为输入,第二图像为输出,训练模型,第一图像和第二图像的环境场景不同。

本公开实施例的定位装置能够实现上述各实施例的方法,上述各方法实施例的描述均可用于理解和解释本公开实施例的装置。出于简洁和节省篇幅的目的,在此不再赘述。

根据本公开的实施例,本公开还提供了一种电子设备和一种可读存储介质。本公开实施例的电子设备能够执行本公开所述的方法。

根据本公开的实施例,本公开还提供了一种车辆,该车辆包括上述实施例的电子设备。该电子设备包括车载终端和易于移动的独立的电子设备。

根据本公开的实施例,本公开还提供了一种电子设备和一种可读存储介质。

图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示,设备500包括计算单元501,其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序,来执行各种适当的动作和处理。在RAM 503中,还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505,包括:输入单元506,例如键盘、鼠标等;输出单元507,例如各种类型的显示器、扬声器等;存储单元508,例如磁盘、光盘等;以及通信单元509,例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理,例如定位方法。例如,在一些实施例中,定位方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元508。在一些实施例中,计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时,可以执行上文描述的定位方法的一个或多个步骤。备选地,在其他实施例中,计算单元501可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行定位方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。

应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。

此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。

以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以所述权利要求的保护范围为准。

相关技术
  • 车辆停车定位装置及车辆停车引导方法
  • 车载定位装置的防拆保障方法、服务器、车辆和系统
  • 一种车辆定位方法、装置、电子设备及存储介质
  • 用于定位车辆的方法、装置、设备和介质
  • 车辆定位方法、装置和终端设备
  • 车辆定位方法、装置、定位车辆、待定位车辆和存储介质
  • 提供在定位地点处定位车辆的定位信息的方法和通过另一车辆提供定位车辆的信息的方法
技术分类

06120115988027