掌桥专利:专业的专利平台
掌桥专利
首页

寻车导航方法、电子设备、服务器及系统

文献发布时间:2024-04-18 19:58:21


寻车导航方法、电子设备、服务器及系统

技术领域

本申请涉及导航技术领域,尤其涉及一种寻车导航方法、电子设备、服务器及系统。

背景技术

随着人们生活质量的提高,驾驶舒适性以及私密性较高的私家车成为了人们首选的一种出行方式。为了保证人们驾车出行的停车需求,大多数人群聚集性质的公共场所(例如包括医院、商场、公园等)都配备了大型停车场。

然而,以商场配备的大型停车场为例,商场配备的大型停车场一般为地下停车场,地下停车场中的停车位较多,且从停车场进入商场的入口也较多,用户停好车后,需要花费一定的时间从停车位寻找到商场的入口。之后,用户从商场返回停车场,还需要花费较多的时间和精力寻找车辆,给用户带来不便。

发明内容

有鉴于此,本申请提供了一种寻车导航方法、电子设备、服务器及系统,电子设备可以自动获取车辆的停车位置,之后基于用户的导航需求,采集实景图像。电子设备基于实景图像,可以显示与停车位置对应的增强显示导航画面,将虚拟信息与真实环境融合为一体,给用户带来更直观的、易懂的寻车导航体验。

第一方面,本申请提供一种寻车导航方法,应用于电子设备。电子设备可以根据获取的行车数据,确定是否满足第一条件。当基于行车数据确定满足第一条件,可触发获取目标地址,该目标地址为车辆的停车位置地址。之后,电子设备可基于用户的操作,采集第一图像。并基于第一图像,显示对应于目标地址的AR导航。

一些示例中,行车数据可以为用于指示车辆状态的数据,例如用于指示车辆处于行驶状态、启动状态、熄火状态以及车辆所处的位置等。可选地,行车数据可以为电子设备通过自身传感器获取的,也可以为电子设备通过与其连接的其他设备获取的。例如,电子设备判断自身移动速度大于或等于速度阈值,可确定车辆处于行驶状态。

一些示例中,电子设备可显示包括第一图像和导航路径的AR导航,例如在第一图像上叠加显示导航路径。

如此,电子设备在确定满足第一条件后能够直接触发获取目标地址,从而实现显示对应于目标地址的AR导航,为用户提供虚拟信息与真实环境融合为一体的、更直观的、易懂的寻车导航体验。也避免用户记忆停车位置,降低用户寻车难度。

在第一方面的一种可能的实现方式中,第一条件包括车辆状态切换为熄火状态,且车辆位于预设地址围栏内。

一些示例中,服务器在创建AR地图的过程中,可创建包括对应于一个或多个场所的AR地图,其中每一场所均对应于一个预设地址围栏,用于指示该场所的地址范围。因此,预设地址围栏的数量为一个或多个,本申请实施例对此不做限制。

一些示例中,服务器可实时获取到电子设备的定位信息,若在电子设备位于车辆内的情况下,服务器确定电子设备移动至某预设地址围栏内后,可指示电子设备触发寻车导航过程。这样,电子设备在确定车辆状态切换为熄火状态后,可获取车辆当前所在的目标地址,该目标地址为服务器确定的预设围栏地址内的地址。

应理解,服务器在确定车辆切换至不同的预设地址围栏后,触发确定的目标地址位于对应的预设地址围栏内。

如此,在车辆行驶至预设地址围栏后,响应于车辆状态切换为熄火状态,能够自动触发停车位置的定位,有效降低寻车难度,提升用户使用体验。

在第一方面的一种可能的实现方式中,电子设备显示用于指示用户采集停车位照片的第一提示信息。电子设备采集的停车位照片的显示内容包括车辆停车位置的编号。服务器接收电子设备发送的停车位照片,并根据停车位照片中指示的所述车辆停车位置的编号确定目标地址。

一些示例中,服务器中存储有各个车辆停车位置的编号对应的具体位置,因此,服务器识别出停车位照片中的车辆停车位置的编号,可对应的找到目标地址,并将目标地址发送给电子设备。

如此,电子设备可以在第一提示信息对用户的指示下,采集到停车位照片,从而能够基于停车位照片识别出车辆停放的位置,有效降低寻车难度,提升用户使用体验。

在第一方面的一种可能的实现方式中,电子设备可以通过扫描无线网络,获取无线网络数据,其中,无线网络数据包括电子设备可以接收到的无线网络的标识以及信号强度。接着,电子设备向服务器发送无线网络数据。服务器可以根据电子设备发送的无线网络的标识以及信号强度确定目标地址。

一些示例中,电子设备通过启动无线网络扫描功能进行无线网络扫描,可获取电子设备能够接收到的所有无线网络数据,并将该无线网络数据发送至服务器。服务器将电子设备发送的无线网络数据与预先存储的无线网络布局等信息进行比对,从而基于无线网络数据推算出停车位置。

如此,电子设备通过获取无线网络数据,可与服务器进行交互获取停车位置,实现在用户无感知的情况下,自行获取停车位置,给用户带来更便捷的寻车导航体验。

在第一方面的一种可能的实现方式中,电子设备可以先显示第二提示信息,用于指示用户采集包括所述车辆的停放环境的车辆照片,并向服务器发送车辆照片。服务器可对车辆的停放环境进行识别,并根据车辆的停放环境确定出目标地址。

如此,电子设备可以仅通过包括车辆停放环境的照片即可实现对停车位置的识别,从而使得用户可以通过简单的照片采集动作,完成对停车位置的获取,给用户带来更容易、便捷的体验。

在第一方面的一种可能的实现方式中,在获取目标地址之后,电子设备可以显示停车卡片,便于后续用户通过停车卡片进行寻车导航或其他导航。相应地,用户操作包括用户在停车卡片上触发的由用户当前位置导航至目标地址的第一操作、或者用户在停车卡片上触发的由目标地址导航至输入地址的第二操作,输入地址为用户在停车卡片上选择或输入的地址。

一些示例中,若用户操作为用户在停车卡片上触发的由用户当前位置导航至目标地址的第一操作,例如,用户对停车卡片中的寻车导航空间进行点击操作,则电子设备可以基于第一操作为用户提供从当前位置到达停车位置的导航服务。若用户操作为用户在停车卡片上触发的由目标地址导航至输入地址的第二操作,例如,用户对停车卡片中显示的,或由停车卡片中的一个控件触发显示的输入栏进行输入操作之后,输入地址为用户在停车卡片上选择或输入的地址,则电子设备可以基于第二操作,为用户提供从当前位置到达任何位置的导航服务。

如此,当用户停车后,电子设备可以为用户提供停车卡片,响应于用户对停车卡片中进行的用户操作,电子设备可以为用户提供满足用户需求的导航服务。

在第一方面的一种可能的实现方式中,电子设备显示停车卡片之后,还可以获取导航数据,并在根据导航数据确定满足第二条件时,停止显示停车卡片。

一些示例中,导航数据可以为用户与车辆之间的距离,电子设备的位置数据等。例如,电子设备基于电子设备的当前位姿以及停车位置之间的距离小于预设阈值时,确定用户已到达车辆的停车位置,取消停车卡片的显示。或者,电子设备在确定车辆行驶出停车场对应的地址围栏之后,取消停车卡片的显示。或者,电子设备还可显示提示信息,以提示用户已到达停车位置,导航结束等。

如此,在用户处于需要寻车导航服务的场景下,电子设备显示停车卡片便于用户进行操作。而在用户处于不需要寻车导航服务的场景下,电子设备可以取消停车卡片的显示,从而为用户提供更智能的停车服务。

在第一方面的一种可能的实现方式中,电子设备可以根据第一图像确定第一位姿,第一位姿为电子设备在相机坐标系下的位姿。之后,电子设备获取相机坐标系与世界坐标系之间的转换关系,将第一位姿转化为电子设备处于世界坐标系下的当前位姿。接着电子设备向服务器发送当前位姿以及目标地址,并接收服务器发送的AR导航路径信息,AR导航路径信息包括用于指示从当前位姿移动至目标地址的导航标识。最后,电子设备显示对应于目标地址的AR导航,AR导航包括标识有导航标识的第一图像。

如此,电子设备可以在最开始的导航过程中基于第一图像与服务器进行交互,以确定出相机坐标系与世界坐标系之间的转换关系。在随后的导航过程中,电子设备可直接基于第一图像以及相机坐标系与世界坐标系之间的转换关系,保证电子设备能够自行确定出电子设备处于世界坐标系下的当前位姿。之后,电子设备利用服务器基于当前位姿以及目标地址发送的AR导航路径信息,进行AR导航。可以为用户带来虚拟信息与实景图像结合的导航服务,提高导航体验。

在第一方面的一种可能的实现方式中,电子设备可以按照预设周期向服务器发送第一图像,接收服务器发送的电子设备在世界坐标系下的第二位姿。电子设备在世界坐标系下的第二位姿为服务器根据第一图像以及预先建立好的AR地图确定。基于第一位姿以及第二位姿,电子设备可以确定相机坐标系与世界坐标系之间的转换关系。之后,电子设备可以在预设周期执行相邻两次向服务器发送第一图像的动作之间的时间段内,利用上一周期确定的转换关系,自行确定电子设备处于世界坐标系下的当前位姿。

示例性地,如预设周期为每15s执行一次向服务器发送第一图像的动作。为了便于说明和理解,此处假设电子设备每秒仅采集一帧第一图像。那么电子设备在第一秒时,可以基于第一图像获取电子设备在相机坐标系下的位姿A1。在第一秒时,电子设备还向服务器发送第一图像,以获取服务器基于第一图像确定电子设备在世界坐标系下的位姿B1。之后,电子设备根据位姿A1和位姿B1,确定相机坐标系和世界坐标系之间的转换关系ΔRT1。电子设备在第2秒至第14秒之间,可以直接根据获取到的第一图像确定电子设备在相机坐标系下的位姿An,n为大于等于2,小于等于14的正整数。由于未到发送第一图像的预设周期,那么电子谁被可以直接基于根据位姿An和转换关系ΔRT1,确定电子设备在世界坐标系下的位姿Bn。之后,在电子设备在第15秒时,可以基于第一图像获取电子设备在相机坐标系下的位姿A15。在第一秒时,电子设备还向服务器发送第一图像,以获取服务器基于第一图像确定电子设备在世界坐标系下的位姿B15。之后,电子设备根据位姿A15和位姿B15,确定相机坐标系和世界坐标系之间的转换关系ΔRT2。

如此,电子设备可以通过周期性的与服务器进行交互,实现对相机坐标系和世界坐标系之间的转换关系的更新和维护,从而保证电子设备可以基于相机坐标系和世界坐标系之间的转换关系将第一位姿,准确的转换为电子设备在世界坐标系下的位姿。

在第一方面的一种可能的实现方式中,电子设备向服务器发送第一图像以及目标地址后,服务器可以基于第一图像以及目标地址确定AR导航路径信息,AR导航路径信息包括用于指示从当前位姿移动至目标地址的导航标识;当前位姿为服务器根据第一图像确定的电子设备在世界坐标系下的位姿。最后,电子设备显示对应于目标地址的AR导航,AR导航包括标识有导航标识的第一图像。

如此,电子设备可以直接将第一图像以及目标地址发送给服务器,使得服务器直接基于第一图像确定出电子设备的当前位姿。之后,服务器可以直接当前位姿以及目标地址,为电子设备提供用于AR导航的AR导航路径信息。从而保证服务器能够准确的确定出AR导航路径信息。

第二方面,本申请提供一种寻车导航方法,应用于服务器,方法包括:接收电子设备发送的第一图像以及目标地址;第一图像为电子设备采集的实景图像,目标地址为电子设备在确定行车数据满足第一条件后确定的车辆的停车位置地址;根据第一图像和增强现实AR地图,确定电子设备在世界坐标系下的目标位姿。基于目标位姿,确定对应于目标地址的AR导航路径信息。最后,服务器向电子设备发送AR导航路径信息,AR导航路径信息用于电子设备显示包括AR导航路径信息和第一图像的AR导航。

一些示例中,目标位置在不同的情况下,可以为第一方面中的第二位姿或当前位姿,例如,在电子设备自行确定当前位姿的情况下,目标位姿可以为电子设备经过转化得到的电子设备处于世界坐标系下的当前位姿。在服务器确定当前位姿的情况下,目标位姿可以为用于电子设备确定相机坐标系与世界坐标系之间的转换关系的第二位姿。

如此,服务器在电子设备确定满足第一条件后能够接收到目标地址以及第一图像,从而确定并向电子设备发送AR导航路径信息。保证电子设备能够显示对应于目标地址的AR导航,为用户提供虚拟信息与真实环境融合为一体的、更直观的、易懂的寻车导航体验。也避免用户记忆停车位置,降低用户寻车难度。

在第二方面的一种可能的实现方式中,AR地图对应于包括目标地址的第一场所,AR地图包括第一场所中的实景图像或实景视频流、实景图像或实景视频流中对应的第一场所的特征点、以及特征点的位置信息中的一项或几项。

在第二方面的一种可能的实现方式中,服务器中存储有基于AR地图生成的导航路网。导航路网中包括任意两个地址之间的一条或多条导航路径。服务器可以根据导航路网,确定从目标位姿到达目标地址的第一导航路径。之后,再根据AR地图,生成AR导航路径信息,AR导航路径信息包括导航路径中每个路径点的导航位置以及虚拟标识。

在第二方面的一种可能的实现方式中,服务器中存储有基于AR地图生成的导航路网;基于目标位姿,确定对应于目标地址的AR导航路径信息,包括:向电子设备发送目标位姿;接收电子设备发送的电子设备在世界坐标系下的当前位姿,当前位姿为电子设备基于目标位姿对第一位姿转换得到,第一位姿为电子设备基于第一图像确定的电子设备在相机坐标系下的位姿;在导航路网中确定从当前位姿到达目标地址的第二导航路径;基于AR地图确定导航路径中每个路径点的导航位置以及虚拟标识;确定对应于目标地址的AR导航路径信息,AR导航路径信息包括导航路径中每个路径点的导航位置以及虚拟标识。

在第二方面的一种可能的实现方式中,方法还包括:接收电子设备发送的停车位照片,停车位照片的显示内容包括车辆停车位置的编号;根据停车位照片中指示的车辆停车位置的编号确定目标地址;向电子设备发送目标地址。

在第二方面的一种可能的实现方式中,获取目标地址,包括:接收电子设备发送的无线网络数据;无线网络数据包括电子设备接收到的无线网络的标识以及信号强度;根据无线网络的标识以及信号强度确定目标地址;向电子设备发送目标地址。

在第二方面的一种可能的实现方式中,获取目标地址,包括:接收电子设备发送的车辆照片,车辆照片的显示内容包括车辆的停放环境;根据车辆照片指示的车辆的停放环境确定目标地址;向电子设备发送目标地址。

第三方面,本申请提供一种电子设备,电子设备包括显示屏、存储器和一个或多个处理器;显示屏、存储器和处理器耦合;显示屏用于显示处理器生成的图像,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令;当处理器执行计算机指令时,使得电子设备执行如第一方面及其任一种可能的设计方式的方法。

其中,当处理器执行计算机指令时,使得电子设备执行:获取行车数据;根据行车数据,确定满足第一条件;获取目标地址,目标地址为车辆的停车位置地址;响应于用户操作,采集第一图像;基于第一图像,显示对应于目标地址的增强现实AR导航。

在第三方面的另一种可能的设计方式中,第一条件包括车辆状态切换为熄火状态,且车辆位于预设地址围栏内。

在第三方面的另一种可能的设计方式中,当处理器执行计算机指令时,使得电子设备还执行以下操作:显示第一提示信息,第一提示信息用于指示用户采集停车位照片,停车位照片的显示内容包括车辆停车位置的编号;向服务器发送停车位照片;接收服务器发送的目标地址,目标地址为服务器根据停车位照片中指示的车辆停车位置的编号确定。

在第三方面的另一种可能的设计方式中,当处理器执行计算机指令时,使得电子设备还执行以下操作:获取无线网络数据;无线网络数据包括电子设备接收到的无线网络的标识以及信号强度;向服务器发送无线网络数据;接收服务器发送的目标地址,目标地址为服务器根据无线网络的标识以及信号强度确定。

在第三方面的另一种可能的设计方式中,当处理器执行计算机指令时,使得电子设备还执行以下操作:显示第二提示信息,第二提示信息用于指示用户采集车辆照片,车辆照片的显示内容包括车辆的停放环境;向服务器发送车辆照片;接收服务器发送的目标地址,目标地址为服务器根据车辆照片指示的车辆的停放环境确定。

在第三方面的另一种可能的设计方式中,当处理器执行计算机指令时,使得电子设备还执行以下操作:显示停车卡片;用户操作包括用户在停车卡片上触发的由用户当前位置导航至目标地址的第一操作、或者用户在停车卡片上触发的由目标地址导航至输入地址的第二操作,输入地址为用户在停车卡片上选择或输入的地址。

在第三方面的另一种可能的设计方式中,当处理器执行计算机指令时,使得电子设备还执行以下操作:获取导航数据;根据导航数据,确定满足第二条件;停止显示停车卡片。

在第三方面的另一种可能的设计方式中,当处理器执行计算机指令时,使得电子设备还执行以下操作:根据第一图像确定第一位姿,第一位姿为电子设备在相机坐标系下的位姿;获取相机坐标系与世界坐标系之间的转换关系,将第一位姿转化为电子设备处于世界坐标系下的当前位姿;向服务器发送当前位姿以及目标地址;接收服务器发送的AR导航路径信息,AR导航路径信息包括用于指示从当前位姿移动至目标地址的导航标识;显示对应于目标地址的AR导航,AR导航包括标识有导航标识的第一图像。

在第三方面的另一种可能的设计方式中,当处理器执行计算机指令时,使得电子设备还执行以下操作:按照预设周期向服务器发送第一图像;接收服务器发送的电子设备在世界坐标系下的第二位姿;电子设备在世界坐标系下的第二位姿为服务器根据第一图像以及预先建立好的AR地图确定;基于第一位姿以及第二位姿,确定相机坐标系与世界坐标系之间的转换关系。

在第三方面的另一种可能的设计方式中,当处理器执行计算机指令时,使得电子设备还执行以下操作:向服务器发送第一图像以及目标地址;接收服务器发送的AR导航路径信息,AR导航路径信息包括用于指示从当前位姿移动至目标地址的导航标识;当前位姿为服务器根据第一图像确定的电子设备在世界坐标系下的位姿;显示对应于目标地址的AR导航,AR导航包括标识有导航标识的第一图像。

第四方面,本申请提供一种服务器,服务器包括存储器和一个或多个处理器;存储器和处理器耦合;存储器用于存储计算机程序代码,计算机程序代码包括计算机指令;当处理器执行计算机指令时,使得服务器执行如第二方面及其任一种可能的设计方式的方法。

其中,当处理器执行计算机指令时,使得电子设备执行以下操作:接收电子设备发送的第一图像以及目标地址;第一图像为电子设备采集的实景图像,目标地址为电子设备在确定行车数据满足第一条件后确定的车辆的停车位置地址;根据第一图像和增强现实AR地图,确定电子设备在世界坐标系下的目标位姿;基于目标位姿,确定对应于目标地址的AR导航路径信息;向电子设备发送AR导航路径信息,AR导航路径信息用于电子设备显示包括AR导航路径信息和第一图像的AR导航。

在第四方面的另一种可能的设计方式中,AR地图对应于包括目标地址的第一场所,AR地图包括第一场所中的实景图像或实景视频流、实景图像或实景视频流中对应的第一场所的特征点、以及特征点的位置信息中的一项或几项。

在第四方面的另一种可能的设计方式中,服务器中存储有基于AR地图生成的导航路网,当处理器执行计算机指令时,使得电子设备还执行以下操作:根据导航路网,确定从目标位姿到达目标地址的第一导航路径;根据AR地图,生成AR导航路径信息,AR导航路径信息包括导航路径中每个路径点的导航位置以及虚拟标识。

在第四方面的另一种可能的设计方式中,服务器中存储有基于AR地图生成的导航路网,当处理器执行计算机指令时,使得电子设备还执行以下操作:基于目标位姿,确定对应于目标地址的AR导航路径信息,包括:向电子设备发送目标位姿;接收电子设备发送的电子设备在世界坐标系下的当前位姿,当前位姿为电子设备基于目标位姿对第一位姿转换得到,第一位姿为电子设备基于第一图像确定的电子设备在相机坐标系下的位姿;在导航路网中确定从当前位姿到达目标地址的第二导航路径;基于AR地图确定导航路径中每个路径点的导航位置以及虚拟标识;确定对应于目标地址的AR导航路径信息,AR导航路径信息包括导航路径中每个路径点的导航位置以及虚拟标识。

第五方面本申请提供一种寻车导航系统,寻车导航系统包括电子设备以及服务器。其中,电子设备可以先获取行车数据。电子设备根据行车数据,确定满足第一条件,则可以获取目标地址,目标地址为车辆的停车位置地址。之后,电子设备向服务器发送目标地址;响应于用户操作,采集第一图像。服务器用于:接收电子设备发送的目标地址;获取电子设备在世界坐标系下的当前位姿;基于当前位姿,确定对应于目标地址的AR导航路径信息;向电子设备发送AR导航路径信息。最后,电子设备还用于:显示对应于目标地址的增强现实AR导航,AR导航包括AR导航路径信息和第一图像。

在第五方面的一种可能的实现方式中,寻车导航系统中的电子设备可以向服务器发送第一图像。之后,寻车导航系统中的服务器还可以接收电子设备发送的第一图像,并基于AR地图以及第一图像确定电子设备在世界坐标系下的当前位姿。

在第五方面的另一种可能的实现方式中,寻车导航系统中的电子设备还可以根据第一图像确定电子设备在相机坐标系下的第一位姿,接着,获取相机坐标系与世界坐标系之间的转换关系,并将第一位姿转化为电子设备处于世界坐标系下的当前位姿。在计算出当前位姿之后,电子设备向服务器发送当前位姿以及目标地址。寻车导航系统中的服务器可以接收当前位姿以及目标地址,并基于当前位姿以及目标地址确定AR导航路径信息,该AR导航路径信息中包括用于指示从当前位姿移动至目标地址的导航标识。寻车导航系统中的服务器将AR导航路径信息发送至电子设备,电子设备可以显示标识有导航标识的第一图像,已实现与目标地址对应的AR导航显示。

在第五方面的另一种可能的实现方式中,寻车导航系统中的电子设备还可以按照预设周期向服务器发送第一图像,以使寻车导航系统中的服务器可以基于第一图像以及预先建立好的AR地图确定电子设备在世界坐标系下的第二位姿。电子设备可以基于该第二位姿确定相机坐标系与世界坐标系之间的转换关系。电子设备在预设周期的间隙,可以基于相机坐标系与世界坐标系之间的转换关系对第一位姿进行转换。按照预设周期向服务器发送第一图像,可以实现对相机坐标系与世界坐标系之间的转换关系进行周期性的更新,从而保证相机坐标系与世界坐标系之间的转换关系的准确性,继而保证电子设备可以在预设周期的间隙也可以对第一位姿进行准确的转换,得到电子设备的当前位姿。

在第五方面的另一种可能的实现方式中,寻车导航系统中的电子设备还可以向服务器发送第一图像以及所述目标地址。寻车导航系统中的服务器接收第一图像以及所述目标地址,并根据所述第一图像确定的所述电子设备在世界坐标系下的当前位姿。之后,服务器确定包括用于指示从当前位姿移动至目标地址导航标识的AR导航路径信息。电子设备可以基于AR导航路径信息显示对应于目标地址的AR导航,AR导航包括标识有所述导航标识的所述第一图像。

在第五方面的一种可能的实现方式中,寻车导航系统可以利用车辆停车位置的编号确定目标地址。电子设备可以显示第一提示信息,第一提示信息用于指示用户采集停车位照片,所述停车位照片的显示内容包括所述车辆停车位置的编号。服务器可以接收电子设备发送的停车位照片,并根据停车位照片中指示的所述车辆停车位置的编号确定目标地址。例如,服务器中可以存储有各个车辆停车位置的编号对应的具体位置,因此,服务器识别出停车位照片中的车辆停车位置的编号,可对应的找到目标地址,并将目标地址发送给电子设备。

在第五方面的另一种可能的实现方式中,寻车导航系统可以利用无线网络数据确定目标地址。如,电子设备可以通过启动无线网络扫描功能进行无线网络扫描,以获取无线网络数据,其中,无线网络数据包括电子设备可以接收到的无线网络的标识以及信号强度。接着,电子设备向服务器发送无线网络数据。服务器可以根据预先存储的无线网络布局等信息,以及电子设备发送的无线网络的标识以及信号强度确定目标地址。

在第五方面的另一种可能的实现方式中,寻车导航系统可以利用包括车辆的停放环境的车辆照片确定目标地址。电子设备可以先显示第二提示信息,用于指示用户采集包括所述车辆的停放环境的车辆照片,并将车辆照片向服务器发送。服务器可对车辆的停放环境进行识别,并根据车辆的停放环境确定出目标地址。

第六方面,本申请提供一种存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如上第一方面及其任一种可能的设计方式的方法。

第七方面,本申请提供一种存储介质,包括计算机指令,当计算机指令在服务器上运行时,使得服务器执行如上第二方面及其任一种可能的设计方式的方法。

第八方面,本申请提供一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行如上第一方面及其任一种可能的设计方式的方法。

第九方面,本申请提供一种计算机程序产品,当计算机程序产品在服务器上运行时,使得服务器执行如上第二方面及其任一种可能的设计方式的方法。

第十方面,本申请提供一种装置,该装置包含在电子设备中,该装置具有实现上述第一方面及可能的实现方式中任一方法中电子设备行为的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括至少一个与上述功能相对应的模块或单元。例如,显示模块或单元,处理模块或单元和收发模块或单元等。

可以理解地,上述提供的第三方面及其任一种可能的设计方式的电子设备,第六方面的计算机存储介质,以及第八方面的计算机程序产品均用于执行上文所提供的对应的方法;上述提供的第四方面及其任一种可能的设计方式的电子设备,第七方面的计算机存储介质,以及第九方面的计算机程序产品均用于执行上文所提供的对应的方法。因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。

附图说明

图1为本申请实施例提供的寻车导航方法应用的通信系统的示意图;

图2为本申请实施例提供的一种电子设备的硬件结构示意图;

图3为本申请实施例提供的一种电子设备的软件结构示意图;

图4为本申请实施例提供的一种寻车导航系统的结构示意图;

图5为本申请实施例提供的一种电子设备的结构示意图;

图6为本申请实施例提供的一种寻车导航方法的流程示意图;

图7为本申请实施例提供的一种电子设备的显示示意图;

图8为本申请实施例提供的另一种电子设备的显示示意图;

图9为本申请实施例提供的另一种电子设备的显示示意图;

图10为本申请实施例提供的另一种寻车导航方法的流程示意图;

图11为本申请实施例提供的另一种电子设备的显示示意图;

图12为本申请实施例提供的另一种电子设备的显示示意图;

图13为本申请实施例提供的一种寻车导航方法的流程示意图;

图14为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。

目前为了满足用户的停车需求,大多数住宅楼、写字楼、商场、医院、景区等场所配置有停车场,例如包括室内停车场、露天停车场等。其中,室内停车场例如包括地下停车场、停车楼等。在例如住宅楼,写字楼,商场等人流聚集量较大的场所,考虑到场地限制,一般会配置不占用地面空间的地下停车场,从而实现空间的最大化利用。在同一个地下停车场中的停车位所处环境基本相似,且停车场内部的环境较为单一,缺乏参照物,依靠停车场内部的环境以及参照物区分停车位的具体位置较为困难。为了便于区分不同的停车位,一般会对停车位进行编号。然而,停车场中停车位的数量众多,仅依靠停车位的车位编号在众多停车位中找出该停车位仍然具有较大的难度。

在一些场景中,用户在将车辆停放至商场的地下停车场中的某个停车位之后,需要从该停车位处走到通向商场的出入口,从出入口进入商场。在上述过程当中,用户除了需要记忆车辆所停放的停车位的车位编号,还需要记忆从该停车位到商场入口的路线等。之后,用户在购物结束后,还需要根据记忆,从商场返回到停车场,并找到自己车辆停放的停车位。

在上述场景中,由于停车场中的停车位数量众多,如用户仅依据停车位的车位编号从众多停车位中寻找其中一个停车位,那么需要用户先了解停车场中停车位的车位编号的编号规则。之后,用户可依据编号规则以及停车位的车位编号找到对应的停车位,该过程较为费时和费力。

在另一些场景中,若商场的停车场为多层地下停车场,用户还需要记忆停车位所在的地下停车场的层数。例如,用户需要先找到对应的楼层,才能依据停车位的车位编号进行寻车。又如,若商场的停车场的规模较大,包括多个已编号的停车区域。用户还需要记忆停车位所在的停车区域或停车区域的编号,进一步给用户的寻车过程增添麻烦。

在上述示例场景中,由于停车场中停车位所在的环境相似,缺乏可作为参照的标志性物体,容易导致用户的记忆出现混淆。因此,用户很难根据对车辆所停的停车位的周边环境以及从该停车位到达商场入口的路线的记忆,准确的找到停车位。加之用户找车路线的行程与记忆路线的行程相反,导致基于记忆寻车更有难度。

其中,在从停车位走到商场入口的过程中,用户一般还需要借助停车场内设置的用于指示商场入口的标识寻找商场入口。在寻找的过程中对路线进行记忆,更容易出现记忆混淆的情况,给寻找车辆的过程增添难度。

此外,在一些停车场中,往往存在多个出入口。若用户从停车场进入商场的出入口,与其从商场返回停车场开始寻车的出入口不同,那么,用户在从停车场到达出入口过程所记忆的路线,则无法对用户寻找车辆起到帮助作用,仅能根据停车位的车位编号寻找停车位,寻车难度也较大,需要耗费较长的时间和精力。

由此,本申请提供一种寻车导航方法,电子设备可以获取用户的车辆的停放位置。之后,电子设备根据当前位置以及行走方向为用户提供增强现实(augmented reality,AR)导航界面。AR导航界面中包括虚拟导航标识以及电子设备实时获取的实景图像。由此,电子设备显示的导航画面中可以将虚拟信息与真实环境融合为一体,给用户带来更直观的,易懂的寻车导航体验。

首先,为了便于理解,下面先对本申请实施例涉及的相关术语和概念进行介绍。

1、位姿

位姿,用于描述某个对象在指定坐标系下的位置和姿态。其中,位置是指对象在空间里的定位,姿态用于描述对象在空间里的朝向。一些示例中,6自由度(6degree offreedom,6Dof)位姿,即物体的六维位姿。6Dof位姿中包括3自由度的旋转和3自由度的平移。

2、世界坐标系

世界坐标系也称为测量坐标系,是一个三维直角坐标系。在世界坐标系中可以描述相机和待测物体的空间位置。世界坐标系的位置可以根据实际情况自行确定,例如,可以确定位置A为世界坐标系的原点,位置A指向位置B的方向为x方向,位置A指向位置C的方向为y方向,位置A指向位置D的方向为z方向。其中,确定好的世界坐标系为不变且唯一的绝对坐标系。

3、相机坐标系

相机坐标系也称为摄像机坐标系,是以相机的光心(小孔)作为相机坐标系原点,X轴为水平方向,Y轴为竖直方向,Z轴指向相机所观察的方向建立的坐标系。其中,相机坐标系随相机的移动而变化。

图1为本申请实施例提供的寻车导航方法应用的通信系统的示意图。如图1所示,该通信系统可以包括电子设备100,以及服务器200等设备,各设备之间可以通过网络实现通信,以实现数据的传输。该网络可以是因特网,蜂窝网络,或其他网络等。该网络可以包括一个或多个网络设备,如网络设备可以是路由器或交换机等。

可选的,如图1所示,电子设备100例如可以为手机11、平板电脑12、可穿戴设备(如智能眼镜13、智能手表14等)、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)、人工智能(artificial intelligence,AI)设备等终端设备。电子设备100安装的操作系统包括但不限于

可选的,服务器200可以是云服务器或者网络服务器等具有计算功能的设备或服务器。上述服务器可以是一台服务器,也可以是由多台服务器组成的服务器集群,或者是一个云计算服务中心。

在一些实施例中,上述通信系统还可以包括车载设备。可选地,该车载设备例如为车载终端、车辆、汽车、车机等终端。一些示例中,电子设备100与车载设备建立通信连接,之后电子设备100可通过该通信连接接收车载设备发送的行车数据,根据该行车数据确定车辆是否处于行驶状态、车辆的行驶位置等,进而确定是否触发寻车。或者,电子设备100在确定与车载设备建立通信连接后,通过自身传感器确定车载设备状态,进而确定是否触发寻车。

图2示出了电子设备100的结构示意图。电子设备100可以包括处理器210,外部存储器接口220,内部存储器221,通用串行总线(universal serial bus,USB)接口230,充电管理模块240,电源管理模块241,电池242,天线1,天线2,移动通信模块250,无线通信模块260,音频模块270,扬声器270A,受话器270B,麦克风270C,耳机接口270D,传感器模块280,摄像头293,显示屏294,以及用户标识模块(subscriber identification module,SIM)卡接口295等。

可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。

处理器210可以包括一个或多个处理单元,例如:处理器210可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。

其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。

处理器210中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器210的等待时间,因而提高了系统的效率。

在一些实施例中,处理器210可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。

I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器210可以包含多组I2C总线。处理器210可以通过不同的I2C总线接口分别耦合触摸传感器280K,充电器,闪光灯,摄像头293等。例如:处理器210可以通过I2C接口耦合触摸传感器280K,使处理器210与触摸传感器280K通过I2C总线接口通信,实现电子设备100的触摸功能。

MIPI接口可以被用于连接处理器210与显示屏294,摄像头293等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器210和摄像头293通过CSI接口通信,实现电子设备100的拍摄功能。处理器210和显示屏294通过DSI接口通信,实现电子设备100的显示功能。

USB接口230是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口230可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。

可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。

充电管理模块240用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块240可以通过USB接口230接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块240可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块240为电池242充电的同时,还可以通过电源管理模块241为电子设备供电。

电源管理模块241用于连接电池242,充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入,为处理器210,内部存储器221,外部存储器,显示屏294,摄像头293,和无线通信模块260等供电。电源管理模块241还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块241也可以设置于处理器210中。在另一些实施例中,电源管理模块241和充电管理模块240也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块250,无线通信模块260,调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。

移动通信模块250可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块250可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块250可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块250还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块250的至少部分功能模块可以被设置于处理器210中。在一些实施例中,移动通信模块250的至少部分功能模块可以与处理器210的至少部分模块被设置在同一个器件中。

无线通信模块260可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如Wi-Fi(wireless fidelity)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块260可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块260经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器210。无线通信模块260还可以从处理器210接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。

在一些实施例中,电子设备100的天线1和移动通信模块250耦合,天线2和无线通信模块260耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。

电子设备100通过GPU,显示屏294,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏294和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器210可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。

显示屏294用于显示图像,视频等。显示屏294包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLED,Micro-OLED,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏294,N为大于1的正整数。

电子设备100可以通过ISP,摄像头293,视频编解码器,GPU,显示屏294以及应用处理器等实现拍摄功能。

ISP用于处理摄像头293反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头293中。

摄像头293用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头293,N为大于1的正整数。

数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。

NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。

外部存储器接口220可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口220与处理器210通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。

内部存储器221可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器210通过运行存储在内部存储器221的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器221可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器221可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。

电子设备100可以通过音频模块270,扬声器270A,受话器270B,麦克风270C,耳机接口270D,以及应用处理器等实现音频功能。例如音乐播放,录音等。

音频模块270用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。在一些实施例中,音频模块270可以设置于处理器210中,或将音频模块270的部分功能模块设置于处理器210中。

扬声器270A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器270A收听音乐,或收听免提通话。

其中传感器模块280可以包括陀螺仪传感器280B,加速度传感器280E,距离传感器280F等。

陀螺仪传感器280B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器280B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器280B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器280B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器280B还可以用于导航,体感游戏场景。

加速度传感器280E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。

距离传感器280F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器280F测距以实现快速对焦。

一些示例中,电子设备100可以通过加速度传感器280E获取电子设备100的加速度以及加速度的方向。由此,电子设备100可以通过对电子设备100的加速度以及加速度的方向进行分析,确定电子设备100的状态,如电子设备100处于静止状态、运动状态等。一些场景中,如电子设备100确定与车辆建立有通信连接,且通过加速度传感器280E确定自身速度大于预设阈值,那么电子设备100可确定车辆处于行驶状态等。

另一些示例中,电子设备可以通过加速度传感器280E获取电子设备的加速度以及加速度的方向,并通过陀螺仪传感器280E检测和感应3D空间的线性和动作,从而确定电子设备的朝向、姿态等信息。

电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的

图3是本发明实施例的电子设备100的软件结构框图。

分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将

应用程序层可以包括一系列应用程序包。

如图3所示,应用程序包可以包括相机,图库,日历,通话,地图,寻车导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。

可选地,寻车导航应用程序用于帮助用户触发导航至目的地址,如停车位、用户输入的目的地址等。例如,电子设备100确定车辆由行驶状态切换为熄火状态,且位于预设的地址围栏内,可确定需要确定车辆停车位置。并且,电子设备100可触发启动寻车导航应用程序生成停车卡片,便于后续用户通过停车卡片进行寻车导航。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图3所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。

内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。

视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备100的通信功能。例如,通话状态的管理(包括接通,挂断等)。

资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。

runtime包括核心库和虚拟机。/>

核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。

系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),二维(2D)图形引擎(例如:SGL)等。

表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。

三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。

以在配置有地下停车场的商场中寻车的场景为例,以下实施例对本申请实施例提供的寻车导航方法进行详细介绍。应理解,本申请实施例提供的寻车导航方法还可以应用于医院、公园、住宅楼等配置的地下停车场、露天停车场等多种场景中,本申请实施例对此不再赘述。

在一些实施例中,为了实现在停车场中进行寻车,可预先在服务器中建立对应于不同停车场的AR地图。这样后续服务器可基于电子设备的位置信息,确定电子设备所处的停车场,并确定该停车场对应的AR地图,进而实现寻车导航。

示例性地,如图4所示,服务器200获取开发人员上传的图像集,并通过建图模块201基于该图像集建立AR地图。其中,图像集中包括在地下停车场中各个位置的不同朝向拍摄的照片,这样服务器可根据这些照片建立该地下停车场对应的AR地图。服务器200建立的AR地图中包括地下停车场中各个位置拍摄的不同朝向照片、图像集中每个照片包括的地下停车场的特征点、以及每个特征点在世界坐标系下的三维坐标。服务器200还可以通过路网生成模块202基于建立好的AR地图生成导航路网,导航路网用于描述AR地图中可通行的区域。例如,导航路网中包括可通行的路段在AR地图中的三维坐标的集合。由此,服务器200可以通过路径规划模块203基于电子设备发送的导航需求中包括的起始位置以及目标位置,并基于包括导航路网的AR地图,规划满足导航需求的路径。

在一些实施例中,服务器通过建图模块201利用运动推断结构(structure frommotion,SFM)算法,对图像集中包括的照片进行三维重建处理,以得到AR地图。例如,服务器可以对图像集中的每个照片进行特征提取,提取照片中地下停车场的特征点。其中,特征点用于描述地下停车场的关键信息,一般为在不同光照或不同视角下都能够稳定且可重复检测的二维图像点位置,例如,照片中地下停车场中的建筑结构、停车位划分线、停车场车道线等固定的参照物。将每张照片的特征点提取出来之后,服务器对各个照片中的特征点进行匹配,服务器确定一张照片中的一个特征点A与另一张照片中的对应特征点A’。其中,特征点A与特征点A’为在不同照片中的同一个特征点。之后,服务器基于多组至少包括两幅具备相同特征点的照片,确定出每个特征点在同一空间坐标系下的三维坐标。服务器将在同一空间坐标系下的每个特征点的三维坐标转化为处于世界坐标系下的三维坐标,可得到AR地图中的每个特征点在世界坐标系下的三维坐标。如此,基于普通摄像设备对地下停车场进行拍摄得到普通照片,建图模块201可完成对地下停车场进行三维重建,得到AR地图,从而有效降低AR地图的创建成本。此外,通过图像拍摄设备例如包括相机、手机等的使用方法更简单和容易的设备,相对于通过激光扫描设备等专用设备进行AR地图的创建,进一步降低AR地图创建的难度,也降低了AR地图创建好后的维护难度。

一些示例中,服务器可以通过建图模块201先获取部分特征点在世界坐标系下的坐标,例如经纬度信息,并确定该部分特征点在空间坐标系下的三维坐标与部分特征点在世界坐标系下的坐标之间的转换关系。之后,服务器可基于该转换关系确定出AR地图中每个特征点处于世界坐标系下的三维坐标。

可选地,如图4所示服务器200中的建图模块201以及路网生成模块202可以通过离线的方式运行。

上文对服务器建立AR地图的过程进行介绍,下文对电子设备基于该AR地图实现寻车导航的过程进行详细介绍。

在一些实施例中,用户在出行的途中一般会随身携带电子设备。例如,在用户驾驶车辆至地下停车场的过程中,用户一般会将携带的电子设备放置于车辆内,因此,可以通过对电子设备的状态进行分析,从而得到车辆的状态。又如,在用户停车后下车步行的过程中,用户也会携带电子设备下车步行,因此,可以通过对电子设备的状态进行分析,从而得到用户的状态。

在一些实施例中,电子设备可与车辆建立通信连接,并且基于该通信连接,电子设备可触发对于车辆状态的判断。例如,电子设备与车辆连接,可接收到车辆发送的车辆的行车数据。电子设备可以基于行车数据判断车辆是否启动或熄火、车辆启动后还可判断车辆处于行驶状态或停车状态、车辆所在位置等。或者,在车辆行驶过程中,车载GPS模块可将确定位置信息发送至电子设备,从而电子设备也可确定车辆行驶位置。

一些示例中,电子设备可通过自身传感器检测到的数据,判断车辆处于行驶状态或停车状态、车辆所在位置等。示例性地,电子设备可通过当前电子设备的移动速度,确定车辆是否处于行驶状态。比如,电子设备判断自身移动速度大于或等于速度阈值,可确定车辆处于行驶状态。并且,在车辆行驶过程中,电子设备还可通过如图4所示的定位模块101确定车辆所处的位置,其中定位模块101可基于GPS技术确定位置。

可选地,电子设备与车辆建立的通信连接后,可以基于车辆的行车数据,触发寻车导航应用程序的运行。例如,用户进入车辆附近的预设范围后或者响应于用户操作,电子设备与车辆建立通信连接。在用户未启动车辆时,电子设备可以基于车辆发送的行车数据确定车辆处于熄火状态。之后,用户启动车辆,电子设备可以基于车辆发送的行车数据确定车辆处于启动状态。接着,电子设备可以通过寻车导航应用程序,确定车辆是否行驶入某个停车场后在该停车场中停车。从而保证电子设备可以识别出用户在停车场中停车的场景,并在此时触发寻车导航过程,为用户提供寻车导航服务。

可选地,在上述服务器建立地下停车场对应的AR地图的过程中,可确定各个地下停车场对应的地址围栏,不同的AR地图对应的地址围栏不同,该地址围栏用于描述对应的地下停车场所在的区域的范围。服务器可实时获取到电子设备或车辆上传的位置信息,从而可确定当前车辆的是否行驶到某个地址围栏内。若服务器确定车辆行驶位置位于某地址围栏内,可触发获取到对应的AR地图,并指示电子设备触发停车状态监控,以便于车辆停止到停车位后,可触发生成停车卡片。可选地,电子设备也可获取到服务器发送的地址围栏,那么电子设备可通过监控自身的位置,确定车辆是否位于地址围栏内。若电子设备确定车辆行驶位置位于某地址围栏内,可向服务器发送定位指示,以触发寻车导航过程。

示例性地,如图5所示,电子设备100中的定位模块101例如可以包括停车状态感知单元。一些示例中,电子设备100通过停车状态感知单元对车辆的状态进行感知。例如,电子设备100通过停车状态感知单元通过上述方法,确定车辆处于行驶状态或停车状态、车辆所在位置等。

在一些实施例中,如图6所示,用户的第一动作可触发电子设备生成停车卡片,其中该第一动作例如包括用户将车辆驾驶入停车场,并停放车辆。可选地,电子设备确定车辆位于地址围栏内后,基于监测到的车辆行驶状态,确定车辆熄火后,可确定检测到用户的第一动作,触发生成相应的停车卡片(即执行S601)。其中,停车卡片中包括当前车辆所处位置、停车时长监控、后续用户位置距离停车位置的距离停车费用等信息,用户可通过该停车卡片实现寻车。

示例性地,如图4所示,响应于车辆由启动状态切换为熄火状态,电子设备100通过定位模块101确定电子设备100当前所处位置(该位置可等同于车辆所处位置)。之后,电子设备100可根据确定的位置,生成停车卡片,并通过显示模块103显示该停车卡片。

可选地,电子设备可通过下滑通知栏、负一屏、弹窗、寻车导航应用等多种方式显示停车卡片。

示例性地,如图7中所示,电子设备在下滑通知栏中显示停车卡片71,该停车卡片71上显示有车辆的停车位置,以及寻车导航控件72等内容。

在一些实施例中,电子设备可通过拍照、录入停车位编号、Wi-Fi无感定位中的一种或多种方式,确定车辆的停车位置。

示例性地,如图5所示,电子设备100中的定位模块101例如还可以包括停车位置确定单元。一些示例中,电子设备100通过停车位置确定单元中的停车位编号定位子单元确定车辆的停车位置,并通过存储子单元对确定好的车辆的停车位置进行存储。一些示例中,服务器在建立AR地图的过程中,可获取到地下停车场中各个停车位的车位编号。那么,电子设备在触发生成停车卡片后,可通过指示用户录入停车位的车位编号,并将该编号发送至服务器,以确定车辆的位置。之后,服务器可将确定车辆的位置发送至电子设备,以实现电子设备在停车卡片上显示车辆所处位置。可选地,电子设备可通过指示用户拍摄停车位的车位编号的方式或者接收用户输入的停车位的车位编号的方式,获取到该停车位的车位编号。

示例性地,如图6所示,电子设备检测用户的第二动作,例如,用户点击停车卡片中的停车位置识别控件。之后,电子设备可以显示提示信息并获取停车位置(即执行S602)。如图8中(a)所示,电子设备显示“请将车位编号完整的显示在下方虚线框内,并点击识别控件”的提示信息A,以及与提示信息A相关的虚线框以及拍摄控件81。用户可以基于该提示信息A对电子设备进行移动,以使电子设备显示画面中的车位编号处于图8中(a)所示的虚线框内部。或者,如图8中(b)所示,界面中可以显示内容为“请将车位编号完整的显示在下方虚线框内,并确认识别结果是否正确”的提示信息A,以及与提示信息A相关的虚线框以及用于确认识别结果的确认控件82。用户可以基于该提示信息A对电子设备进行移动,以使电子设备显示画面中的车位编号处于图8中(b)所示的虚线框内部,待出现识别结果后,可对识别结果对应的确认控件82进行点击操作。之后,电子设备可以将识别出的车位编号发送至服务器。服务器基于预先存储的车位编号以及该停车位置之间的关系,可确定出车辆的停车位置。

另一些示例中,电子设备可以通过停车位置确定单元中的Wi-Fi无感定位子单元获取停车点的位置。比如,电子设备开启Wi-Fi功能后,可扫描附近的Wi-Fi热点,确定可接收到的各个Wi-Fi热点以及Wi-Fi热点的信号强度,并将扫描到的Wi-Fi热点以及Wi-Fi热点的信号强度发送至服务器。服务器可基于预存的当前商场围栏内的Wi-Fi热点的信息,如位置信息等,以及电子设备可扫描到的各个Wi-Fi热点以及各个Wi-Fi热点的信号强度,确定电子设备的位置。之后,服务器可将确定电子设备的位置发送至电子设备,以实现电子设备在停车卡片上显示车辆的位置。

可选地,如图5所示,Wi-Fi无感定位子单元以及停车位编号定位子单元之间的虚线箭头表示,电子设备可以通过Wi-Fi无感定位子单元以及停车位编号定位子单元确认车辆的位置,并通过存储子单元对确定好的车辆的停车位置进行存储。例如,在地下停车场包括两层停车区域A和停车区域B,其中,停车区域A中包括车位编号为1234的停车位,停车区域B中也包括车位编号为1234的停车位的情况下。如车辆实际停放于处于停车区域A中车位编号为1234的停车位处,电子设备通过拍摄包括车位编号的照片识别出车位编号为1234之后,还可以利用可接收到的各个Wi-Fi热点和Wi-Fi热点的信号强度确认车辆所在的区域为停车区域A。最终,电子设备可以准确的确定出车辆的所在位置为停车区域A中车位编号为1234的停车位。

又一些示例中,服务器在建立AR地图的过程中,可获取到地下停车场中各个位置的照片。那么,电子设备可以通过停车位置确定单元中的实景图像定位子单元确定车辆的位置,,并通过存储子单元对确定好的车辆的停车位置进行存储。示例性地,电子设备可指示用户对当前车辆所处位置的周边环境进行拍照,并将获取到的实景图像发送至服务器,进而服务器可将获取到的实景图像与AR地图进行比对,从而确定车辆的位置。之后,服务器可将确定车辆的位置发送至电子设备,以实现电子设备在停车卡片上显示车辆所处位置。

可选地,如图5所示,Wi-Fi无感定位子单元以及实景图像定位子单元之间的虚线箭头表示,电子设备可以通过Wi-Fi无感定位子单元以及实景图像定位子单元确认车辆的位置,并通过存储子单元对确定好的车辆的停车位置进行存储。示例性地,在地下停车场的规模较大的情况下,以包括两层停车区域A和停车区域B为例。电子设备可以将电子设备可接收到的各个Wi-Fi热点和Wi-Fi热点的信号强度,以及拍摄得到的实景图像发送给服务器。服务器可以先利用电子设备可接收到的各个Wi-Fi热点和Wi-Fi热点的信号强度确认车辆所在的区域为停车区域A。之后,服务器可以直接将实景图像与AR地图中与停车区域A对应的部分进行比对,从而可以快速的确定车辆的位置。

可选地,如图4所示,服务器200还包括虚拟专用服务(virtual private server,VPS)模块204。电子设备100将拍摄的实景图像发送至服务器200后,服务器200可通过VPS模块204基于该实景图像以及预先建立好的AR地图,确定电子设备的当前位姿。

示例性地,VPS模块204获取到实景图像后,可提取该实景图像中的特征点A,并从预先建立好的AR地图中找到特征点B或包括特征点B的照片。其中,特征点B与特征点A匹配,特征点B与特征点A为在不同图像中的同一特征点。之后,VPS模块204基于特征点B的相关信息,可确定特征点A在世界坐标系下的三维坐标。服务器可以基于实景图像确定出该特征点A在相机坐标系中的位置,由此,服务器可计算出相机坐标系的原点在世界坐标系下的三维坐标,继而可以确定出电子设备在世界坐标系下的三维坐标。

其中,在相机坐标系中的Z轴指向电子设备摄像头所观察的方向,用于表示电子设备的朝向。因此,服务器还可以确定出电子设备在世界坐标系下的朝向,进而确定出电子设备在世界坐标系下三维位姿。

示例性地,如图8中(a)所示,电子设备显示“请将您的车辆以及车辆所在车位放置于下方显示的虚线框内进行拍摄”的提示信息A,以及与提示信息A相关的虚线框以及拍摄控件81,以提示用户可以基于该提示信息A对电子设备进行移动,以使电子设备显示画面中的车辆以及该车辆停车的车位处于图8中(a)所示的虚线框内部,从而保证拍摄的图像中包括的特征点数量,增加定位准确性。之后,电子设备将拍摄的包括车辆停车位置的实景图像发送至服务器。服务器在获取到实景图像后,可通过VPS模块提取该实景图像中的特征点A,该特征点A与车辆的停车位对应。之后,服务器通过VPS模块从预先建立好的AR地图中找到特征点B或包括特征点B的照片。其中,特征点B与特征点A匹配,特征点B与特征点A为在不同图像中的同一特征点。之后,VPS模块可确定特征点B对应的停车位的车位编号或停车位置的坐标,从而确定停车位置以及电子设备在世界坐标系下的三维坐标。之后,服务器可将确定的停车位置和电子设备在世界坐标系下的三维坐标发送至电子设备,以实现电子设备在停车卡片上显示车辆所处位置。

在一些实施例中,电子设备确定车辆位置后,可将该车辆位置作为起始位置,为用户提供导航至终点位置的导航服务,比如帮助用户导航至商场出入口等。或者,电子设备响应于用户操作,将该确定的车辆位置作为终点位置,将用户所在位置作为起始位置,为用户提供导航服务,比如帮助用户从商场中导航至停车位置,以完成寻车过程。

一些示例中,在确定车辆行驶入某个停车场后在该停车场中停车,电子设备可以为用户提供导航至商场出入口的导航信息。例如,电子设备可以显示如图9中(a)所示的界面,该界面中的停车卡片包括商场导航控件91。响应于用户对该商场导航控件91的点击操作(即图6中电子设备检测用户的第三动作),电子设备可以为用户提供从当前位置进入商场内部的导航服务。例如,电子设备可以获取用户的当前位姿为导航起点,并确定与用户的当前位姿距离最近或在预设范围内的商场入口为导航终点,例如可以确定商场入口A为导航终点。之后,电子设备可以基于导航起点以及导航终点获取AR导航路径信息,并基于AR导航路径信息显示如图9中(b)所示的AR导航界面(即执行S603)。电子设备显示的AR导航界面中为叠加AR导航路径信息中的虚拟导航标识的实景图像,图9中(b)所示的箭头为虚拟导航标识,如此,可以给用户更真实的导航体验。

可选地,电子设备还可以为用户提供从当前位置到达商场内部某个指定的位置的导航信息。例如,响应于用户对如图9中(a)所示的商场导航控件的点击操作,电子设备可以显示如图9中(c)所示的界面,该界面中包括文本输入框。电子设备可以基于用户在该文本输入框内输入的内容,确定用户想要到达的目的地,从而为用户提供从当前位置到达商场内某个商店部的导航服务。

另一些示例中,电子设备在确定车辆行驶入某个停车场停车后,还可以确定用户是否下车,以确认是否需要为用户提供导航服务。如电子设备确定用户下车步行,可以表示用户有进入停车场的需求,因此,电子设备可以显示如图9中(a)所示的停车卡片,使得用户可以对停车卡片中的商场导航控件91进行点击操作。

示例性地,电子设备可通过当前电子设备的运动状态,确定用户是否处于步行状态。用户在走路时电子设备的传感器检测到传感数据呈现一定的运动规律,因此,电子设备可以通过加速度传感器检测到的加速度进行运动分析。例如,在用户走路中做收脚的动作的过程中,竖直加速度增加,水平加速度减小;而在用户走路中做向前迈步的动作的过程中,竖直加速度减小,水平加速度增加。或者,当人在行走时,电子设备会随着运动出现角度偏移。陀螺仪检测到持续且有规律的角度偏移时,可确定用户正在处于走路状态。

以下以车辆位置为终点位置为例,对电子设备提供导航服务的过程进行详细介绍。

在一些实施例中,电子设备响应于用户对停车卡片的操作,确定用户指示寻车。那么,电子设备可确定用户当前所处位置,并将该位置作为起始位置。之后,电子设备将停车卡片对应的停车位置作为终点位置,提供导航服务。在导航过程中,电子设备可提示用户实时采集附近实景图像,基于实景图像确定用户当前所处位置,从而为用户提供AR步行导航,帮助用户简单便捷的找到停车位置。可选地,用户随身携带电子设备并通过电子设备采集实景图像,并且基于实景图像可确定电子设备的当前位姿,那么该当前位姿可用于指示用户当前所处位置。

示例性地,如图7所示,电子设备检测到用户对寻车导航控件72的操作,确定用户指示生成寻车导航。具体的,电子设备的触摸传感器280K接收到触摸操作,相应的硬件中断被发给内核层。电子设备的内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。电子设备的应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸单击操作,该单击操作所对应的控件为如图7所示的寻车导航控件为例,电子设备中运行的寻车导航应用可以调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头捕获实景图像。

可选地,如图10所示,电子设备获取实时拍摄的实景图像或实景视频流(即执行S1001)后,基于实景图像或实景视频流确定电子设备在相机坐标系下的当前位姿A(即执行S1003)。例如,电子设备可以利用实时视觉定位(simultaneous localization andmapping,slam)基于实景图像或实景视频流确定电子设备在相机坐标系下的当前位姿A。电子设备可以将实景图像或实景视频流发送至服务器(即执行S1002),服务器根据实景图像或实景视频流确定出电子设备在世界坐标系下的当前位姿B(即执行S1004)后,将确定的当前位姿B发送至电子设备(即执行S1005)。之后,电子设备基于当前位姿A以及当前位姿B确定相机坐标系与世界坐标系之间的转换关系(即执行S1006),例如,该转换关系可以为当前位姿A以及当前位姿B之间的位姿差。之后,电子设备通过摄像头继续获取实景图像或实景视频流,并可基于实景图像或实景视频流确定电子设备在相机坐标系下的当前位姿A’,并基于之前已经确定的相机坐标系与世界坐标系之间的转换关系,确定电子设备在世界坐标系下的当前位姿B’(即执行S1007)。

例如,电子设备拍摄图像1,电子设备可以基于图像1计算电子设备在相机坐标系下的当前位姿A1,并将该图像1发送至服务器。服务器可以基于图像1以及服务器中存储的预先建立好的AR地图确定电子设备在世界坐标系下的当前位姿B1,并将该当前位姿B1发送至电子设备。当前位姿A1与当前位姿B1为同一个电子设备在同一个位姿的不同表示方式,当前位姿A1用于表示电子设备相机坐标系下的位姿,当前位姿B1用于表示电子设备世界坐标系下的位姿。由此,电子设备可以基于获取到的当前位姿A1与当前位姿B1,确定出相机坐标系与世界坐标系之间的转换关系。为了便于理解,该转换关系可以理解为当前位姿A1和当前位姿B1之间的位姿变化,表示为ΔRT=B1-A1。之后,电子设备可以基于ΔRT对后续基于图像n确定的电子设备在相机坐标系下的位姿An进行转换,将位姿An转化为电子设备在世界坐标系下的位姿。如此,电子设备首次将实景图像发送给服务器后,可以确定出相机坐标系与世界坐标系之间的转换关系,以便于电子设备自行计算电子设备在世界坐标系下的当前位姿。

可选地,电子设备可按照预设周期更新转换关系,以维护该转换关系的稳定性,避免确定的电子设备当前位姿出现异常。

比如,电子设备按照预设周期向服务器发送实景图像或实景视频流,那么相应的,电子设备也可按照预设周期获取到服务器基于实景图像或实景视频流确定的电子设备在世界坐标系下的当前位姿,从而电子设备可基于该世界坐标系下的当前位姿,周期性的更新相机坐标系和世界坐标系之间的转换关系。之后,电子设备可基于更新后的相机坐标系和世界坐标系之间的转换关系,以及实时采集的实景图像或实景视频流,将确定的电子设备在相机坐标系下的当前位姿转换为电子设备在世界坐标系下的当前位姿。可选地,在每一预设周期内,电子设备确定的转换关系相同或不相同。

例如,电子设备可以周期性的将实景图像或实景视频流发送至服务器,例如每间隔15s或30s向服务器发送一次实景图像。比如,电子设备在周期1内获取到图像1,电子设备可以基于图像1计算电子设备在相机坐标系下的位姿A1,并将该图像1发送至服务器。服务器可以基于图像1以及服务器中存储的预先建立好的AR地图确定电子设备在世界坐标系下的当前位姿B1。当前位姿A1与当前位姿B1为同一个电子设备在同一个位姿的不同表示方式,当前位姿A1用于表示电子设备相机坐标系下的位姿,当前位姿B1用于表示电子设备世界坐标系下的位姿。由此,电子设备可以基于当前位姿A1与当前位姿B1,确定出相机坐标系与世界坐标系之间的转换关系。为了便于理解,该转换关系可以理解为当前位姿A1和当前位姿B1之间的位姿变化,表示为ΔRT1=B1-A1。如此,电子设备首次将实景图像发送给服务器后,可以确定出相机坐标系与世界坐标系之间的转换关系,以便于电子设备自行计算电子设备在世界坐标系的当前位姿。例如,在周期1内,电子设备在采集实景图像或实景视频流后,基于已确定的转换关系,将确定的电子设备在相机坐标系下的位姿转换为电子设备在世界坐标系下的位姿。

之后,电子设备可以按照预设周期向服务器发送实景图像或实景视频流,以重新确定相机坐标系可以按照与世界坐标系之间的转换关系,即按照预设周期更新相机坐标系与世界坐标系之间的转换关系。实现对相机坐标系与世界坐标系之间的转换关系的更新和维护,从而保证相机坐标系与世界坐标系之间的转换关系的准确性。如,电子设备在采集到图像2后,确定当前由周期1进入到周期2(例如预设周期为15s,该图像2为第15s采集到的图像),需要向服务器发送图像,那么电子设备将图像2发送至服务器,并可基于图像2计算出当前位姿A2。服务器可以基于图像2以及服务器中存储的预先建立好的AR地图确定电子设备在世界坐标系下的当前位姿B2,并将该当前位姿B2发送至电子设备。之后,电子设备可根据当前位姿A2和当前位姿B2,重新确定出相机坐标系与世界坐标系之间的转换关系为ΔRT2=B15-A15。那么,在周期2内,电子设备通过更新后的转换关系ΔRT2将确定的电子设备在相机坐标系下的位姿转换为电子设备在世界坐标系下的位姿。由此,电子设备重复上述步骤,实现按照预设周期更新相机坐标系与世界坐标系之间的转换关系。

一些实施例中,如图10所示,电子设备将确定出的当前位姿B’和停车位置发送至服务器(即执行S1008),相应地,服务器可以接收当前位姿B和停车位置,并基于当前位姿B、停车位置以及预先建立好的AR地图以及导航路网,确定AR导航路径信息(即执行S1009)。之后,服务器将确定的AR导航路径信息发送给电子设备(即执行S1010)。相应地,电子设备接收服务器发送的AR导航路径信息,并进行导航显示(即执行S1011)。

另一些实施例中,电子设备可以将实时将拍摄获取的实景图像或实景视频流发送至服务器。相应地,服务器接收实景图像或实景视频流,并基于实景图像或实景视频流,以及存储的AR地图确定出的当前位姿。之后,服务器可以直接基于当前位姿以及停车位置进行路径规划,并将确定的AR导航路径信息发送给电子设备。相应地,电子设备接收服务器发送的AR导航路径信息,并进行导航显示。服务器计算的准确性较高,因此,电子设备在拍摄实景图像或实景视频流之后,可以直接通过与服务器的交互获取电子设备的当前位姿,从而提高当前位姿确定的准确性,并且可以提高寻车导航的准确性。

如图4所示,电子设备100在通过摄像头采集到实景图像或实景视频流,以及接收到服务器通过路径规划模块203发送的AR导航路径信息后,可通过导航路径模块102对AR导航路径信息进行分析,以确定出导航路径中各个位置点的属性,例如包括位置点的坐标、该位置点的前进方向、该位置点对应的虚拟导航标识等。之后,电子设备通过显示模块103显示摄像头拍摄的实景图像,并在该实景图像中叠加显示导航路径各个位置点的虚拟导航标识,如图11所示,图11中的箭头111即为虚拟导航标识。即电子设备100可通过显示模块103显示AR导航。如此,电子设备可以将虚拟信息与真实环境融合为一体,给用户带来更直观,易懂的寻车体验。

应理解,在导航过程中,电子设备实时获取实景图像,进而实时确定当前位姿B。那么在导航过程中,电子设备的当前位置也是随着用户的移动实时变化的,从而电子设备可实时更新导航路径,满足用户的实时导航需求。

可选地,导航路径中各个位置点的属性还可以包括特殊位置点标识。比如,导航路径中包括电梯位置、某商家位置、卫生间位置等的标识,从而帮助用户在导航过程中,确定不同的位置,丰富用户的使用。

可选地,电子设备获取AR导航路径信息后,可将虚拟导航标识设置于世界坐标系中与导航路径各个位置点对应的坐标处。电子设备获取摄像头拍摄的实景图像,可确定该实景图像的画面在世界坐标系下的可视范围。若可视范围包括导航路径各个位置点对应的坐标,电子设备的显示屏中可显示叠加有虚拟导航标识的实景图像。

在一些实施例中,电子设备在生成停车卡片后,可在停车卡片上或其他位置显示提示信息,以提示用户可通过输入终点位置,进而生成停车位置到终点位置的步行AR导航。

示例性地,如图12所示,电子设备显示提示信息B,用于提示用户从推荐列表中选择想要去的目的地。电子设备可以在推荐列表中可以按照预设排列方式显示为用户推荐的目的地。例如,电子设备可以按照用户的历史选择记录,将历史选中次数大于预设阈值的目的地置于列表中,并按照历史选中次数从高到低的顺序显示这些确定的目的地;或者在推荐列表中显示商场中热门地点。可选地,显示提示信息B之后的预设时间段内,电子设备没有检测到用户对提示信息B所在区域的交互操作,可取消提示信息B的显示。之后,响应于用户在目的地推荐列表中的选择操作后对出发控件121的点击操作,电子设备可将用户在目的地推荐列表中的选择的目的地作为确定的终点位置。又如,提示信息B可以为目的地输入提示。如图9中(c)所示的界面,响应于用户在搜索栏中的输入操作,电子设备还可以基于用户输入操作对应的输入内容确定终点位置。示例性的,在用户将车辆停放至停车位后,意图进入商场购物的情况下,电子设备可以基于用户输入的内容“商铺A”,获取该商铺A在该商场中位置作为目的位置。之后,电子设备可调用摄像头,获取用户实时拍摄的实景图像或实景视频流,通过与服务器的交互确定导航路径,并显示AR导航。其中,电子设备确定导航路径并显示AR导航的具体实现过程,可参考上述将停车位置作为终点位置的场景中,电子设备确定导航路径并显示AR导航的实现过程,在此不再赘述。

在一些实施例中,在寻车导航过程中,电子设备将电子设备的当前位置作为起始位置,并把停车位置作为终点位置,可以为用户提供寻车导航服务。之后,电子设备可以在确定用户到达车辆的停车位置或到达车辆的停车位置附近后(即执行检测第四动作),结束寻车导航的过程,并在显示屏中取消停车卡片的显示(即图6中的执行S604)。

例如,电子设备响应于用户操作,显示AR导航的过程中,确定已导航至用户停车位置附近,可停止显示停车卡片。可选地,电子设备还可显示提示信息,以提示用户已到达停车位置,导航结束等。或者,电子设备基于电子设备的当前位姿以及停车位置之间的距离小于预设阈值时,确定用户已到达车辆的停车位置,取消停车卡片的显示。或者,电子设备在确定车辆行驶出停车场对应的地址围栏之后,取消停车卡片的显示。

又例如,电子设备在车辆附近时,与车辆建立通信连接,并接收车辆发送的行车数据。如电子设备接收到表示车辆处于启动状态的行车数据,可取消停车卡片的显示。又如,电子设备接收到表示车辆处于行驶状态的行车数据,且车辆行驶出停车场对应的地址围栏之后,取消停车卡片的显示。

如此,在车辆位于预先确定的地址围栏内且切换为熄火状态后,电子设备可自动触发获取停车位置,从而避免用户记忆停车位置,降低用户寻车难度。

并且,服务器通过预先获取的实景图像或视频流,创建AR地图并生成导航路网,降低AR地图的创建成本,且降低后续车辆导航过程中导航路径的生成难度。

此外,电子设备通过显示停车卡片,帮助用户寻车,降低用户指示生成导航的难度,提升用户的使用体验。

示例性地,图13为本申请提供的寻车导航方法的流程示意图。该方法应用于电子设备。如图13所示,该方法包括如下步骤。

步骤S1301:获取行车数据。

其中,行车数据可以为用于指示车辆的状态的数据,例如包括车辆的行驶状态、车辆的启动状态以及车辆所处的位置等。

在一些实施例中,电子设备可以通过自身传感器获取行车数据,例如,电子设备判断自身移动速度大于或等于速度阈值,可确定车辆处于行驶状态的行车数据。行车数据也可以为电子设备通过与其连接的其他设备获取的,例如,电子设备可与车辆建立通信连接,可接收到车辆发送的车辆的行车数据,如熄火或启动数据、车速、车辆位置等。

步骤S1302:根据行车数据,确定满足第一条件。

其中,第一条件包括车辆状态切换为熄火状态,且车辆位于预设地址围栏内,由此,可以准确的确定车辆在预设地址围栏内(如停车场内)熄火停车的状态。

一些示例中,服务器在创建AR地图的过程中,可创建包括对应于一个或多个场所的AR地图,其中每一场所均对应于一个预设地址围栏,用于指示该场所的地址范围。因此,预设地址围栏的数量为一个或多个,本申请实施例对此不做限制。

比如,服务器可实时获取到电子设备的定位信息,例如电子设备通过GPS技术确定电子设备自身位置,或电子设备通过与车辆的通信连接确定车辆的位置。如服务器确定车辆移动至某预设地址围栏内,可指示电子设备触发寻车导航过程。这样,电子设备在确定车辆状态切换为熄火状态后,可获取服务器确定车辆当前在预设围栏地址内的地址,实现自动获取停车位置,以便于为用户提供后续的导航服务。

步骤S1303:获取目标地址,目标地址为车辆的停车位置地址。

作为一种可能的实现方式,电子设备可以显示第一提示信息,如图8中(a)所示,第一提示信息用于指示用户采集停车位照片。停车位照片的显示内容包括车辆停车位置的编号,电子设备向服务器发送停车位照片。之后,服务器基于停车位照片中指示的车辆停车位置的编号确定出目标地址。例如,服务器中可以存储有各个车辆停车位置的编号对应的具体位置,因此,服务器识别出停车位照片中的车辆停车位置的编号,可对应的找到目标地址,并将目标地址发送给电子设备。

可选地,电子设备可以通过接收用户输入的停车位的车位编号的方式,获取到该停车位的车位编号。

作为一种可能的实现方式,可以利用无线网络数据确定目标地址。如,电子设备可以通过启动无线网络扫描功能进行无线网络扫描,以获取无线网络数据。其中,无线网络数据包括电子设备可以接收到的无线网络的标识以及信号强度,例如,Wi-Fi热点的名称以及Wi-Fi热点的信号强度。接着,电子设备向服务器发送无线网络数据。服务器可以根据预先存储的无线网络布局等信息,以及电子设备发送的无线网络的标识以及信号强度确定目标地址。

作为一种可能的实现方式,可以利用包括车辆的停放环境的车辆照片确定目标地址。电子设备可以先显示第二提示信息,用于指示用户采集包括所述车辆的停放环境的车辆照片,并将车辆照片向服务器发送。服务器可对车辆的停放环境进行识别,并根据车辆的停放环境确定出目标地址。具体地,服务器可以将获取到的实景图像与AR地图进行比对,从而确定车辆的位置。之后,服务器可将确定车辆的位置发送至电子设备,以实现电子设备在停车卡片上显示车辆所处位置。AR地图中包括地下停车场中各个位置拍摄的不同朝向照片,由此,可以基于实景图像与AR地图中包括的照片进行相似度对比,从而确定出车辆的位置。

通过上述实现方式获取目标地址时,电子设备可以通过与服务器进行交互,以实现无感定位、或智能定位,为用户提供更方便的操作体验。

步骤S1304:响应于用户操作,采集第一图像。

在一些实施例中,电子设备根据行车数据,确定满足第一条件,可触发显示停车卡片。例如,确定车辆位于地址围栏内后,基于监测到的车辆行驶状态,确定车辆熄火后,可触发生成相应的停车卡片。其中,停车卡片中包括当前车辆所处位置、停车时长监控、后续用户位置距离停车位置的距离停车费用等信息,用户可通过该停车卡片实现寻车。例如,用户操作包括用户在停车卡片上触发的由用户当前位置导航至目标地址的第一操作、或者用户在停车卡片上触发的由目标地址导航至输入地址的第二操作,输入地址为用户在停车卡片上选择或输入的地址。例如,若用户操作为用户在停车卡片上触发的由用户当前位置导航至目标地址的第一操作,则电子设备可以基于第一操作为用户提供从当前位置到达停车位置的导航服务。若用户操作为用户在停车卡片上触发的由目标地址导航至输入地址的第二操作,输入地址为用户在停车卡片上选择或输入的地址,则电子设备可以基于第二操作为用户提供从当前位置到达任何位置的导航服务。

可选地,电子设备显示停车卡片之后,还可以获取导航数据,并在根据导航数据确定满足第二条件时,停止显示停车卡片。导航数据可以为用户与车辆之间的距离,电子设备的位置数据等。例如,电子设备基于电子设备的当前位姿以及停车位置之间的距离小于预设阈值时,确定用户已到达车辆的停车位置,取消停车卡片的显示。或者,电子设备在确定车辆行驶出停车场对应的地址围栏之后,取消停车卡片的显示。可选地,电子设备还可显示提示信息,以提示用户已到达停车位置,导航结束等。

步骤S1305:基于第一图像,显示对应于目标地址的增强现实AR导航。

在一些实施例中,电子设备根据第一图像确定第一位姿,第一位姿为电子设备在相机坐标系下的位姿。之后,电子设备获取相机坐标系与世界坐标系之间的转换关系,将第一位姿转化为电子设备处于世界坐标系下的当前位姿,并向服务器发送当前位姿以及目标地址。服务器可以基于当前位姿以及目标地址确定AR导航路径信息,AR导航路径信息包括用于指示从当前位姿移动至目标地址的导航标识。最后,电子设备可以显示对应于目标地址的AR导航,AR导航包括标识有导航标识的第一图像。

示例性地,电子设备向服务器发送确定的电子设备的当前位置(即对应于电子设备在世界坐标系下的当前位姿B)以及终点位置(如车辆停车位置)。如图4所示,服务器200通过路径规划模块203从路网生成模块202中获取基于建立好的AR地图生成的导航路网,其中,导航路网包括由可行走的路径。服务器200通过路径规划模块203从导航路网中查找从当前位置到达终点位置的多条可行走路径,并确定路径长度满足预设条件的一条可行走路径为导航路径。之后,服务器200可以将通过路径规划模块203确定出的AR导航路径信息发送给电子设备。AR导航路径信息中包括导航路径以及导航路径中各个位置点的属性,该属性例如包括位置点的坐标、该位置点的前进方向、该位置点对应的虚拟导航标识等。电子设备可以基于AR导航路径信息进行AR导航显示。

其中,电子设备首次将实景图像发送给服务器后,可以确定出相机坐标系与世界坐标系之间的转换关系,以便于电子设备自行计算电子设备在世界坐标系的当前位姿。

之后,电子设备可以按照预设周期向服务器发送实景图像或实景视频流,以重新确定相机坐标系可以按照与世界坐标系之间的转换关系。实现对相机坐标系与世界坐标系之间的转换关系的更新和维护,从而保证相机坐标系与世界坐标系之间的转换关系的准确性。例如,电子设备可以按照预设周期向服务器发送第一图像。服务器根据第一图像以及预先建立好的AR地图确定电子设备在世界坐标系下的第二位姿,之后,电子设备基于第一位姿以及第二位姿,确定相机坐标系与世界坐标系之间的转换关系。

在一些实施例中,电子设备可以直接向服务器发送第一图像以及目标地址。服务器接收电子设备发送的第一图像以及目标地址,并根据第一图像确定的电子设备在世界坐标系下的当前位姿,即目标位姿。之后,基于当前位姿以及目标地址确定AR导航路径信息,AR导航路径信息包括用于指示从当前位姿移动至目标地址的导航标识。可以保证电子设备基于服务器发送的AR导航路径信息显示对应于目标地址的AR导航,AR导航包括标识有导航标识的第一图像。将虚拟信息与真实环境融合为一体,给用户带来更直观,易懂的导航体验。

如图4所示,电子设备100向服务器发送实景图像。相应的,服务器接收到实景图像后,通过VPS模块204基于实景图像或实景视频流以及预先建立好的AR地图,确定电子设备的当前位姿。之后,服务器200还可以直接通过路径规划模块203基于停车位置以及电子设备的当前位姿,规划从当前位姿到达停车位置的AR导航路径信息。电子设备接收服务器发送的AR导航路径信息,并基于AR导航路径信息进行寻车导航显示,为用户提供导航服务。通过上述过程,电子设备通过将实景图像发送给服务器,可接收服务器基于实景图像准确计算的AR导航路径信息,提高了导航服务的准确性。

以上结合图4-图13详细说明了本申请实施例提供的寻车导航方法。以下结合图14详细说明本申请实施例提供的电子设备。

在一种可能的设计中,图14为本申请实施例提供的电子设备的结构示意图。如图14所示,电子设备1400可以包括:显示单元1401、处理单元1402以及收发单元1403。电子设备1400可用于实现上述方法实施例中涉及的电子设备的功能。

可选地,显示单元1401,用于支持电子设备1400显示界面内容;和/或,用于支持电子设备1400执行图6中的S601-S604;还用于支持电子设备1400执行图10中的S1011;还用于支持电子设备1400执行图13中的S1305。

可选地,处理单元1402,用于支持电子设备1400执行图10中的S1003、S1006以及S1007;还用于支持电子设备1400执行图13中的S1302、S1304、以及S1305。

可选地,收发单元1403,用于支持电子设备1400执行图10中的S1001、S1002、S1005、S1008以及S1010;还用于支持电子设备1400执行图13中的S1301和S1303。

其中,收发单元可以包括接收单元和发送单元,可以由收发器或收发器相关电路组件实现,可以为收发器或收发模块。电子设备1400中的各个单元的操作和/或功能分别为了实现上述方法实施例中所述的寻车导航方法的相应流程,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能单元的功能描述,为了简洁,在此不再赘述。

可选地,图14所示的电子设备1400还可以包括存储单元(图14中未示出),该存储单元中存储有程序或指令。当显示单元1401、处理单元1402以及收发单元1403执行该程序或指令时,使得图14所示的电子设备1400可以执行上述方法实施例中所述的寻车导航方法。

图14所示的电子设备1400的技术效果可以参考上述方法实施例中所述的寻车导航方法的技术效果,此处不再赘述。

除了以电子设备1400的形式以外,本申请提供的技术方案也可以为电子设备中的功能单元或者芯片,或者与电子设备匹配使用的装置。

本申请实施例还提供一种计算机可读存储介质,该计算机存储介质包括计算机指令,当计算机指令在上述电子设备上运行时,使得该电子设备执行上述方法实施例中的各个功能或者步骤。

本申请实施例还提供一种计算机程序产品,包括计算机程序,当计算机程序在电子设备上运行时,使得电子设备执行上述方法实施例中的各个功能或者步骤。

通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

相关技术
  • 一种基于扫码定位技术的停车场反向寻车导航系统及方法
  • 一种智能寻车系统、寻车方法及智能汽车
  • 自动讲解实现方法、终端、服务器、系统及电子设备
  • 停车场寻车方法以及停车场寻车装置
  • 寻车的导航方法、系统、电子设备及存储介质
  • 寻车方法、寻车系统、服务器及客户端
技术分类

06120116484359