一种基于同时建图与定位的泊车系统及方法

技术领域

本发明涉及互联网技术领域，具体而言，涉及一种基于同时建图与定位的泊车系统及方法。

背景技术

目前，随着车辆数量的增加，停车也演变成的严重的问题，尤其是城市中的公共场所，如商场等公共场所，周末高峰时期，很多人为了在公共场所寻找车位，要很长的时间。驾驶员并不了解公共场所中的车位使用情况，如是否有空车位、空车位到底在哪里等基本信息，因此就造成了停车难，停车耗时等问题，严重影响了用户的体验，占用的使用者的时间。

现有的泊车管理方式大多都只通过显示屏显示当场停车场车位的剩余情况，并没有车位的位置，占用情况等详细的信息。虽然也有部分公司通过设置在停车场中的摄像头等基本的设备检测停车场的使用情况，并将整个停车场的数据上传到云端，服务商对这些数据进行整合，分发到需要的终端用户APP上。但是这种方案需要对每个具体的停车场进行沟通协调，并需要获得改造的许可与传感数据的许可，这种设施搭建的成本比较高，推广速度也较慢。所以需要提供一种方案以便于在降低设备成本的同时提高泊车的便捷性。

发明内容

本发明的目的在于提供一种基于同时建图与定位的泊车系统及方法，用以实现在降低设备成本的同时提高泊车的便捷性的技术效果。

第一方面，本发明实施例提供了一种基于同时建图与定位的泊车系统，包括云服务器以及与所述云服务器连接的若干个车载终端；所述车载终端包括处理模块；与所述处理模块连接的视觉模块；与所述处理模块连接的数据诊断模块；与所述处理模块连接的惯性导航模块；与所述处理模块连接的显示模块；以及与所述处理模块连接的网络通信模块；所述处理模块用于根据所述视觉模块采集到的图像分析得到当前停车场的车位信息和交通语义信息，并通过所述视觉模块、所述数据诊断模块和所述惯性导航模块在车辆行驶过程中获取到的行驶轨迹构建当前停车场的局部地图，然后通过所述网络通信模块将所述局部地图发送给所述云服务器；所述云服务器用于根据多个所述局部地图构建当前停车场的整体地图并将所述整体地图推送给寻找车位的所述车载终端进行显示。

进一步地，所述泊车系统还包括与所述云服务器连接的手机终端；所述手机终端用于通过摄像头获取当前停车场的车位编号和车位占用信息，并将所述车位编号和车位占用信息发送给所述云服务器；所述云服务器还用于根据所述车位编号和车位占用信息更新已构建的整体地图。

进一步地，所述云服务器还用于获入库车辆的车位占用信息并更新所述整体地图。

进一步地，所述车载终端还包括与所述处理模块连接的激光雷达，所述云服务器还用于根据所述激光雷达的检测数据更新所述整体地图。

进一步地，所述整体地图中的信息至少包括停车场的位置、尺寸、车位数量、车位位置和停车场标识。

进一步地，所述车载终端还包括与所述处理模块连接的语音模块；所述语音模块用于进行语音停车导航。

第二方面，本发明实施例提供了一种基于同时建图与定位的泊车方法，应用于上述的泊车系统，包括：获取任一车辆进入当前停车场停车的过程中视觉模块采集到的图像；根据所述图像分析得到当前停车场的车位信息和交通语义信息，并通过所述视觉模块、所述数据诊断模块和所述惯性导航模块在车辆行驶过程中获取到的行驶轨迹构建当前停车场的局部地图；根据多个所述局部地图构建当前停车场的整体地图并将所述整体地图推送给寻找车位的车载终端进行显示。

进一步地，所述方法还包括：获取手机终端采集到的车位编号和车位占用信息；根据所述车位编号和所述车位占用信息更新所述整体地图。

进一步地，所述方法还包括：获取激光雷达的检测数据并根据所述检测数据更新已构建的整体地图。

本发明能够实现的有益效果是：本发明提供的基于同时建图与定位的泊车系统及方法可以通过驶入停车场的多辆车上的车载终端和云服务器完成各个停车场完整地图的构建，同时能够将构建完毕的地图发送给正在寻找车位的车载终端进行显示，用户能够快速找到附近有停车位的停车场，同时能够知晓停车位的具体位置，更加方便快捷地停车。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种基于同时建图与定位的泊车系统拓扑结构示意图；

图2为本发明实施例提供的一种地图分层结构示意图；

图3为本发明实施例提供的一种基于同时建图与定位的泊车方法流程示意图；

图4为本发明实施例提供的一种停车场整体地图构建过程示意图。

图标：10-泊车系统；100-云服务器；200-车载终端；210-处理模块；220-视觉模块；230-惯性导航模块；240-数据诊断模块；250-显示模块；260-网络通信模块；270-激光雷达；280-语音模块；300-手机终端。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参看图1和图2，图1为本发明实施例提供的一种基于同时建图与定位的泊车系统拓扑结构示意图；图2为本发明实施例提供的一种地图分层结构示意图。

在一种实施方式中，本发明实施例提供的基于同时建图与定位的泊车系统10包括云服务器100以及与云服务器100连接的若干个车载终端200；车载终端200包括处理模块210；与处理模块210连接的视觉模块220；与处理模块210连接的数据诊断模块240；与处理模块210连接的惯性导航模块230；与处理模块210连接的显示模块250；以及与处理模块210连接的网络通信模块260；处理模块210用于根据视觉模块220采集到的图像分析得到当前停车场的车位信息和交通语义信息，并通过视觉模块220、数据诊断模块240和惯性导航模块230在车辆行驶过程中获取到的行驶轨迹构建当前停车场的局部地图，然后通过网络通信模块260将局部地图发送给云服务器100；云服务器100用于根据多个局部地图构建当前停车场的整体地图并将整体地图推送给寻找车位的车载终端200进行显示。

在上述实现过程中，每辆车上均可以安装一个车载终端200，各个车载终端200与云服务器100连接。车载终端200在一个用户驾车进入停车场寻找车位的过程中，通过视觉模块220、惯性导航模块230和数据诊断模块240等获取到的行驶轨迹先构建当前停车场的局部地图并发送给云服务器100，然后云服务器100根据多辆进入该停车场的车辆构建的局部地图进行融合逐渐构建当前停车场的完整地图并发送给正在寻找车位的用户的车载终端200进行显示；同时在构建完整地图的过程中，云服务器100也可以将停车场目前构建完毕的地图发送给正在寻找车位的用户的车载终端200进行显示。显示的地图中至少包括停车场的位置、尺寸、车位数量、车位位置和停车场标识等信息。视觉模块220通过即时定位与地图构建算法(simultaneous localization and mapping，SLAM)获取车辆的行驶轨迹；在构建局部地图时使用图优化算法对视觉模块220获取到的行驶轨迹、惯性导航模块230获取到的行驶轨迹和数据诊断模块240获取到的行驶轨迹进行分析，得到更为准确的局部地图。

进一步地，当寻找车位的用户驾车进入停车场后，云服务器100还可以获取该入库车辆上的车载终端200采集到图像、车辆行驶轨迹、里程信息等，然后根据上述信息和该入库车辆的车位占用信息对停车场的整体地图和整体地图中的车位信息等的进行更新。

在一种实施方式中，车载终端200的视觉模块220可以选用双目摄像头，处理模块210可以选用单片机；双目摄像头采集的图像可以采用BA算法(bundle adjustment，BA)构建多帧姿态之间的约束，惯性导航模块230的数据采用预积分的形式构建两个姿态之间的约束，不同类型帧的时间戳采用线性差值的方法对齐。处理模块210在构建局部地图时可以基于深度学习算法对视觉模块220获取到的图像进行信息提取得到车辆经过区域的车位位置、车位数量、车位占用情况等信息；同时处理模块210还可以对图像中的停车场标识(停车场标识包括车位编号、指向牌等)进行识别得到交通语义信息；然后处理模块210再结合惯性导航模块230获取到的车辆行驶轨迹和数据诊断模块240获取到的里程信息构建当前停车场的局部地图。

具体地，处理模块210通过双目摄像头三角化空间中的特征点，三角化的特征点包括三维坐标和维度的特征描述符号，表示为(x，y，z，D)；其中，x、y、z为三维坐标，D为特征点的特征描述符号。通过跟踪特征点并采用PnP算法对帧与帧的相对位置进行估计，然后将带有位置信息与描述符的点放入地图中作为建图的基础。在识别车位有无车辆时，可以通过深度学习算法提取图像中的车位边框，然后将车位边框向内收缩以识别车位中心区域的特征点，分析该车位有无车辆。

如图2所示，在一种实施方式中，地图采用可以三层的分层结构，包括物理信息层、车位信息层和交通语义层。物理信息层为最底层，描述的是物理信息，以空间可通行与否作为主要的信息，即用(x，y，z)表示的空间中的一个点是否有障碍物存在。物理信息层能粗糙的描述提车场的尺寸与空间布局，方便导航时候使用，物理信息层地图采用图片或八叉树地图描述，除此之外物理信息层保存了地图的关键图片，关键图片通过车载终端200采集，通过这些图片可以构建停车场的图片库，图片库的每个条目为：图片信息、图片对应的位置信息、图片的特征信息等。车位信息层为中间层，是在物理信息层的基础上绘制车位信息；车位信息包含采用车位中心点、车头方向、车位长、车位宽、车位编号、是否是私家车位、是否有车停在车位上等信息。这部分信息采用数据表的形式存放在数据库中。交通语义层为顶层，主要解决的问题是停车场内部道路描述与停车场外部衔接信息，主要记录地面交通标示信息、停车场出入口信息、停车场电梯位置信息、紧急通道信息。这部分信息也采用数据表的形式存放在数据库中。车位信息层和交通语义层的信息均可以通过视觉模块220获取到的图片进行特征提取得到。

在一种实施方式中，车载终端200还包括与处理模块210连接的激光雷达270(例如单线激光雷达270)，云服务器100还用于根据激光雷达270的检测数据更新整体地图。通过设置的激光雷达270，可以在纹理较少，或者光线较差环境下进行辅助建图，提高了系统的可靠性，同时通过激光雷达270获取到的测距数据也可以提高地图的精度。

在一种实施方式中，泊车系统10还包括与云服务器100连接的手机终端300；手机终端300用于通过摄像头获取当前停车场的车位编号和车位占用信息，并将车位编号和车位占用信息发送给云服务器100；云服务器100还用于根据车位编号和车位占用信息更新已构建的整体地图。

在上述实现过程中，用户可以通过手机终端300中设置的APP软件与云服务器100建立连接。手机终端300从云服务器100获得已经加载构建的停车场地图后，云服务器100可以通过手机终端300的摄像头获取到的图片提取特征点，采用词袋算法(Bag of Word，BoW)或VLAD方法对停车场地图进行检索，检索到停车场地图中的一些场景后采用PnP(Perspectiven Point)算法进行详细定位并发送给手机终端300；手机终端300有了定位信息，也可以获得周围静态的车位信息。通过在线的检测更新地图中的车位情况，然后上传到云服务器100更新地图的动态。

在一种实施方式中，车载终端200还包括与处理模块210连接的语音模块280；语音模块280用于进行语音停车导航。当用户需要寻找车位时，可以从云服务器100获取附近停车场位置和地图，然后语音模块280可以根据用户选择的停车场进行语音导航。

请参看图3和图4，图3为本发明实施例提供的一种基于同时建图与定位的泊车方法流程示意图；图4为本发明实施例提供的一种停车场整体地图构建过程示意图。

在一种实施方式中，本发明实施例还提供了一种基于同时建图与定位的泊车方法，其具体流程如下所述。

步骤S101，获取任一车辆进入当前停车场停车的过程中视觉模块采集到的图像。

步骤S102，根据所述图像分析得到当前停车场的车位信息和交通语义信息，并通过所述视觉模块、所述数据诊断模块和所述惯性导航模块在车辆行驶过程中获取到的行驶轨迹构建当前停车场的局部地图。

步骤S103，根据多个所述局部地图构建当前停车场的整体地图并将所述整体地图推送给寻找车位的车载终端进行显示。

如图4所示，云服务器通过多辆车上的车载终端获取到的停车场的局部地图就可以逐渐获取到停车场的完整地图，提高了停车场地图构建的便捷性。

当车辆驶入当前停车场时，处理模块可以先获取视觉模块采集到的图像；然后根据获取到的图像分析得到当前停车场的车位信息和交通语义信息，再结合惯性导航模块获取到的车辆行驶轨迹和数据诊断模块获取到的里程信息构建当前停车场的局部地图并发送给云服务器；最后云服务器采用深度学习算法根据多个进入当前停车场的车辆构建的局部地图进行融合逐渐得到当前停车场的整体地图，并将该整体地图发送给后续寻找车位的车辆上的车载终端。

进一步地，上述方法还包括获取手机终端采集到的车位编号和车位占用信息；根据车位编号和车位占用信息更新已构建的整体地图。

在上述实现过程中，用户也可以通过手机终端获取的车位编号和车位占用信息更新当前停车场以构建的整体地图。具体地，手机终端进入当前停车场前可以从云服务器先获取当前停车场已搭建完成的地图，当车辆进入当前停车场后，手机终端可以通过手机终端的摄像头获取到的图片提取特征点，采用词袋算法(Bag of Word，BoW)或局部聚合向量法(Vector of locally aggregated descriptors,VLAD)对停车场地图进行检索，检索到停车场地图中的一些场景后采用PnP算法进行详细定位并发送给手机终端；手机终端有了定位信息，也可以获得周围静态的车位信息。通过在线的检测更新地图中的车位情况，然后上传到云服务器更新地图的动态。

进一步地，云服务器还可以获取激光雷达的检测数据并根据检测数据更新整体地图。通过获取的检测数据可以提高地图的精度，同时也可以在纹理较少，或者光线较差环境下进行辅助建图，提高了系统的可靠性。

综上所述，本发明实施例提供一种基于同时建图与定位的泊车系统及方法，包括云服务器以及与云服务器连接的若干个车载终端；车载终端包括处理模块；与处理模块连接的视觉模块；与处理模块连接的数据诊断模块；与处理模块连接的惯性导航模块；与处理模块连接的显示模块；以及与处理模块连接的网络通信模块；处理模块用于根据视觉模块采集到的图像分析得到当前停车场的车位信息和交通语义信息，并通过视觉模块、数据诊断模块和惯性导航模块在车辆行驶过程中获取到的行驶轨迹构建当前停车场的局部地图，然后通过网络通信模块将局部地图发送给云服务器；云服务器用于根据多个局部地图构建当前停车场的整体地图并将整体地图推送给寻找车位的车载终端进行显示，从而提高了用户停车的便捷性。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。