一种基于智能网联汽车的高精度动态地图生成与应用方法及系统

技术领域

本发明涉及地图生成的技术领域，尤其涉及一种基于智能网联汽车的高精度动态地图生成与应用方法及系统。

背景技术

随着科学技术的快速发展，汽车技术正朝向电动化、智能化、网联化、共享化发展方向快速迈进，相关技术领域包括电驱动、线控底盘、集成控制、自动驾驶、环境传感、无线通信等。汽车逐渐形成了智能汽车网，如何利用智能汽车网实现汽车行驶动态地图生成，成为当前研究领域的热门话题。

现有的动态地图生成算法中，常采用单纯的去除环境先验动态物体轮廓的方法来得到相对稳定的图像特征，而事实证明，仅仅通过实例分割方法去除的动态物体轮廓，往往由于识别网络的波动性以及非先验动态物体的可移动性而使得建图结果并不理想。

鉴于此，如何对结合视觉特征和语义特征，实现更为稳定的高精度动态地图生成，成为本领域技术人员亟待解决的问题。

发明内容

本发明提供一种基于智能网联汽车的高精度动态地图生成与应用方法，通过利用特征提取算法对智能网联汽车实时采集的二维图像进行处理，得到二维图像视觉特征，并利用语义特征提取算法对二维图像视觉特征进行处理，得到图像的语义特征；利用点云地图描述三维地图场景，从而基于图像的视觉特征和语义特征生成高精度动态地图。

为实现上述目的，本发明提供的一种基于智能网联汽车的高精度动态地图生成与应用方法，包括：

汽车在行驶过程中利用车载摄像头拍摄若干连续的图像，并将拍摄的图像上传到汽车智能网中，汽车智能网对所接收的图像进行图像灰度化和灰度拉伸的预处理；

利用特征提取算法对预处理后的图像进行特征提取处理，得到图像视觉特征；

利用语义特征提取算法对图像视觉特征进行处理，得到图像的语义特征；

初始化点云地图场景，并利用基于视觉特征和语义特征的三维地图生成算法生成三维动态地图；

对生成的三维动态地图进行精度调优处理，生成高精度动态地图，并将所生成的高精度动态地图上传到汽车智能网。

可选地，所述汽车智能网对所接收的图像进行图像灰度化和灰度拉伸的预处理，包括：

汽车在行驶过程中利用车载摄像头拍摄若干连续的图像，并将拍摄的图像上传到汽车智能网中；所述汽车智能网根据汽车的行驶轨迹，将行驶轨迹有关联的汽车所发布的图像进行拼接；

1)对所接收的图像中每一个像素的三个分量求最大值，并将该最大值设置为该像素点的灰度值，得到图像的灰度图，所述灰度化处理的公式为：

G(i,j)＝max{R(i,j),G(i,j),B(i,j)}

其中：

(i,j)为图像中的一个像素点；

R(i,j),G(i,j),B(i,j)分别为像素点(i,j)在R、G、B三个颜色通道中的值；

G(i,j)为像素点(i,j)的灰度值；

2)对于所述灰度图，利用分段线性变换的方式对图像灰度进行拉伸，所述灰度拉伸的公式为：

其中：

f(x,y)为灰度图；

MAX

可选地，所述利用特征提取算法对预处理后的图像进行特征提取处理，包括：

1)利用预设定的阈值t将灰度范围[0,L-1]的图像划分为S

2)计算S

其中：

P

3)将每幅图像的熵记为H

t＝β(H

其中：

β为自适应系数，将其设置为0.2，根据实验结果，若β＝0.2，能够分割提取出更为明显的特征点；

4)根据计算得到的自适应阈值，提取图像的FAST特征点，并将图像的FAST特征点作为图像的视觉特征。

可选地，所述利用语义特征提取算法对图像视觉特征进行处理，包括：

1)训练得到Tiny-YOLO权重模型；在本发明一个具体实施例中，模型的训练集为MS-COCO数据集；

2)在训练得到的Tiny-YOLO权重模型后添加条件随机场：

其中：

x表示语义目标类别的随机变量；

Z为归一化因子；

P(x

f

μ(x

w

所述条件随机场能够融合目标分类器检测出的分类信息

3)将图像视觉特征输入到Tiny-YOLO权重模型，利用条件随机场输出检测到的语义特征。

可选地，所述利用基于视觉特征和语义特征的三维地图生成算法生成三维动态地图，包括：

1)计算点云空间各个维度的方差，选择具有最大方差最大维度k；

2)提取维度k上的中值进行集合划分，并构造超平面C；

3)根据摄像头获取的信息，定义场景的最大的尺寸，由此来建立根节点，并根据语义特征确定生成的物体类别，同时根据视觉特征确定物体所存在的树节点；

4)实时计算节点与语义关联事件的概率p/(1-p)，其对数为：

令Z

L(n|Z

其中：

p

当反复观察到节点被占用时，节点的对数优势得分将增加，否则降低。式中，p

5)根据节点与语义关联事件的关联关系，依次将语义特征所对应的语义关联事件在对应的节点位置生成；最终生成的立方体节点即为三维动态地图。

可选地，所述对生成的三维动态地图进行精度调优处理，包括：

所述节点位置的更新模型为：

其中：

M表示更新前的节点位置；

w表示权重；

采用图优化的方法计算

此外，为实现上述目的，本发明还提供一种高精度动态地图生成与应用系统，所述系统包括：

图像数据获取装置，用于汽车在行驶过程中利用车载摄像头拍摄若干连续的图像，并将拍摄的图像上传到汽车智能网中；

数据处理器，用于汽车智能网对所接收的图像进行图像灰度化和灰度拉伸的预处理，利用特征提取算法对预处理后的图像进行特征提取处理，利用语义特征提取算法对图像视觉特征进行处理；

地图生成装置，用于初始化点云地图场景，并利用基于视觉特征和语义特征的三维地图生成算法生成三维动态地图,对生成的三维动态地图进行精度调优处理，生成高精度动态地图，并将所生成的高精度动态地图上传到汽车智能网。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有高精度动态地图生成程序指令，所述高精度动态地图生成程序指令可被一个或者多个处理器执行，以实现如上所述的基于智能网联汽车的高精度动态地图生成与应用的实现方法的步骤。

相对于现有技术，本发明提出一种基于智能网联汽车的高精度动态地图生成与应用方法，该技术具有以下优势：

首先，本发明提出一种视觉特征提取算法，由于在传统FAST特征点提取过程中，当光照或环境改变时，会易造成特征点数量急剧减少，从而无法提取到有效特征，因此本发明首先利用预设定的阈值t将灰度范围[0,L-1]的图像划分为S

其中：P

t＝β(H

其中：β为自适应系数；根据计算得到的自适应阈值，提取图像的FAST特征点，并将图像的FAST特征点作为图像的视觉特征。通过自适应阈值的方法，可以得到适应不同环境条件的最佳阈值，在不同环境均能提取到有效的视觉特征，有助于后续动态地图的准确生成。

同时，本发明提出一种地图生成方法，通过初始化若干点云数据，生成点云地图场景；并利用基于视觉特征和语义特征的三维地图生成算法生成三维地图，所述基于视觉特征和语义特征的三维地图生成算法流程为：计算点云空间各个维度的方差，选择具有最大方差最大维度k；提取维度k上的中值进行集合划分，并构造超平面C；根据摄像头获取的信息，定义场景的最大的尺寸，由此来建立根节点，并根据语义特征确定生成的物体类别，同时根据视觉特征确定物体所存在的树节点；实时计算节点与语义关联事件的概率p/(1-p)，其对数为：

令Z

L(n|Z

其中：p

附图说明

图1为本发明一实施例提供的一种基于智能网联汽车的高精度动态地图生成与应用方法的流程示意图；

图2为本发明一实施例提供的一种高精度动态地图生成与应用系统的结构示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

通过利用特征提取算法对智能网联汽车实时采集的二维图像进行处理，得到二维图像视觉特征，并利用语义特征提取算法对二维图像视觉特征进行处理，得到图像的语义特征；利用点云地图描述三维地图场景，从而基于图像的视觉特征和语义特征生成高精度动态地图。参照图1所示，为本发明一实施例提供的基于智能网联汽车的高精度动态地图生成与应用方法示意图。

在本实施例中，基于智能网联汽车的高精度动态地图生成与应用方法包括：

S1、汽车在行驶过程中利用车载摄像头拍摄若干连续的图像，并将拍摄的图像上传到汽车智能网中；汽车智能网对所接收的图像进行图像灰度化和灰度拉伸的预处理。

首先，汽车在行驶过程中利用车载摄像头拍摄若干连续的图像，并将拍摄的图像上传到汽车智能网中；所述汽车智能网根据汽车的行驶轨迹，将行驶轨迹有关联的汽车所发布的图像进行拼接；

进一步地，所述汽车智能网对所接收的图像进行图像灰度化和灰度拉伸的预处理，所述预处理流程为：

1)对所接收的图像中每一个像素的三个分量求最大值，并将该最大值设置为该像素点的灰度值，得到图像的灰度图，所述灰度化处理的公式为：

G(i,j)＝max{R(i,j),G(i,j),B(i,j)}

其中：

(i,j)为图像中的一个像素点；

R(i,j),G(i,j),B(i,j)分别为像素点(i,j)在R、G、B三个颜色通道中的值；

G(i,j)为像素点(i,j)的灰度值；

2)对于所述灰度图，利用分段线性变换的方式对图像灰度进行拉伸，所述灰度拉伸的公式为：

其中：

f(x,y)为灰度图；

MAX

S2、利用特征提取算法对预处理后的图像进行特征提取处理，得到图像视觉特征。

进一步地，本发明利用特征提取算法对预处理后的图像进行特征提取处理，得到图像的视觉特征，所述预处理流程为：

1)利用预设定的阈值t将灰度范围[0,L-1]的图像划分为S

2)计算S

其中：

P

3)将每幅图像的熵记为H

t＝β(H

其中：

β为自适应系数，将其设置为0.2，根据实验结果，若β＝0.2，能够分割提取出更为明显的特征点；

4)根据计算得到的自适应阈值，提取图像的FAST特征点，并将图像的FAST特征点作为图像的视觉特征。

S3、利用语义特征提取算法对图像视觉特征进行处理，得到图像的语义特征。

进一步地，本发明利用语义特征提取算法对图像视觉特征进行处理，所述语义特征提取算法流程为：

1)训练得到Tiny-YOLO权重模型；在本发明一个具体实施例中，模型的训练集为MS-COCO数据集；

2)在训练得到的Tiny-YOLO权重模型后添加条件随机场：

其中：

x表示语义目标类别的随机变量；

Z为归一化因子；

P(x

f

μ(x

w

所述条件随机场能够融合目标分类器检测出的分类信息

3)将图像视觉特征输入到Tiny-YOLO权重模型，利用条件随机场输出检测到的语义特征。

S4、初始化点云地图场景，并利用基于视觉特征和语义特征的三维地图生成算法生成三维动态地图。

进一步地，本发明通过初始化若干点云数据，生成点云地图场景；并利用基于视觉特征和语义特征的三维地图生成算法生成三维地图，所述基于视觉特征和语义特征的三维地图生成算法流程为：

1)计算点云空间各个维度的方差，选择具有最大方差最大维度k；

2)提取维度k上的中值进行集合划分，并构造超平面C；

3)根据摄像头获取的信息，定义场景的最大的尺寸，由此来建立根节点，并根据语义特征确定生成的物体类别，同时根据视觉特征确定物体所存在的树节点；

4)实时计算节点与语义关联事件的概率p/(1-p)，其对数为：

令Z

L(n|Z

其中：

p

当反复观察到节点被占用时，节点的对数优势得分将增加，否则降低。式中，p

5)根据节点与语义关联事件的关联关系，依次将语义特征所对应的语义关联事件在对应的节点位置生成；最终生成的立方体节点即为三维动态地图。

S5、对生成的三维动态地图进行精度调优处理，生成高精度动态地图，并将所生成的高精度动态地图上传到汽车智能网。

进一步地，本发明对对生成的三维动态地图进行精度调优处理，生成高精度动态地图，所述三维动态地图的精度调优流程为：

所述节点位置的更新模型为：

其中：

M表示更新前的节点位置；

w表示权重；

采用图优化的方法计算

下面通过一个算法实验来说明本发明的具体实施方式，并对发明的处理方法进行测试。本发明算法的硬件测试环境为：Inter(R)Core(TM)i7-6700K CPU，软件为Matlab2018a；对比方法为基于CNN的地图生成方法以及基于GAN的地图生成方法。

在本发明所述算法实验中，数据集为10G的汽车拍摄的时序图像。本实验通过将汽车拍摄的时序图像输入到算法模型中，将地图生成的准确率作为算法可行性的评价指标，其中地图生成的准确率越高，则说明算法的有效性、可行性越高。

根据实验结果，基于CNN的地图生成方法的地图生成准确率为75.11％，基于GAN的地图生成方法的地图生成准确率为83.78％，本发明所述方法的地图生成准确率为88.66％，相较于对比算法，本发明所提出的基于智能网联汽车的高精度动态地图生成与应用方法能够实现更高的地图生成准确率。

发明还提供一种高精度动态地图生成与应用系统。参照图2所示，为本发明一实施例提供的高精度动态地图生成与应用系统的内部结构示意图。

在本实施例中，所述高精度动态地图生成与应用系统1至少包括图像数据获取装置11、数据处理器12、地图生成装置13，通信总线14，以及网络接口15。

其中，图像数据获取装置11可以是PC(Personal Computer，个人电脑)，或者是智能手机、平板电脑、便携计算机等终端设备，也可以是一种服务器等。

数据处理器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。数据处理器12在一些实施例中可以是高精度动态地图生成与应用系统1的内部存储单元，例如该高精度动态地图生成与应用系统1的硬盘。数据处理器12在另一些实施例中也可以是高精度动态地图生成与应用系统1的外部存储设备，例如高精度动态地图生成与应用系统1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，数据处理器12还可以既包括高精度动态地图生成与应用系统1的内部存储单元也包括外部存储设备。数据处理器12不仅可以用于存储安装于高精度动态地图生成与应用系统1的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。

地图生成装置13在一些实施例中可以是一中央处理器(Central ProcessingUnit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行数据处理器12中存储的程序代码或处理数据，例如高精度动态地图生成程序指令16等。

通信总线14用于实现这些组件之间的连接通信。

网络接口15可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该系统1与其他电子设备之间建立通信连接。

可选地，高精度动态地图生成与应用系统1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在高精度动态地图生成与应用系统1中处理的信息以及用于显示可视化的用户界面。

图2仅示出了具有组件11-15以及高精度动态地图生成与应用系统1，本领域技术人员可以理解的是，图1示出的结构并不构成对高精度动态地图生成与应用系统1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

在图2所示的高精度动态地图生成与应用系统1实施例中，数据处理器12中存储有高精度动态地图生成程序指令16；地图生成装置13执行数据处理器12中存储的高精度动态地图生成程序指令16的步骤，与基于智能网联汽车的高精度动态地图生成与应用方法的实现方法相同，在此不作类述。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有高精度动态地图生成程序指令，所述高精度动态地图生成程序指令可被一个或多个处理器执行，以实现如下操作：

汽车在行驶过程中利用车载摄像头拍摄若干连续的图像，并将拍摄的图像上传到汽车智能网中，汽车智能网对所接收的图像进行图像灰度化和灰度拉伸的预处理；

利用特征提取算法对预处理后的图像进行特征提取处理，得到图像视觉特征；

利用语义特征提取算法对图像视觉特征进行处理，得到图像的语义特征；

初始化点云地图场景，并利用基于视觉特征和语义特征的三维地图生成算法生成三维动态地图；

对生成的三维动态地图进行精度调优处理，生成高精度动态地图，并将所生成的高精度动态地图上传到汽车智能网。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。