无人机数据中的车道线形点串提取方法及系统

技术领域

本发明涉及道路标志提取领域，更具体地，涉及一种无人机数据中的车道线形点串提取方法及系统。

背景技术

无人机航测系统是传统测量技术的有力补充，具有机动灵活，高效快速，精细准确，作业成本低，适用范围广，生产周期短等特点。目前国内无人机航测遥感技术在测绘行业有很大推广应用，主要用于DOM及DEM的快速生产以及中小比例尺地形图生产方面，但在大比例尺地图生产上还比较少。无人机航测完成后，首先外业进行像片控制测量，其次，内业依据控制测量成果进行加密，立体测图，最后外业依据内业测绘成果完成外业补测，调绘，根据外业补测调绘完成最终成果的编辑，成果整理提交等。但由于现阶段，用传统的图像处理方式对无人机数据中车道线的提取效率比较慢且精度不高，该数据的清晰度较低。

发明内容

为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的无人机数据中的车道线形点串提取方法及系统。

根据本发明实施例的第一方面，提供一种无人机数据中的车道线形点串提取方法，该方法包括：获取待提取的识别图片，使用预先训练好的提取模型对所述识别图片进行推理，获得模型预测结果；其中，所述提取模型是预先采用已标注的车道线图片和对应的已标注的车道线语义类别信息完成模型训练后获得的；根据所述模型预测结果获得形点串，所述形点串用于表征所述识别图片中的车道线形状信息。

优选的，所述模型预测结果包括目标个数、目标class_id、目标scores、目标rois和目标masks；

根据所述模型预测结果获得形点串，包括：

提取masks结果图，并根据所述masks结果图，获取单个目标的连通域；

基于提取的所述连通域的轮廓坐标值，计算所述连通域的面积；

将面积小于预设值的所述连通域过滤掉，以保留面积较大的所述连通域；

提取所述连通域的轮廓中的凹凸点作为车道线的形点，多个所述形点形成所述形点串。

优选的，所述获取待提取的识别图片，包括：

连接融合组服务端，并使用握手机制确立连接；

监听融合组的发送的消息，若判断所述消息合规，则在下载进程队列中加入目标图像的路径地址；

通过http的方式下载指定路径下的所述识别图片文件到本地。

优选的，根据所述模型预测结果获得形点串之后，还包括：

下载其他的所述识别图片以执行模型预测结果推理的流程。

优选的，所述使用预先训练好的提取模型对所述识别图片进行推理之前，还包括：

获取多张所述已标注的车道线图片，对所述已标注的车道线图片进行增广处理；

对增广后的图片进行尺寸调整以满足模型训练的尺寸要求。

优选的，所述增广处理包括增加遮挡噪声、黑白椒盐噪声和高斯滤波中的至少一种；所述尺寸调整方式为双线性插值。

优选的，所述模型训练采用的模型为编码器resnet+dlinknet对数据的训练，resnet选择34层的包含卷积层和全连接层的网络层；训练的主要参数为batch_size＝4，decay_rate＝0.1，epoch＝80000，训练的类别设置为2，验证集的主要参数为：batch_size＝4。

根据本发明实施例第二方面，提供了一种无人机数据中的车道线形点串提取系统，该系统包括：推理模块，用于获取待提取的识别图片，使用预先训练好的提取模型对所述识别图片进行推理，获得模型预测结果；其中，所述提取模型是预先采用已标注的车道线图片和对应的已标注的车道线语义类别信息完成模型训练后获得的；形点模块，用于根据所述模型预测结果获得形点串，所述形点串用于表征所述识别图片中的车道线形状信息。

根据本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的车道线形点串提取方法。

根据本发明实施例的第四方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的车道线形点串提取方法。

本发明实施例提供的车道线形点串提取方法至少具有如下有益效果：几何提取精度变高；由于增加了人工智能技术，可对无人机图像中，几何结构比较细的车道线的轮廓进行高精度提取，其精度总体要高于传统的方法；可快速对车道线的属性进行判断；可以针对所提取车道线的状态来判断它的属性，包括，实线，虚线等；可快速对车道线的形点串数据进行提取，从而对车道线数据进行有效的压缩；为了压缩车道线信息，可将车道线的形状用形点串来表示，这些形点串基本能代表车道线的形状信息。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明实施例提供的无人机数据中的车道线形点串提取方法的流程示意图；

图2为本发明实施例提供的图像车道线推理过程示意图；

图3为本发明实施例提供的图像车道线检测与分割整体流程图；

图4为本发明实施例提供的无人机数据中的车道线形点串提取系统的结构示意图；

图5为本发明实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于现阶段人工智能的高速发展，将人工智能技术用于无人机制图成为了可能，对无人机测绘数据中的交通印刷要素进行高效提取，也是人工智能技术应用的一个比较好的方向。本发明实施例提出了一种基于无人机测绘数据的车道线轮廓提取技术，该技术可以加速提取交通要素的几何信息，并对基于传统测量技术提取交通要素几何信息的补充。

1、可解决基于传统方法无人机数据中车道线不易提取的问题；利用人工智能的优势方法自动化提取无人机数据中的车道线等要素。

2、可解决传统图像处理方法提取无人机车道线的轮廓精度较低的问题；可高精度的提取无人机车道线的边缘信息。

3、可解决传统图像处理方法对对车道线轮廓提取较差的问题；由于对车道线形状的描述可用关键点来体现，利用本发明可实现对车道线轮廓点高精度的提取，降低车道线几何结构的冗余信息。

为了实现上述目的，本发明实施例采用如下技术方案：

由于车道线在无人机数据中表现为细长，同时车道线存在残缺或被遮挡的现象，现有的基于传统的车道线检测算法，检测速度不高，不能完成对车道线有效信息的提取。基于以上提到的缺陷，本发明实施例在实际的运用过程中可解决相关问题。

本发明实施例提供一种无人机数据中的车道线形点串提取方法，参见附图1，该方法包括但不限于如下步骤：

步骤101、获取待提取的识别图片，使用预先训练好的提取模型对所述识别图片进行推理，获得模型预测结果；其中，所述提取模型是预先采用已标注的车道线图片和对应的已标注的车道线语义类别信息完成模型训练后获得的；

步骤102、根据所述模型预测结果获得形点串，所述形点串用于表征所述识别图片中的车道线形状信息。

具体地，无人机数据中的车道线由于高空距离原因，车道线十分细长，目标与背景之间的区分度不够高，所以需要设计一个能检测细小目标的深度学习网络，能对细长小目标进行精确分割。

其中，作为一种可选实施例，所述模型预测结果包括目标个数、目标class_id、目标scores、目标rois和目标masks；根据所述模型预测结果获得形点串，包括：提取masks结果图，并根据所述masks结果图，获取单个目标的连通域；基于提取的所述连通域的轮廓坐标值，计算所述连通域的面积；将面积小于预设值的所述连通域过滤掉，以保留面积较大的所述连通域；提取所述连通域的轮廓中的凹凸点作为车道线的形点，多个所述形点形成所述形点串。

具体地，参见附图2，为图像车道线检测与分割流程图，分割流程具体可包括如下步骤：

步骤1、训练阶段，得到标注好的车道线图片以及对应的标注信息文件，训练车道线网络模型。

步骤2、推理阶段，其进一步包括如下步骤(1)-(5)；

(1)加载深度学习相关分割网络的model，以及已经训练好的模型参数。

(2)获取文件路径，读取文件路径下的图片。

(3)对单个图片进行推理，得到模型预测结果。

(4)判断单个图片的推理结果是否为空，空则继续步骤(3)；不为空，则获取单个图片推理的目标个数，目标class_id，目标scores，目标rois，目标masks。

(5)对单张图片预测的每一个目标，提取其masks结果图，通过findContours获取单个目标的连通域。然后ReadContouers提取连通域的轮廓坐标值，并根据contourArea计算连通域的面积，将面积较小的连通域过滤掉，保留面积较大的连通域。然后采用approxPolyDP提取连通域轮廓中的凹凸点，即为目标的形点，保存单个目标形点类别信息。

(6)重复步骤(3)、(4)、(5)直到指定路径下所有的图片全部处理完成。

其中，作为一种可选实施例，所述获取待提取的识别图片，包括：连接融合组服务端，并使用握手机制确立连接；监听融合组的发送的消息，若判断所述消息合规，则在下载进程队列中加入目标图像的路径地址；通过http的方式下载指定路径下的所述识别图片文件到本地。

其中，作为一种可选实施例，，根据所述模型预测结果获得形点串之后，还包括：下载其他的所述识别图片以执行模型预测结果推理的流程。

具体地，参见附图3，图像车道线检测与分割流整体程主要分为5个部分：建立连接、监听信息、下载图片、图片处理、错误日志。

(1)握手确定连接：连接融合组服务端，使用握手机制确立连接

(2)监听进程：监听融合组的发送的消息，并判断当前工作的状态。若忙碌，则退回消息；若空闲，则继续判断消息是否合规。消息合规的条件在，则下载进程队列中加入目标图像的路径地址。

(3)下载进程：判断下载进程队列是否为空，不为空则建立http连接，以http的方式下载指定路径下的图片文件到本地，并一直循环。

(4)图像处理进程：获取本地已下载的图片，使用已训练的模型，对每一张图片进行推理，获取图片中车道线的推理信息，并写入数据库，同时跟新状态，循环处理。

(5)错误队列：记录程序错误，用于复位程序。

其中，作为一种可选实施例，所述使用预先训练好的提取模型对所述识别图片进行推理之前，还包括：获取多张所述已标注的车道线图片，对所述已标注的车道线图片进行增广处理；对增广后的图片进行尺寸调整以满足模型训练的尺寸要求。

其中，作为一种可选实施例，所述增广处理包括增加遮挡噪声、黑白椒盐噪声和高斯滤波中的至少一种；所述尺寸调整方式为双线性插值。其中，作为一种可选实施例，所述模型训练采用的模型为编码器resnet+dlinknet对数据的训练，resnet选择34层的包含卷积层和全连接层的网络层；训练的主要参数为batch_size＝4，decay_rate＝0.1，epoch＝80000，训练的类别设置为2，验证集的主要参数为：batch_size＝4。

具体地，模型训练具体可包括如下流程：

首先是训练样本的准备流程S11-S14；

S11：准备n张已经对车道线标注了的图片；

S12：对n张图片进行增广，增广方式包括：增加遮挡噪声，黑白椒盐噪声，高斯滤波。使原始的训练数据达到4n。

S13：获取图像并对图像进行预处理，resize大小，满足训练要求。

S14：resize方法采用双线性插值方法，resize的长宽比例为1:2。

然后是准备好样本的训练过程：

S21：将编码器即resnet+dlinknet用于对数据的训练，resnet选择34层的网络层(包含卷积层和全连接层)

S22：训练的主要参数为batch_size＝4，decay_rate＝0.1，epoch＝80000，训练的类别设置为2，验证集的主要参数为：batch_size＝4。

S23：dlinknet网络下采样为不同尺度的信息特征。

S31：分割式译码单元输出的是二值化分割信息。

S32：将s31的二值化数据经过连通域的计算，可获取最优的连通域信息，然后计算连通域的周长，通过该周长完成多边形拟合算法的处理，可实现对车道线关键点的提取。

综上所述，本发明实施例提供的车道线形点串提取方法至少具有如下有益效果：

1、几何提取精度变高；

由于增加了人工智能技术，可对无人机图像中，几何结构比较细的车道线的轮廓进行高精度提取，其精度总体要高于传统的方法；

2、可快速对车道线的属性进行判断；

可以针对所提取车道线的状态来判断它的属性，包括，实线，虚线等；

3、可快速对车道线的形点串数据进行提取，从而对车道线数据进行有效的压缩；

为了压缩车道线信息，可将车道线的形状用形点串来表示，这些形点串基本能代表车道线的形状信息。

基于上述实施例的内容，本发明实施例提供了一种无人机数据中的车道线形点串提取系统，该车道线形点串提取系统用于执行上述方法实施例中的车道线形点串提取方法。参见图4，该系统包括：推理模块401，用于获取待提取的识别图片，使用预先训练好的提取模型对所述识别图片进行推理，获得模型预测结果；其中，所述提取模型是预先采用已标注的车道线图片和对应的已标注的车道线语义类别信息完成模型训练后获得的；形点模块402，用于根据所述模型预测结果获得形点串，所述形点串用于表征所述识别图片中的车道线形状信息。

本发明实施例提供了一种电子设备，如图5所示，该设备包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503上并可在处理器501上运行的计算机程序，以执行上述各实施例提供的车道线形点串提取方法，例如包括：获取待提取的识别图片，使用预先训练好的提取模型对所述识别图片进行推理，获得模型预测结果；其中，所述提取模型是预先采用已标注的车道线图片和对应的已标注的车道线语义类别信息完成模型训练后获得的；根据所述模型预测结果获得形点串，所述形点串用于表征所述识别图片中的车道线形状信息。

此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的车道线形点串提取方法，例如包括：获取待提取的识别图片，使用预先训练好的提取模型对所述识别图片进行推理，获得模型预测结果；其中，所述提取模型是预先采用已标注的车道线图片和对应的已标注的车道线语义类别信息完成模型训练后获得的；根据所述模型预测结果获得形点串，所述形点串用于表征所述识别图片中的车道线形状信息。

以上所描述的电子设备等实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。