基于深度学习车辙线识别的巡线返回导航方法

技术领域

本发明涉及无人车巡视返回导航领域，尤其涉及一种基于深度学习图像车辙线识别的无人车巡线返回导航方法。

背景技术

野外相对定位信息对于无人探测车在探实施过程中实现自动导航定位及远程遥操作具有重要作用。而在沙漠表面覆盖有一层松散的沙壤，沙壤主要由松散的粉末状细微颗粒组成，且几乎整个沙漠表面都覆盖着厚度不等的沙壤层，沙壤平均厚度4～5m，高地区平均厚10～20m，无规律的分布着大小形态不同的坑、岩石和斜坡，因此通过性较差，容易导致沙漠表面车车轮深陷其中，并且造成严重打滑，地表普通轮式里程计在沙漠表面环境严重失效。所以亟需一种方法可以保证沙漠表面车在行进过程中，可以实现较为准确的相对定位。视觉SLAM点特征使用最为广泛，在特征提取、匹配都比较成熟。单一点特征对于环境依赖较大，在纹理缺失等场景中表现不佳；而沙漠表面环境下沙漠表面车行驶之后存在“车辙”，车辙线是一个良好的线特征。故点特征与线特征相结合可以实现较好的特征互补。通过在沙漠表面车后端搭载双目相机，检测沙漠表面车行进过程中的车辙信息，可以通过视觉检测的方法实现沙漠表面车行进里程相对准确的计算，从而实现沙漠表面车相对定位。

完成巡检任务后，无人车也可以沿车辙线返航。由于车辙线的实际分布较复杂，在有些地区，车辙线信息未被精确的绘入导航地图，依靠GPS信息很难实现精确的导航，难以保证摄像头拍摄到清晰的车辙线及其附件；同时，一些地区的GPS信息比较弱，有时还可能丢失信号的情况，因此，单靠GPS导航的可靠性不高。而基于视觉的沿车辙线行进导航是依靠准确识别车辙线为基础的，因此比GPS导航更加可靠和准确。

因此，识别车辙线是基于图像的无人车巡线自主导航中的一项必不可少的任务。如果无人车可以识别车辙线的位置及朝向，就可以根据这些信息实时调整自身的行进方向和位置，保持与车辙线的路径一致。在无人车巡检中的车辙线识别问题上，已经有了不少相关的研究，例如Burns等人(1986)提出了一种通过边缘检测及像素聚类的方法来识别车辙线，Akinlar等人(2011)提出了一种名为EDlines的边缘轮廓线检测方法，Ceron等人(2014)提出了一种基于圆圈搜索技术(CBS)的无人车车辙线检测模型。基于CBS，Ceron等人(2018)又提出了基于线段梯度直方图(HOS)的车辙线识别方法。然而，这些方法在处理复杂背景下的无人车拍照图时，都不够稳定可靠。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的在于提供一种基于深度学习车辙线识别的巡线返回导航方法，可以实现端到端地识别车辙线中心坐标及方向角，具有较高的效率，便于完成无人车巡检返回导航。

为达到上述目的，本发明通过以下技术方案实现：

一种基于深度学习车辙线识别的巡线返回导航方法，包括：

步骤S1：对无人车俯视视角的车辙线进行数学抽象，采用车辙线的中心点及车辙线方向角的正余弦值来表示车辙线；

步骤S2：对于训练集和测试集的图像，按照图像的默认坐标系标注每根车辙线的端点的坐标值；

步骤S3：构建深度学习识别模型，模型结构包含一个编码-解码模块，以及一个预测模块，其包含三个全卷积网络分支，分别预测车辙线中心点的高斯分布核，车辙线的中心点相对真实值的偏移量以及车辙线中心点的方向；

步骤S4：模型从车辙线中心点预测分支的特征图上，查找具有高斯核分布特点的区域，并选取其中心；

对于特征图上的多个高斯分布核，模型按照其中心点的值的大小进行排名，并选取前N个点作为备选的车辙线中心点；

模型对备选的车辙线中心点对应的像素值进行筛选，把大于等于阈值的作为模型初步预测到的车辙线的中心点；

模型根据初步预测的车辙线的中心点的坐标，查找相应的车辙线中心偏移预测分支生成的预测图上对应的坐标值的偏移量，并经过偏移量修正得到最终的车辙线中心点坐标的预测值。

可选地，所述步骤S1中，无人车俯视视角中的车辙线近似为直线，对其端点取平均，得到车辙线的近似中心点，并采用车辙线的中心点及车辙线方向角的正余弦值来表示车辙线，作为无人车沿车辙线行进的导航依据。

可选地，所述步骤S2中，对数据集进行以下一项或多项基于车辙线端点的数据增强方法：任意方向平移、任意比例缩小、任意角度旋转、任意剪切变形。

可选地，所述模型采用基于无锚框构架的紧凑型单步法目标识别模型结构，用于直接预测车辙线的中心点及方向，同时取消对物体目标框的识别。

可选地，所述步骤S3中，模型的输入是一个大小为512×512×3的彩色图像，经过编码-解码模块后生成了一个大小为128×128×5的特征图；

将特征图分为三个分支，第一个预测分支由一个单通道的特征图构成，产生一个用于拟合物体中心的高斯分布核；通过第一个预测分支生成与真实值分布一致的热度图，热度图上车辙线的中心位置有高斯核分布；

模型的第二个预测分支，其大小为128×128×1，用于预测热度图中的高斯核的中心坐标与实际车辙线中心的偏移量；

模型的第三个预测分支，用于预测车辙线方向角的正弦和余弦值；正弦和余弦值的范围在[-1,1]之间。

可选地，采用相应的损失函数对模型的参数进行优化；

其中，对于第一个预测分支，采用用于分类任务的focal loss函数；对于第二个和第三个预测分支，采用了L1损失函数；模型则最终损失函数是三个预测分支的损失函数的加权和。

可选地，所述步骤S4中，第三个预测分支还用于直接预测每根车辙线的方向角的正弦和余弦值，并与其他两个分支预测的车辙线的中心点对应。

可选地，所述步骤S4中，对于特征图上的多个高斯分布核，模型按照其中心点的值的大小进行排名，并选取最多前100个点作为备选的车辙线中心点。

可选地，在步骤S4之后进一步包含步骤S5，对模型预测的所有车辙线的中心点和方向进行聚类；其中，对模型预测的所有车辙线的中心点计算其最小外包矩形，根据最小外包矩形的中心位置，构建一个高斯核来描述预测到的车辙线对应的权重，通过该高斯核来强化位于车辙线束的中心区域的车辙线对最终决策的影响，同时兼顾考虑其他车辙线的位置和方向。

本发明主要提出了无人车在执行沿车辙线巡线返回导航中的车辙线识别方法。由于无人车工作在复杂的环境中，车辙线自动识别和跟随是一项具有挑战性的任务。为了解决这个问题，本发明提出了一种基于深卷积神经网络的新方法，与传统的方法不同的是，该方法能自动地从复杂背景中提取车辙线路的特征，并能有效地提取车辙线路的特征并实时预测每根车辙线的中心和方向；基于此，本发明进一步提出了针对车辙线中心位置及朝向的聚类方法，把所有车辙线的位置及朝向聚合为一个总的位置和朝向，并用来指导无人车的巡线返回导航。

本发明至少具有以下技术效果之一：

(1)本发明提出的办法可以实现端到端地识别车辙线中心坐标及方向角，具有较高的效率。与传统的直线检测及边缘检测相比，提出的车辙线中心点及方向识别方法具有更高的精度和鲁棒性。

(2)在设计基于深度学习的车辙线中心点及方向识别模型时，创新地的采用车辙线的方向角的正弦及余弦值作为深度学习模型的输出，并通过tanh函数进行激活，把基于深度学习的目标检测方法从物体目标框的识别拓展到了对车辙线中心点及方向的识别，使基于深度学习的目标检测模型实现了检测车辙线中心点及方向的新功能。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1为本发明一实施例提供的俯视图中车辙线的中心点及方向图；

图2为本发明一实施例提供的任意水平位移变换图；

图3为本发明一实施例提供的任意比例缩小图；

图4为本发明一实施例提供的任意角度旋转图；

图5为本发明一实施例提供的任意剪切变形图；

图6为本发明一实施例提供的车辙线中心点及方向识别的模型结构图；

图7为本发明一实施例提供的车辙线权重的高斯分布图。

具体实施方式

下面详细描述本实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明提供的一种基于深度学习车辙线识别的巡线返回导航方法，包含以下的步骤1～步骤5。

步骤1：在无人车的巡线行进中，车辙线通常处于无人车的俯视视角中。因此，对于指导无人车导航任务来说，车辙线可以被近似成直线，根据直线的端点，可以得到车辙线的近似中心点及方向。

如图1所示，P

即，对无人车俯视视角中的车辙线，对其端点取平均，得到车辙线的近似中心点，并采用车辙线的中心点及车辙线方向角的正余弦值来表示车辙线，作为无人车沿车辙线行进的导航依据。

步骤2：对于训练集和测试集的图像，按照图像的默认坐标系标注了每根车辙线的端点的坐标值，并保存为类似MS COCO格式的json文件。

本例中，从Ceron等人的论文中公开的视频中获得2818张拍照图作为研究数据，其中随机抽取2297张图和521张图作为训练集和测试集。由于数据集较小，本发明设计了一系列基于车辙线端点的数据增强方法，以充分利用已有的数据资源，减少深度学习模型训练中的过拟合，提高模型的精度和鲁棒性。

1、任意方向平移

车辙线的任意方向平移可以拆解为任何水平方向平移和任意竖直方向平移，最终的平移结果是两个方向平移的线性叠加。按照齐次坐标变换的知识，当点P(x,y)经过任意方向平移到P'(x',y')时，其对应的坐标变化可以由式(5)确定：

对任意水平方向的平移，值为0；如图2(a)所示，展示了一张未经变换的车辙线示意图，尺寸为(w×h)，其中车辙线的两个端点及中心点分别为P

x

x'

y

y'

因此，变换后的直线的中心点的坐标可以由式(10)和(11)计算：

2、任意比例缩小

由于无人车的拍照高度不同，获得的图像中车辙线的尺度也会有较大差异。为了产生不同尺度的数据，本发明采用了任意尺寸缩放的数据增强方法。

图3(a)为原图，当图像以比例系数s(s∈[0,1])进行缩放时，缩放后的车辙线如图3(b)所示，车辙线的两端经过缩放后都位于图像的边界内，w、h表示原图像的长和宽，δh和δw为缩小后的图的边框与原图的边框之间的竖直和水平方向上的距离，具体可以由式(12)，(13)计算：

因为，变换后的车辙线的端点在原图像坐标系中的坐标可以由式(14)，(15)，(16)和(17)计算得到：

3、任意角度旋转

由于无人车在拍照过程中与车辙线的方向存在偏航角(yaw)，而偏航角的值可能在一定范围内波动，因此，本发明引入了任意角度旋转变换，以减少因为偏航角的变化造成的模型预测精度的波动。图4展示了车辙线任意角度旋转变换的过程。

通常来说，图像上一个点P(x,y)旋转角度δθ后，对应的点为P'(x',y')那么这个对应关系可以用式(18)表示：

图4(a)是原图，图4(b)展示了旋转后的车辙线，图4(c)展示了旋转后规格改变的车辙线；由于旋转后，图的大小发生了变化，当把旋转后的图和旋转前的图对齐到同一坐标系下，旋转后的图的中心相对原图产生了位移，位移值δx和δy可以用式(19)和(20)计算：

因此，旋转变换后的车辙线的端点坐标值可以根据式(21)，(22)，(23)和(24)计算得到：

4、任意剪切变形

剪切变形是图像识别中一种常用的数据增强方法，主要作用是为了提高模型对不同视角的鲁棒性，图5展示了一个典型的剪切变形过程。

图5(a)是原图，图5(b)是剪切变形后的图像。对图像上的一个点，其剪切变换的表达式如式(25)所示，其中m是剪切系数：

因此，可以根据式(26)，(27)，(28)和(29)得到车辙线端点经过剪切变形后的坐标值：

y

y'

步骤3：针对沿车辙线的自主导航任务，本发明提出了一种基于深度学习的车辙线中心点及方向识别模型，此模型采用了类似CenterNet的基于无锚框构架的紧凑型单步法目标识别模型结构。与通用的目标检测模型不同，此模型可以直接预测车辙线的中心点及方向，同时取消了对物体目标框的识别。此模型结构主要包含一个编码-译码模块，其作用在于提取图像特征及产生预测模块需要的特征图；一个预测模块，其主要结构包含三个全卷积网络分支，分别预测车辙线中心点的高斯分布核，车辙线的中心点相对真实值的偏移量以及车辙线中心点的方向。图6展示了本发明提出的车辙线中心点及方向识别模型的结构。

模型的输入是一个大小为(512×512×3)的RGB图，经过编码-解码模组后生成了一个大小为(128×128×3)的特征图。这个特征图分为三个分支，第一个分支由一个单通道的特征图构成，主要在产生一个用于拟合物体中心的高斯分布核。因此这个特征图的像素值都经过sigmod函数投射到值域为[0,1]的数值空间。假设Y是上述的高斯分布核，

因此，模型的第一个分支的任务是生成与真实值分布一致的热度图，图上有车辙线的中心位置有高斯核分布，而无车辙线的部分值均为0。

由于预测模组输出的热度图的大小为(128×128×1)，是原图大小的1/4。当模型输出的热度图上对应的高斯核的中心坐标被还原到原图上时，会存在上采样误差。为了准确的预测车辙线中心的位置，此模型具有第二个预测分支，其大小为(128×128×2)，主要作用是预测热度图中的高斯核的中心坐标与实际车辙线中心的偏移量。

同时，此模型还具有第三个预测分支，主要用来预测车辙线方向角的正弦和余弦值。由于正弦和余弦值的范围是[-1,1]之间，因此，本发明采用tanh函数把模型的第三个分支输出的特征图上每个像素点值投射到[-1,1]区域。

在训练车辙线中心点及方向识别模型中，本发明采用了相应的损失函数对模型的参数进行优化，从而得到高精度的车辙线识别模型。对于模型输出的热度图分支，本发明采用用于分类任务的focal loss函数，如式(31)所示：

其中Y

其中o

是模型预测的车辙线中心点坐标；

因此，模型则最终损失函数是三个预测分支的损失函数的加权和，如式(34)所示：

其中λ和γ分别是车辙线中心点偏移损失函数和车辙线方向损失函数的权重，本发明中，λ的值设为0.1，γ的值设为1。

步骤4：车辙线中心点及方向角的预测

由于本发明采用的模型具有三个分支，在进行车辙线中心点和方向角预测时，模型首先从车辙线中心点预测分支的特征图上查找具有高斯核分布特点的区域，并选取其中心。对于特征图上的多个高斯分布核，模型按照其中心点的值的大小进行排名，并选取最多前100个点作为备选的车辙线中心点；同时模型对备选的车辙线中心点对应的像素值进行筛选，把大于等于阈值T

同时，模型根据初步预测的车辙线的中心点的坐标查找相应的车辙线中心偏移预测分支生成的预测图上对应的坐标值的偏移量，并经过偏移量修正得到最终的车辙线中心点坐标的预测值。

除了预测车辙线的中心值，本发明提出的车辙线方向预测分支还可以直接预测每根车辙线的方向角的正弦和余弦值，并与其他两个分支预测的车辙线的中心点对应。因此，本发明提出的模型可以直接预测所有的车辙线中心点以及与之对应的车辙线方向。

由于车辙线巡线返回导航任务需要一个总的概括性的车辙线束的总体位置和方向，模型预测的所有车辙线的中心点和方向还需要经过聚类才能指导无人车的自主导航。本发明针对无人车巡线中车辙线识别任务的特点，提出了一种定制化的车辙线中心点及方向聚类方法，首先，对模型预测的所有车辙线的中心点计算其最小外包矩形，然后，根据最小外包矩形的中心位置，构建一个高斯核来描述预测到的车辙线对应的权重，如果(x

车辙线权重的分布如图7所示，可以看出，此高斯核的设计是为了强化位于车辙线束的中心区域的车辙线对最终决策的影响，同时也兼顾考虑其他车辙线的位置和方向。

需要说明的是，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。