一种基于多视角深度学习的路面宏观纹理重建方法

技术领域

本发明属于土木工程技术领域，尤其涉及一种基于多视角深度学习的路面宏观纹理重建方法。

背景技术

路面宏观纹理的三维重建是路面性能评估的重要环节；现阶段，三维路面宏观纹理模型主要用于路面排水性能、抗滑性能、耐久性的预测，也用于车辆油耗、胎噪、震动的分析。良好的路面宏观纹理是高质量路面不可或缺的性能。

准确高效的路面宏观纹理三维重建是路面性能评估的关键点之一。目前针对路面宏观纹理三维重建的方法主要包括手持式格栅扫描仪测量法和阵列式红外激光扫描法。然而这些测试法操作繁琐，技术要求高，而且检测效率低，检测过程需要封闭交通，从而严重影响了路面性能评估的效率，进行影响公路通行效率，不利于我国的路面检测大范围推广。

多视角的路面图像可以准确的表征路面宏观纹理；然而由于路面材料和图像采集条件的复杂性和多样性，多视角的路面图像很难直接用于路面宏观纹理三维重建。

发明内容

针对现有沥青路面宏观纹理重建方法的不足，本发明提供了一种基于多视角深度学习的路面宏观纹理重建方法，将深度学习技术和多视角融合技术应用于路面宏观纹理重建，利用多视角路面图像建立路面宏观纹理三维模型，大大提高了沥青路面宏观纹理检测的效率，有利于提高路面性能检测工程的效率。

为了解决上述技术问题，本发明通过以下技术方案予以实现：

一种基于多视角深度学习的路面宏观纹理重建方法，包括：

建立路面信息数据集D＝{D

根据路面信息数据集建立基于单视角路面图像的深度学习结构S；

根据深度学习结构S建立多视角融合单元MU；

根据路面信息数据集D和梯度下降算法进行深度学习结构S和多视角融合单元MU的端对端训练，得到多视角深度学习结构；

采用训练完成的多视角深度学习结构生成待检测沥青路面区域的宏观纹理模型。

进一步地，路面信息数据集D中任一路面信息数据样本D

路面宏观纹理三维点云数据包

路面多视角图像数据包

进一步地，深度学习结构S用于实现X

进一步地，深度学习结构S映射X

进一步地，多视角融合单元MU用于融合基于不同路面视角图像的路面宏观纹理重建模型；

多视角融合单元MU通过如下公式获得多视角融合的路面宏观纹理重建模型的概率分布集合

上述公式将基于多视角图像数据包X

其中，式(3a)定义了基于X

进一步地，深度学习结构S由编码器A、特征映射单元F、解码器D和决策器DM组成；

编码器A的输入是X

特征映射单元F的输入是编码器A的输出A(x

解码器D的输入是特征映射单元F的输出F(x

决策器DM的输入是

进一步地，根据路面信息数据集D和梯度下降算法进行深度学习结构S和多视角融合单元MU的端对端训练过程如下：

(1)随机选取路面信息数据集D中一组路面信息数据样本D

(2)使用深度学习结构S和多视角融合单元MU计算获得基于X

(3)使用如下公式计算

式中：

(4)由于多视角融合单元MU中不存在需要调节的权值和偏值，仅采用如下公式将误差传递至深度学习结构S的决策器DM

重复上述流程(1)至(4)，直到

与现有技术相比，本发明至少具有以下有益效果：

(1)本发明利用多视角路面图像重建了三维路面宏观纹理模型，使得三维路面宏观纹理的测量不再依赖于3D红外扫描仪，有利于提高路面宏观纹理数据的采集，对于提高路面病害和性能检测的效率具有积极的意义。

(2)本发明采用了深度学习技术和路面图像进行三维路面宏观纹理模型重建，避免了载具震动和路面材料对数据准确性的负面影响。

(3)本发明结合概率融合技术和深度学习技术实现了不同视角的三维路面宏观纹理模型的融合，从而提高了最终模型的准确性和鲁棒性。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式中的技术方案，下面将对具体实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明采用的多视角深度学习示意图；

图2为本发明自主开发的路面图像采集设备示意图；

图3为本发明采用的基于单视角路面图像的深度学习结构S；

图4为本发明实施例中多视角深度学习训练过程中

图5为本发明实施例中基于多视角图像的路面宏观纹理三维模型的示例；

图6为本发明实施例中使用测试集计算得到的IoU结果。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

深度学习技术是一种高效的图像处理和特征表达技术，目前已经开发出多个模型并应用于各个领域，比如深度学习网络可用于对图像深度特征进行提取并分析。多模型融合技术是依据多个相关模型的概率分布，将它们组合成一个更加准确的新模型的技术，例如将基于不同视角的三维模型进行融合。因此，结合深度学习技术和多模型融合技术，提出多视角深度学习技术，利用多视角路面图像，重建三维路面宏观纹理模型，对于准确高效地评估路面性能具有重要意义。

本实施例提供一种基于多视角深度学习的沥青路面宏观纹理重建方法，具体的，本实施例采用的多视角深度学习框架示意图如图1所示，具体包括以下步骤：

步骤1，采集建立路面信息数据集D＝{D

其中，路面宏观纹理三维点云数据包

其中，路面多视角图像数据包

步骤2，参考图3，根据路面信息数据集建立基于单视角路面图像的深度学习结构S，用于实现X

其中，编码器A的输入是X

其中，特征映射单元F的输入是编码器A的输出A(x

其中，解码器D的输入是特征映射单元F的输出F(x

表1路面宏观纹理重建模型S的各结构层参数

其中，决策器DM的输入是

式中：ReLU(x)＝max(0,x)是整流函数；

其中，上述编码器A卷积层、特征映射单元F全连接层、解码器D转置卷积层、决策器DM非线性映射层和softmax层中的权重和偏值在步骤2中随机赋值，赋值范围[0,1]；上述权重和偏值参数在步骤4中将通过梯度下降算法进行调整。

步骤3，根据深度学习结构S建立多视角融合单元MU，用于融合基于不同路面视角图像的路面宏观纹理重建模型。对于路面信息数据集D的第i个路面信息数据样本D

上述公式将基于多视角图像数据包X

其中，式(3a)定义了基于X

其中，式(3b)和式(3c)定义了融合X

其中，式(3d)定义了未正则化概率

步骤4，采用路面信息数据集D和梯度下降算法进行深度学习结构S和多视角融合单元MU的端对端训练，从而实现深度学习结构S四个结构的权值和偏值的调整；端对端训练过程如下：

(1)随机选取路面信息数据集D中一组路面信息数据样本，以D

(2)使用深度学习结构S和多视角融合单元MU计算获得基于X

(3)使用如下公式计算

式中：

(4)由于多视角融合单元MU中不存在需要调节的权值和偏值，仅采用如下公式将误差传递至深度学习结构S的决策器DM

(5)误差在深度学习结构S中编码器A卷积层、特征映射单元F全连接层、解码器D转置卷积层、决策器DM的传递分别与传统卷积神经网络中的卷积层、传统卷积神经网络中的全连接层、传统全卷积神经网络的转置卷积层、传统softmax层的误差传递方法相同；采用上述传递的误差，深度学习结构S中编码器A卷积层、特征映射单元F全连接层、解码器D转置卷积层、决策器DM的权值和偏值调整分别与传统卷积神经网络中的卷积层、传统卷积神经网络中的全连接层、传统全卷积神经网络的转置卷积层、传统softmax层的权值和偏值调整相同；

(6)重复上述流程(1)-(5)，直到

步骤5，给定待测量沥青路面区域的多视角路面图像，将每个视角的图像分别输入训练完成的深度学习结构S，获得一组若干个基于单一视角的待测量沥青路面区域的宏观纹理模型，模型数量与视角数相同；每个基于单一视角的待测量沥青路面区域的宏观纹理模型的表达形式是其全部空间网格不存在和存在路面宏观纹理的概率；将这组若干个宏观纹理模型输入多视角融合单元MU，输出了基于多视角的路面宏观纹理三维模型，其表达形式是其全部空间网格不存在和存在路面宏观纹理的正则化概率，从而实现路面宏观纹理模型重建；例如某个空间网格存在路面宏观纹理的正则化概率大于不存在路面宏观纹理的正则化概率，则判定该空间网格存在路面宏观纹理，反之则不存在。图5所示为18个定待测量沥青路面区域的宏观纹理重建结果。

步骤6，为验证本发明方法的准确性和稳定性，本实施例对本发明方法进行了验证：

(1)采集测试数据集D’＝{D’

(2)采用步骤5重建测试数据集中300个路面区域的宏观纹理模型，并采用公式(6)计算基于本方法重建的路面宏观纹理模型和基于三维扫描仪重建的路面宏观纹理模型的IoU值

式中：v

(3)参考图6进行本发明方法准确性和稳定性分析；图5为采用(1)中所述测试集计算得到的IoU结果，IoU测试值均大于0.65，说明本发明方法和基于70DPI及以下分辨率三维扫描仪重建的路面宏观纹理模型基本一致，凸显出无需高精度设备的辅助下即可高效准确地进行路面宏观纹理模型重建的优势。此外，本发明方法IoU测试值在不同类型沥青路面基本保持一致，包括AC-13、AC-16、SBS改性AC-16、SMA-13路面，这说明本发明方法在不同路面环境具有良好的稳定性。综上，本发明提出的基于多视角深度学习技术的路面宏观纹理重建方法具有良好的准确性和稳定性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。