一种基于元学习目标分割的路面积水识别方法

技术领域

本发明涉及计算机视觉与目标识别技术领域，具体涉及一种基于元学习目标分割的路面积水识别方法。

背景技术

目标识别是计算机视觉中的经典问题，包括：目标检测、目标跟踪、图像分类、语义分割等。其中语义分割技术是智慧医疗、视频监控、自动驾驶等增强现实技术的重要的视觉输入，它将图像或者视频输入转换为感兴趣区域(region of interest，ROI，又称“区域建议框”)的掩码，实现像素级的对象识别。

现有路面积水的识别方法主要是基于深度学习的语义分割算法，需要大量的数据支撑，以此来拟合网络中的大量参数。首先，语义分割使用的是像素级标注，这种标注通常需要耗费大量人力，加之一些实际应用场景中的数据不足且获取困难，导致了语义分割在只有少量数据样本的情况下，存在很大的挑战。其次，在实际应用中，场景的多变性及数据缺失常有发生，尤其对于路面积水识别这种像素级识别任务，数据标注相对于图像分类和目标检测任务往往是代价高昂的。此外，环境光的影响引起的水面反射与折射加剧了场景的多变性。

发明内容

针对现有技术基于目标分割中数据收集困难、任务适应性差、场景变换引起的精度缺失等问题，本发明提供了一种基于元学习目标分割的路面积水识别方法，能够有效地提升路面积水的识别准确率并降低对数据的依赖、减轻人工标注的压力。

为实现上述目的，本发明提供如下技术方案：

一种基于元学习目标分割的路面积水识别方法，包括以下步骤：

步骤S1：收集路面积水图像并对路面积水图像进行标注；

步骤S2：搭建路面积水识别网络，路面积水识别网络包括主干网络、金字塔网络、区域建议网络、元学习预测头网络以及预测头重建模网络；输入路面积水图像及标注数据经过所述主干网络和金字塔网络生成对应的特征图；所述特征图被送入区域建议网络中，生成对应的区域建议框；将生成的所述区域建议框输入预测头重建模网络；所述预测头重建模网络利用元学习任务，生成类注意向量，将生成的类注意向量输入元学习预测头网络；所述元学习预测头网络根据收到的类注意向量，优化区域建议框所对应的特征图；

步骤S3：完成路面积水识别网络的搭建后，利用元学习机制，训练路面积水识别网络，得到整个网络的权重参数；

步骤S4：将得到的所有权重参数输入路面积水识别网络并进行量化加速，得到预测输入图片或者视频中积水的位置和掩码。

进一步地，所述步骤S1中对路面积水图像进行标注的方法为采用labelme进行人工分割标注，完成分割标注后，求取分割点的最小外接矩形，将分割点与矩形框同时保存在标注文件中。

进一步地，所述步骤S2中主干网络使用resnet50，选取最后三层输出送至金字塔网络。

进一步地，所述金字塔网络采用跨层连接的结构，通过堆叠特征块，跨尺度地融合不同层次的特征，丰富特征信息。

进一步地，所述区域建议网络采用动态的样本分配方式，通过对样本的交并比计算均值及标准差得到动态阈值，基于动态阈值的机制进行正负样本选择。

进一步地，所述元学习预测头网络包括卷积层和全连接层，结合来自预测头重建模网络生成的类注意向量，动态地优化特征，实现channel-wise的特征选择。

进一步地，所述元学习重建模网络采用元学习的机制，通过元学习适应样本少、场景变化多的路面积水识别任务。

进一步地，所述步骤S3的具体方法为：

完成路面积水识别网络的搭建后，输入路面积水图像数据，经过区域建议网络RPN提取ROI；将所提取的ROI输入预测头重建模网络PRN，利用元学习机制，将ROI划分为元学习的训练集和测试集，每次采样l个学习任务；对于路面积水识别任务，仅需要一个类别，为该类别选取K个ROI；预测头重建模网络PRN共享主干网络的参数，训练过程中同步生成类注意向量，完成训练后保存整个网络的权重参数。

进一步地，所述路面积水识别网络的训练包括元学习训练和目标分割训练，所述元学习训练中不断更新预测头重建模网络的网络参数，与整个网络的训练同步进行；所述目标分割训练直接通过损失函数回归位置信息及预测掩码值；所述元学习训练过程和目标分割的训练过程通过损失函数连接，实现端到端的训练。

进一步地，所述步骤S4的具体方法为：将得到的所有权重参数输入路面积水识别网络并进行量化加速；在完成量化加速后，部署到嵌入式设备；输入来自监控相机的视频流实现路面积水识别模型的推理，输出预测输入图片或者视频中积水的位置和掩码。

与现有技术相比，本发明提供了一种基于元学习目标分割的路面积水识别方法，具备以下有益效果：

(1)本发明的路面积水识别方法结合了元学习方法，能够降低基于目标分割的路面积水识别方法对数据的依赖性，减轻人工标注的压力，有效地提升路面积水的识别准确率。

(2)本发明的路面积水识别方法还能够快速适应多种不同的应用场景，在提升多场景适应力的同时维持较高精度。

(3)本发明的路面积水识别方法中区域建议网络(RPN)使用动态样本分配，进一步缓解样本不均衡；金字塔网络采用跨尺度连接的结构，实现各个层级之间的信息交互；区域建议网络采用动态样本的分配方式，有效处理了正负样本数量不平衡的问题；预测头重建模网络(PRN)通过元学习机制，提供类注意向量，提升特征的质量，进而提升识别效果；元学习预测头网络(PHN)包含一些卷积和全连接结构，结合来自预测头重建模网络(PRN)生成的类注意向量，预测输入图片或者视频中积水的位置和掩码。

(4)本发明的路面积水识别方法还可以快速地部署到嵌入式设备，以面向工业级的应用。

附图说明

图1为本发明路面积水识别方法的流程图；

图2为本发明的网络整体框架图；

图3为本发明的金字塔网络。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以还包括不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为便于描述本发明和简化描述，而不是指示或暗指所指的装置或元件必须具有特定的方位、为特定的方位构造和操作，因而不能理解为对本发明保护内容的限制。

如图1所示，本发明的路面积水识别方法包括以下步骤：

步骤S1：通过互联网等方式收集路面积水数据图像并进行人工标注。

人工标注采用的工具为labelme，完成分割标注后，求取分割点的最小外接矩形，将分割点与矩形框同时保存在标注文件中。

步骤S2：搭建路面积水识别网络，路面积水识别网络包括主干网络、金字塔网络、区域建议网络RPN、元学习预测头网络PHN以及预测头重建模网络PRN。输入路面积水图像及标注数据经过主干网络和金字塔网络生成对应的特征图；特征图被送入区域建议网络中，生成对应的区域建议框；将生成的区域建议框输入预测头重建模网络；预测头重建模网络利用元学习任务，生成类注意向量，将生成的类注意向量输入元学习预测头网络；元学习预测头网络根据收到的类注意向量，优化区域建议框所对应的特征图。

路面积水识别网络的整体结构如图2所示，主干网络使用常见的resnet50(指50层的卷积神经网络)，选取最后三层输出送入金字塔网络。金字塔网络采用的是一种跨层连接的结构，如图3，通过堆叠特征块，跨尺度地融合不同层次的特征，丰富特征信息；其中P

P1～P5被送入区域建议网络RPN产生区域建议框及其对应特征的特征图；这些特征图经过特征对齐(ROI Align)送入元学习预测头网络PHN进行路面积水的识别；预测头重建模网络PRN使用元学习的方式，不断为元学习预测头网络PHN提供类注意向量。

区域建议网络RPN采用动态的样本分配方式。不同于一般的基于固定阈值或者基于固定比例的样本分配方式，本发明中的区域建议网络RPN是基于动态阈值的机制进行正负样本选择。具体实现方式如下：

(1)收集RPN网络输出的区域建议，记为RP

(2)将图像标注映射到金字塔网络中各个层级的特征图上，计算每个金字塔层级对应的标注信息，即坐标值和掩码值，这些标注值记为G

(3)逐层级计算RP

其中，A来自RP

(4)按照i,即逐层对T

m

d

DT

其中，avg表示求均值，std表示求方差。

(5)根据每个层级对应的动态阈值DT

这避免了因为固定阈值选取带来的正负样本不均衡问题，也解决了固定比例选取带来的区域建议质量低下的问题，提升RPN输出的边界框质量，进而提升分割效果。

传统的预测头网络h(z

其中，θ’表示重新建模后的网络参数，

其中，c表示类别数，在得到v

整个路面积水识别网络的损失函数被定义为两个部分：元学习损失和目标分割损失。其中元学习损失可以表示为：

其中，CE表示交叉熵损失，v

目标分割损失用公式表示如下：

其中，N

整个路面积水识别网络的损失函数是元学习损失与目标分割损失之和，用公式表示如下：

L

步骤S3：利用元学习机制，训练路面积水识别网络。

完成路面积水识别网络的搭建后，输入图像数据，经过RPN网络提取ROI。将所提取的ROI输入PRN网络，利用元学习机制将ROI划分训练集和测试集，每次采样l个学习任务。对于路面积水识别任务，仅需要一个类别，为该类别选取K个ROI，即one-way-K-shot(表示一个类别K张图)。PRN共享主干网络参数，训练过程中同步生成类注意向量。整个过程中，PRN仅提供类注意向量给PHN，PRN的参数由元学习损失决定。网络其余部分参数由目标分割任务的损失进行更新。网络的训练可以分为元学习训练过程和目标分割的训练过程。其中元学习的过程如下：

步骤S31：按照路面积水识别网络的网络结构，将ROI及其对应的标注(位置信息及掩码值)输入到PRN网络。按照one-way-K-shot的比例划分为元训练集support set、测试集query set，即一个类别，该类下有K张图片。需要注意的是训练集support set与测试集query set没有重合的部分，上述划分的训练集和测试集都包含测试集support set和测试集query set，且在整个网络训练过程中是动态变化的，不同的元学习任务采样的训练集及测试集是不同的。

步骤S32：随机采样l个训练任务(学习任务)。每个训练任务都包含一个相互独立的PRN网络，原始的PRN网络被记为meta网络。将meta网络的初始参数α赋给每个训练任务的PRN网络，得到β

步骤S33：使用任务w的训练集support set，基于任务w的学习率r

步骤S34：基于一次优化后的β

步骤S35：用该梯度grad乘以meta网络的学习率r

步骤S36：在元学习训练阶段重复上述步骤S31至步骤S35，完成后进入元学习测试阶段微调。

步骤S37：通过上述的步骤获取meta网络的参数，使用测试集的训练集supportset对meta网络参数进行微调。

步骤S38：最终使用测试集的测试集query set评估元学习效果。

元学习训练过程中不断更新PRN的网络参数，与整个路面积水识别网络的训练同步进行。目标分割的训练过程较为简单，直接通过损失函数回归位置信息及预测掩码值。元学习训练过程和目标分割的训练过程通过损失函数连接，可以进行端到端的优化。在完成整个训练过程后保存网络的权重参数。

步骤S4：模型轻量化，将算法模型进行量化，以加速计算，边缘设备部署，实施推理，获取结果。

将步骤S3中得到所有网络权重参数输入到路面积水识别网络并进行模型的量化加速。量化方法采用INT8量化，量化工具使用tensorrt。在完成量化加速后，部署到Nvidiajeston nano等嵌入式设备。完成部署后，输入来自监控相机的视频流实现路面积水识别模型的推理(推理方法为：加保存的载权重参数初始化路面积水识别网络，输入视频即可实现推理(视频的每一帧都会将积水的位置显示出来)，输出视频帧中的积水位置以及相应掩码。

需要说明的是，在本申请中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。