一种基于USV的障碍物分割网络及其生成方法

技术领域

本发明涉及目标检测跟踪技术领域，具体为一种基于USV的障碍物分割网络及其生成方法。

背景技术

随着无人智能技术的发展，无人驾驶汽车和无人机已经为大众所熟悉，成为科技界和商业界的新宠。而实际上，在无人技术领域，有关无人船的研究探索也在进行之中。

水面无人艇(Unmanned Surface Vehicle，USV)，是一种无人操作的水面舰艇。主要是用于执行危险以及不适合有人船只执行的任务。与普通船只相比，水面无人艇具有风险低，能源消耗低，维护成本低等特点。此外，它的应用领域非常广泛，比如可以应用于军事上的情报搜索，反潜攻击，反特种作战，海域巡逻等；在民用方面应用也非常广泛，例如水面环境检测监控，搜寻救援，海事监管等。此外，水面无人艇的障碍物检测技术，不仅是水面无人艇导航，搜救理论基础不可缺少的一部分，而且大大提高了水面无人艇在执行任务过程中的效率。对于过往的大型船只，小型船只，浮标，游泳者，码头等等情形进行侦察，有利于其自主规避障碍物的实现，从而减少沉船或与船只相撞等事故的出现，提高自身的生存与作业能力。

对于海洋环境的复杂性，水面无人艇的障碍物检测会受到光照强度、雾霾、阴雨天气等因素的影响，因此现有的障碍物检测算法难以达到令人满意的检测效果，存在大量的误检和漏检的情况，不利于精确的检测障碍物。

语义分割将图像分类、目标检测和图像分割结合起来，通过一定的方法将图像分割成具有一定语义意义的区域块，并识别每个区域块的语义类别，从而实现从底层到顶层的语义推理过程，最终得到逐像素语义标注的分割图像。而随着深度学习的发展，基于深度学习的语义分割算法在无人地面车辆(UGV)以及自动水面车辆(ASV)等领域中的目标检测方面取得了不错的进展。本课题研究通过基于深度学习的语义分割算法来进一步实现对水面无人艇的障碍物检测，可以实现在复杂的海洋环境下对障碍物的精确分割与检测，降低了误检与漏检现象。

发明内容

本发明的目的在于提供一种基于USV的障碍物分割网络及其生成方法来实现USV的障碍物检测，该新型语义分割网络是基于UNet的编-解码结构，在此基础上进行改进与提升，本发明可以更好的检测障碍物，尤其是小障碍物的检测，降低了误检率和漏检率。

为了达到上述目的，本发明通过以下技术方案实现：

一种基于USV的障碍物分割网络的生成方法，其特征在于，在编码部分，用一个膨胀卷积层替换VGG16的全连接层以及block5中的最大池化层形成修改后的VGG16，使修改后的VGG16作为编码器，使用膨胀卷积层的目的是能够在不损失分辨率的情况下扩大感受野以及获取更多的上下文信息。将两个注意力细化模块加入到网络的解码部分中用于细化输出特征,然后加入特征融合模块去实现高级和低级特征的融合。

可选地，所述膨胀卷积比率为2。

可选地，将两个注意力细化模块添加至网络中，其中，一个注意力细化模块用于优化编码器的第一个模块(block1)中的输出特征，另一个注意力细化模块用于优化解码器中经过一系列上采样后的特征，然后将这两个注意力细化模块进行级联以细化输出的特征。

可选地，在解码部分添加特征融合模块，该特征融合模块用于将网络中的低级特征和高级特征进行特征融合。

可选地，选用LeakyRelu激活函数去替代原始的特征融合模块中的Relu激活函数。

可选地，使用Softmax函数添加在解码器的最后一个模块中，用于输出多个分类。

可选地，使用Cross-Entropy损失函数和Dice损失函数共同训练该网络，具体采用如下公式：

其中，p()代表真实的概率分布，q()代表预测的概率分布；

其中，X表示地面真值图片，Y表示预测图片；

loss＝ce_loss+dice_loss. (3)

其中，loss为总损失。

可选地，选用MaSTr1325数据集对该网络进行训练、验证以及测试。

可选地，选用两个评估指标，MIoU(平均交并比)以及MPA(平均像素精确度)；

其中,有k+1个类,p

另一方面，本发明还提供了一种基于USV的障碍物分割网络，由上述的生成方法生成

本发明与现有技术相比具有以下优点：

(1)编码部分加入膨胀卷积层，并设膨胀比率为2，扩大了感受野，将卷积输出包含较大范围的信息。

(2)引入注意力细化模块，在计算量不增加的同时可以很好的进行细化特征输出从而提高网络性能。

(3)引入特征融合模块用于实现特征的融合，其中特征融合模块使用LeakyRelu激活函数代替Relu从而减少静默神经元的出现并且可以允许基于梯度的学习。

附图说明

为了更清楚地说明本发明专利实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明专利的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例中应用障碍物分割网络进行语义分割的流程图；

图2是本发明一实施例中障碍物分割网络的结构示意图；

图3是本发明一实施例中注意力细化模块的结构示意图；

图4是本发明一实施例中特征融合模块的结构示意图；

图5是本发明一实施例的障碍物检测结果与其他语义分割网络检测结构的对比图；

图6是本发明一实施例中的消融试验对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、面相智慧轨交系统的实时软总线实现方法、物品或者现场通信前置机不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、面相智慧轨交系统的实时软总线实现方法、物品或者现场通信前置机所固有的要素。

请参阅图1，本实施例利用基于USV的障碍物分割网络的流程图，将USV拍摄的图片输入至本实施例中的障碍物分割网络中，输出得到该图片的分割效果图，从而实现对障碍物的精准分割与检测。

本实施例公开了一种基于USV的障碍物分割网络的生成方法，使用改进后的VGG16作为障碍物分割网络的编码部分，原始VGG16包含13个卷积层，3个全连接层以及5个池化层，本发明将原始的VGG16的全连接层以及block5中的最大池化层去掉，并添加了一个膨胀卷积层用于扩大感受野以及获取更多的上下文信息。将两个注意力细化模块加入到网络的解码部分中用于细化输出特征,然后加入特征融合模块去实现高级和低级特征的融合。

试验结果表明，本实施例在进行USV的障碍物检测中能够保持良好的性能，能够应对不同海洋环境下的障碍物检测，实现了对障碍物的精准分割。本发明可以很好的检测到小的障碍物，提高了检测精度，降低了误检率和漏检率。

本实施例中，所述膨胀卷积比率为2。

本实施例中，将两个注意力细化模块添加至网络中，其中，一个注意力细化模块用于优化编码器的第一个模块(block1)中的输出特征，另一个注意力细化模块用于优化解码器中经过一系列上采样后的特征，然后将这两个注意力细化模块进行级联以细化输出的特征。

本实施例中，在解码部分添加特征融合模块，该特征融合模块用于将网络中的低级特征和高级特征进行特征融合。

请参阅图3，图3是本实施例中注意力细化模块的结构示意图。全局平均池化被用于指导特征学习，使用1×1的卷积模块去扩大特征通道数,然后是批归一化过程以及一个sigmoid激活函数。使用注意力细化模块能够计算出注意力向量来重新加权原始的特征,从而细化输出的特征,同时计算量可以忽略不计。

请参阅图4，图4是本实施例中特征融合模块的结构示意图。该特征融合模块的结构与原始的特征融合模块不同之处在于,本发明使用了LeakyRelu激活函数去代替原始的Relu。LeakyRelu激活函数是经典的Relu激活函数的变体,它给所有负值赋予一个非零斜率。由于其导数总是不为零,因此它能够减少静默神经元的出现并且可以允许基于梯度的学习,解决了Relu激活函数进入负区间之后导致神经元不学习的问题。

本实施例中，使用Softmax函数添加在解码器的最后一个模块中，用于输出多个分类。

本实施例中，使用Cross-Entropy损失函数和Dice损失函数共同训练该网络，具体采用如下公式：

其中，p()代表真实的概率分布，q()代表预测的概率分布；

其中，X表示地面真值图片，Y表示预测图片；

loss＝ce_loss+dice_loss. (3)

其中，loss为总损失。

本实施例中，选用MaSTr1325数据集对该网络进行训练、验证以及测试。该数据集是由真实的USV拍摄的，涵盖了海岸监视任务中遇到的一系列现实情况。选用若干张Modd1与Modd2数据集图片用于预测本网络实现的障碍物分割效果与其他经典语义分割网络分割效果的比较。

本实施例中，选用两个评估指标，MIoU(平均交并比)以及MPA(平均像素精确度)；

其中,有k+1个类,p

本实施例的训练是基于keras框架,所有的实验都在一台Win10系统具备RTX3080GPU的计算机上进行的。本发明通过Adam优化器进行训练,初始学习率设置为1e-4。在损失不变的情况下,通过使用ReduceLROnPlateau并设置因子为0.5去降低学习率。

表1中将本发明的新型语义分割网络与现有经典语义分割网络做对比。评估指标为平均交并比(MIoU)以及平均像素精确度(MPA),具体公式前文已给出。

表1与经典语义分割网络实现障碍物检测的性能做对比

从表中结果可以看出,本发明在MIoU值和MPA值上都优于UNet,SegNet等语义分割网络。这表明,本发明实现的障碍物分割效果比其他的经典语义分割网络实现的效果更好。

参考图5所示的本发明的障碍物检测结果与其他经典语义分割网络检测结果的对比图,可以看出,面对不同的的海洋环境,本发明的障碍物检测更加精确,并能够很好的检测出小障碍物。

表2中是消融实验的指标结果,本发明的主要贡献是:在编码部分中加入膨胀卷积层；在本网络解码部分中加入注意力细化模块以及特征融合模块。为了进行消融实验,表中Ours代表本发明的完整网络,Ours(No dc)代表本发明去掉膨胀卷积层之后的网络,Ours(NoAF)代表本发明中去掉注意力细化模块以及特征融合模块后的网络。可以看出膨胀卷积层,注意力细化模块以及特征融合模块都显著提升了整个发明系统的性能。Ours(No dc)在整个训练中迭代每一步的所需时间最短,Ours(NoAF)相比Ours(No dc)具有较高的检测精度。

表2消融研究的评估指标结果

参考图6的消融实验对比图,其中虚线框代表误检的情况,实线框代表漏检的情况。可以看出,注意力细化模块和特征融合模块能够降低漏检的情况,同时提高了边缘检测。膨胀卷积层能够降低误检的情况。因此,注意力细化模块,特征融合模块以及膨胀卷积层共同提高了对障碍物的检测精度。

综上所述,本实施例提供了一种新型语义分割网络来实现USV的障碍物检测,该方法的关键思想是在编码部分加入一个膨胀卷积层用于扩大感受野。解码部分中引入两个注意力细化模块,并将其级联用于细化特征输出,加入特征融合模块更好的实现了特征融合。实验结果表明,本发明在进行USV的障碍物检测中能够保持良好的性能,能够应对不同海洋环境下的障碍物检测,实现了对障碍物的精确分割。

请参阅图2，本实施例还公开了一种基于USV的障碍物分割网络，由上述的生成方法生成。本实施例基于深度学习的语义分割网络来实现的USV障碍物检测方法，实现USV自主规避障碍物，提高USV的作业能力。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。