图像去雨网络、图像去雨网络的训练方法及设备

技术领域

本申请属于图像处理技术领域，尤其涉及一种图像去雨网络、图像去雨网络的训练方法及设备。

背景技术

在利用全景影像系统辅助驾驶泊车的场景中，如果环视摄像头上存在雨滴，由环视摄像头拍摄得到的图像中也会存在雨滴，这会严重干扰人和车机对周围障碍物和标志线的判断，从而影响人对全景影像系统的体验感以及加大车机对下游视觉任务处理的难度。

目前，通常采用生成对抗网络(Generative Adversarial Network,GAN)去除图像中的雨滴，该方案存在单帧图像去雨滴后残留痕迹较为明显的问题，去雨精度较低。

发明内容

本申请的实施例提供了一种图像去雨网络，进而能够提升图像去雨的精度。

本申请的其它特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的第一方面，提供了一种图像去雨网络，所述图像去雨网络包括第一卷积网络和第二卷积网络，其中，

所述第一卷积网络，用于基于改进的UNet网络对待去雨图像进行预测，并将预测得到的第一去雨滤波核与所述待去雨图像进行逐像素卷积，得到第一去雨图像；

所述第二卷积网络，用于基于所述改进的UNet网络对所述第一去雨图像进行预测，并将预测得到的第二去雨滤波核与所述第一去雨图像进行逐像素卷积，得到目标去雨图像。

在本申请的一些实施例中，基于前述方案，所述改进的UNet网络依次包括第一网络层至第十三网络层，所述第一网络层至第四网络层、第五网络层、第七网络层、第九网络层和第十一网络层均为组合层，第六网络层、第八网络层、第十网络层和第十二网络层为上采样层，所述第十三网络层为空洞卷积层，所述组合层包括平均池化层、卷积层和激活层中的多者；

其中，第二网络层至所述第四网络层、所述第七网络层、所述第九网络层和所述第十一网络层的扩张率均大于1。

在本申请的一些实施例中，基于前述方案，所述第一网络层至所述第四网络层、所述第五网络层、所述第七网络层、所述第九网络层和所述第十一网络层的扩张率呈锯齿状递增。

在本申请的一些实施例中，基于前述方案，所述第二网络层与所述第十网络层跳跃连接，所述第三网络层和所述第八网络层跳跃连接，所述第四网络层和所述第六网络层跳跃连接。

在本申请的一些实施例中，基于前述方案，所述第七网络层包括通道注意力模块；所述通道注意力模块包括第一输入单元、第一平均池化单元、第二平均池化单元、第一融合单元、第一卷积单元、第一激活单元、第二卷积单元、第二激活单元和第一内积单元；其中，

所述第一输入单元分别与所述第一平均池化单元、所述第二平均池化单元和所述第一内积单元连接；

所述第一平均池化单元和所述第二平均池化单元均与所述第一融合单元连接；

所述第一融合单元依次经所述第一卷积单元、所述第一激活单元、所述第二卷积单元、所述第二激活单元与所述第一内积单元连接。

在本申请的一些实施例中，基于前述方案，所述第十一网络层包括空间注意力模块；所述空间注意力模块包括第二输入单元、交叉通道平均池化单元、交叉通道最大池化单元、第二融合单元、第三卷积单元、第三激活单元和第二内积单元；其中，

所述第二输入单元分别与所述交叉通道平均池化单元、所述交叉通道最大池化单元和所述第二内积单元连接；

所述交叉通道平均池化单元和所述交叉通道最大池化单元均与所述第二融合单元连接；

所述第二融合单元依次经所述第三卷积单元、所述第三激活单元与所述第二内积单元连接。

根据本申请实施例的第二方面，提供了一种图像去雨网络的训练方法，所述训练方法包括：获取车辆在同一地理位置采集的无雨滴图像和待去雨图像；将所述待去雨图像和所述无雨滴图像输入至上述图像去雨网络中进行训练，得到训练好的图像去雨网络。

在本申请的一些实施例中，基于前述方案，将所述训练好的图像去雨网络部署在硬件平台Nvidia Jetson Xavier上，并对所述训练好的图像去雨网络进行8位整型量化。

根据本申请实施例的第三方面，提供了一种图像去雨网络的训练设备，所述图像去雨网络的训练设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。

根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

在本申请中，通过在图像去雨网络中设计第一卷积网络和第二卷积网络，其中，所述第一卷积网络，用于基于改进的UNet网络对待去雨图像进行预测，并将预测得到的第一去雨滤波核与所述待去雨图像进行逐像素卷积，得到第一去雨图像；所述第二卷积网络，用于基于所述改进的UNet网络对所述第一去雨图像进行预测，并将预测得到的第二去雨滤波核与所述第一去雨图像进行逐像素卷积，得到目标去雨图像。通过将图像去雨网络设计成两个基于改进的UNet网络构建的卷积网络，利用该图像去雨网络对待去雨图像进行去雨，可以有效提升图像去雨的精度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。在附图中：

图1为一个实施例中图像去雨网络的结构框图；

图2为图1中图像去雨网络的结构示意图；

图3为一个实施例中通道注意力模块的结构示意图；

图4为一个实施例中空间注意力模块的结构示意图；

图5为一个实施例中图像去雨网络的训练方法的流程示意图；

图6为一个实施例中利用训练好的图像去雨网络去除测试集图像中小雨滴的效果示意图；

图7为一个实施例中利用训练好的图像去雨网络去除测试集图像中大雨滴的效果示意图；

图8为一个实施例中图像去雨网络的训练装置的结构框图；

图9为一个实施例中图像去雨网络的训练设备的内部结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

需要注意的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的对象在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在图示或描述的那些以外的顺序实施。

图1为一个实施例中图像去雨网络的结构框图。

如图1所示，本申请实施例提供了一种图像去雨网络，图像去雨网络包括第一卷积网络和第二卷积网络，其中，第一卷积网络，用于基于改进的UNet网络对待去雨图像进行预测，并将预测得到的第一去雨滤波核与待去雨图像进行逐像素卷积，得到第一去雨图像；第二卷积网络，用于基于改进的UNet网络对第一去雨图像进行预测，并将预测得到的第二去雨滤波核与第一去雨图像进行逐像素卷积，得到目标去雨图像。

应当理解的是，由于生成对抗网络广泛应用于图像修复，在去除图像中的雨滴时，通常将待去雨图像输入至训练好的生成对抗网络中，得到生成对抗网络输出的去雨后图像。然而，利用生成对抗网络得到的去雨后图像中残留痕迹较为明显，去雨效果较差。本实施例利用改进的UNet网络构建两个卷积网络，将两个卷积网络作为图像去雨网络，由第一卷积网络进行粗略去雨，第二卷积网络精确去雨，相较于利用一级网络去雨具有更高的精度。卷积网络中通过UNet网络预测出输入图像的每个像素的去雨滤波核，再将去雨滤波核与输入图像进行逐像素卷积，相较于生成对抗网络，既能获得更多的雨滴区域的特征，也能在图像复原时弥补从前层传递来的特征图的信息损失，具有更好的去雨效果。

其中，改进的UNet网络是以UNet网络为基础的网络，可以通过下采样提取雨滴区域的特征，再通过上采样将图像恢复至原来的尺寸，进而实现输入图像的雨滴区域的特征提取，即得到输入图像的每个像素的去雨滤波核。对于改进的UNet网络的具体网络结构，本实施例对此不加以限制。

具体地，第一去雨滤波核与待去雨图像进行逐像素卷积，是将待去雨图像的每个像素和第一去雨滤波核中与各像素对应的元素进行卷积操作，第二去雨滤波核与第一去雨图像进行逐像素卷积可以采用相同的方式实现，在此不再赘述。

在具体实现中，可以采集不同场景、不同数量及大小即不同失真程度的雨滴图像数据集，将图像数据集按照3:1:1的数量比例依次划分为训练集、验证集和测试集，前两者分别进行图像去雨网络的训练、超参调整与初步评估，最后者在图像去雨网络训练完成后进行评测。在图像去雨网络训练完成后，将车辆采集到的当前雨滴图像输入至训练好的图像去雨网络中，可以得到该网络输出的去雨图像。

本实施例通过在图像去雨网络中设计第一卷积网络和第二卷积网络，其中，第一卷积网络，用于基于改进的UNet网络对待去雨图像进行预测，并将预测得到的第一去雨滤波核与待去雨图像进行逐像素卷积，得到第一去雨图像；第二卷积网络，用于基于改进的UNet网络对第一去雨图像进行预测，并将预测得到的第二去雨滤波核与第一去雨图像进行逐像素卷积，得到目标去雨图像。通过将图像去雨网络设计成两个基于改进的UNet网络构建的卷积网络，利用该图像去雨网络对待去雨图像进行去雨，可以有效提升图像去雨的精度。

图2为图1中图像去雨网络的结构示意图。

图像去雨网络中第一卷积网络与第二卷积网络采用了相同的改进的UNet网络，为了便于区分和描述，图2中对第一卷积网络和第二卷积网络中的具体结构采用了不同的标号。以下以第一卷积网络中的改进的UNet网络为例进行重点解释。如图2所示，在一个示例中，改进的UNet网络依次包括第一网络层C1至第十三网络层D13，第一网络层C1、第二网络层C2、第三网络层C3、第四网络层C4、第五网络层C5、第七网络层C7、第九网络层C9和第十一网络层C11均为组合层，第六网络层S6、第八网络层S8、第十网络层S10和第十二网络层S12为上采样层，第十三网络层D13为空洞卷积层，组合层包括平均池化层、卷积层和激活层中的多者。

应当理解的是，待去雨图像经过第一网络层C1至第五网络层C5操作后，特征图的尺寸逐步减小，后面经过第七网络层C7至第十二网络层S12的操作后，特征图的尺寸逐步增加，即通过先下采样后上采样的方式恢复原始图像尺寸；第二级卷积网络以第一卷积网络的输出作为输入，经过第二次预测的去雨滤波核与该输入进行逐像素卷积得到最终的精细输出，即最终雨滴去除后的目标去雨图像。

本实施例中，第一网络层C1、第二网络层C2、第三网络层C3、第四网络层C4、第五网络层C5、第七网络层C7、第九网络层C9和第十一网络层C11均设计有空洞卷积，其中，第二网络层C2、第三网络层C3、第四网络层C4、第七网络层C7、第九网络层C9和第十一网络层C11的扩张率均大于1。

对于第一网络层C1、第二网络层C2、第三网络层C3、第四网络层C4、第五网络层C5、第七网络层C7、第九网络层C9和第十一网络层C11的卷积核大小和卷积步长，可以根据具体情况进行设计，例如卷积核大小kernel size可以是均为3，卷积步长stride可以是均为1，本实施例对此不加以限制。

通过为上述网络层设计空洞卷积，增加了图像去雨网络的感受野，提升了对雨滴像素邻域区域差异化特征的感知能力。

在一个实施例中，第一网络层C1至第四网络层C4、第五网络层C5、第七网络层C7、第九网络层C9和第十一网络层C11的扩张率dilation rate呈锯齿状递增。

例如第一网络层C1、第二网络层C2、第三网络层C3和第四网络层C4的扩张率依次对应为1、2、3、5，第五网络层C5、第七网络层C7、第九网络层C9和第十一网络层C11的扩张率依次对应为1、2、3、4。

在具体实现中，第一网络层C1可以由dilation rate为1的空洞卷积和修正线性单元(Rectified Linear Unit，ReLU)层构成，第二网络层C2至第五网络层C5在第一网络层C1的基础上先进行了平均池化操作。

第二卷积网络中的改进的UNet网络包括第十四网络层C14(对应第一网络层C1)、第十五网络层C15(对应第二网络层C2)、第十六网络层C16(对应第三网络层C3)、第十七网络层C17(对应第四网络层C4)、第十八网络层C18(对应第五网络层C5)、第十九网络层S19(对应第六网络层S6)、第二十网络层C20(对应第七网络层C7)、第二十一网络层S21(对应第八网络层S8)、第二十二网络层C22(对应第九网络层C9)、第二十三网络层S23(对应第十网络层S10)、第二十四网络层C24(对应第十一网络层C11)、第二十五网络层S25(对应第十二网络层S12)、第二十六网络层D26(对应第十三网络层D13)，其结构设计可以参照第一卷积网络中的改进的UNet网络，在此不再赘述。

需要说明的是，目前基于核预测网络(Kernel Prediction Networks,KPN)的卷积神经网络(Convolutional Neural Networks,CNN)和GAN网络容易出现去雨视频画面“闪动”而不稳定的情形，本实施例通过设计不同扩张率的多层空洞卷积，使得多层空洞卷积的感受野不一样，能够获取不同大小雨滴对应的多尺度特征，从而使卷积网络更好的感知相邻帧之间的像素差异，以便稳定的处理相邻帧之间雨滴和背景像素的变化，通过将扩张率设计成锯齿结构，在增大感受野的同时，可以有效避免因丢失过多信息而产生的网格效应。

在一个实施例中，第二网络层C2与第十网络层S10跳跃连接，第三网络层C3和第八网络层S8跳跃连接，第四网络层C4和第六网络层S6跳跃连接。

具体地，通过第二网络层C2和第十网络层S10跳跃连接，可以实现第二网络层C2输出的特征图和第九网络层C9的输出进行上采样后得到的特征图(即第十网络层S10输出的特征图)进行通道融合；通过第三网络层C3和第八网络层S8跳跃连接，可以实现第三网络层C3输出的特征图和第七网络层C7的输出进行上采样后得到的特征图(即第八网络层S8输出的特征图)进行通道融合；通过第四网络层C4和第六网络层S6跳跃连接，可以实现第四网络层C4输出的特征图和第五网络层C5的输出进行上采样后得到的特征图(即第六网络层S6输出的特征图)进行通道融合。

通过第一卷积网络和第二卷积网络在预测去雨滤波核的过程中设计跳跃连接结构，不仅可以防止在训练时网络加深导致的梯度消失或爆炸问题，还可以在图像复原时弥补从前层传递来的特征图的信息损失。

图3为一个实施例中通道注意力模块的结构示意图。一并参照图2和图3，第七网络层C7包括通道注意力模块；通道注意力模块包括第一输入单元、第一平均池化单元、第二平均池化单元、第一融合单元、第一卷积单元、第一激活单元、第二卷积单元、第二激活单元和第一内积单元；其中，第一输入单元分别与第一平均池化单元、第二平均池化单元和第一内积单元连接；第一平均池化单元和第二平均池化单元均与第一融合单元连接；第一融合单元依次经第一卷积单元、第一激活单元、第二卷积单元、第二激活单元与第一内积单元连接。

应当理解的是，第七网络层C7输出的特征图经第一平均池化单元和第二平均池化单元进行平均池化处理，将处理后的特征图依次经第一融合单元进行通道融合、第一卷积单元进行卷积运算、第一激活单元进行ReLU激活函数激活、第二卷积单元进行卷积运算、第二激活单元进行Sigmoid激活函数激活后，再与第七网络层C7输出的特征图经第一内积单元进行内积处理，最后输出特征图。

图4为一个实施例中空间注意力模块的结构示意图。一并参照图2和图4，第十一网络层C11包括空间注意力模块；空间注意力模块包括第二输入单元、交叉通道平均池化单元、交叉通道最大池化单元、第二融合单元、第三卷积单元、第三激活单元和第二内积单元；其中，第二输入单元分别与交叉通道平均池化单元、交叉通道最大池化单元和第二内积单元连接；交叉通道平均池化单元和交叉通道最大池化单元均与第二融合单元连接；第二融合单元依次经第三卷积单元、第三激活单元与第二内积单元连接。

应当理解的是，第十一网络层C11输出的特征图分别经交叉通道平均池化单元和交叉通道最大池化单元进行池化处理，将处理后的特征图依次经第三融合单元进行通道融合、第三卷积单元进行卷积运算、第三激活单元进行Sigmoid激活函数激活后，再与第十一网络层C11输出的特征图经第二内积单元进行内积处理，最后输出特征图。

第十一网络层C11输出的特征图经过上采样后再经过一次kernel size为1、stride为1、填充padding为0、dilation rate为2的空洞卷积后得到第一去雨滤波核，该滤波核与跳跃连接过来的待去雨图像进行逐像素卷积后得到第一去雨图像。

应当理解的是，由于跳跃连接过程中输入到第七网络层C7的特征图通道数较多，输入到第十一网络层C11的特征图尺寸较大，为了充分利用注意力机制的性能以及减少模型计算量，便只在第七网络层C7中添加了通道注意力机制，而只在第十一网络层C11中添加了空间注意力机制。通过在改进的UNet网络中加入了通道注意力机制和空间注意力机制，使图像去雨网络更加关注雨滴区域的特征，增加对输入的待去雨图像中雨滴和背景区域的区分度，从而提升模型图像去雨的精度。

图5为一个实施例中图像去雨网络的训练方法的流程示意图，如图5所示，提供了一种图像去雨网络的训练方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，图像去雨网络的训练方法可以包括以下步骤：

步骤501，获取车辆在同一地理位置采集的无雨滴图像和待去雨图像。

具体地，车辆采集不同场景、不同数量及不同大小(即不同失真程度)的雨滴图像数据集，具体做法可以是：在傍晚与阴天室外、地下停车库、晴天与白天室外、晚上室外等多种场景下，停车时先拍摄一张无雨滴照片作为真值数据，然后使用可以调节流量大小的喷壶并使用最小流量手工对车辆后视镜头喷洒水滴，此时拍摄一张照片作为小雨滴数据；擦掉镜头雨滴，并加大一档流量后继续对镜头喷洒水滴，拍摄此时的照片作为大雨滴数据，然后再次将镜头雨滴擦除；开动车辆去不同的位置继续重复上述采集过程，直至数据量达到预定要求。

终端从车辆获取采集的数据，并将同一地理位置的失真数据(即待去雨图像)和对应的真值数据(即无雨滴图像)进行一一配对，得到成组的数据集。终端可以将采集的数据集按照3:1:1的数量比例依次划分为训练集、验证集和测试集，前两者分别进行网络的训练、超参调整与初步评估，最后者进行训练完网络的评测。

步骤502，将待去雨图像和无雨滴图像输入至上述的图像去雨网络中进行训练，得到训练好的图像去雨网络。

具体地，待去雨图像输入图像去雨网络后，先后通过第一卷积网络和第二卷积网络，得到雨滴去除后的目标去雨图像，训练时该目标去雨图像与输入的无雨滴图像进行损失值计算，通过训练迭代不断调整网络参数；推理时该目标去雨图像直接作为最终的输出图像。

一并参照图2和图5，在一个实施例中，待去雨图像的图像形状shape值为368*640*3，在输入图像去雨网络后，经过预处理得到预处理后的图像，其中，经过的预处理步骤包括BGR转RGB、归一化到[0,1]、减均值(0.306,0.309,0.300)和除方差(0.150,0.155,0.162)等，其中均值和方差数值是通过在训练集上进行计算得到。第二卷积网络复用了第一卷积网络，这里只对第一卷积网络进行具体说明，其采用改进的UNet网络结构来预测第一去雨滤波核，然后该滤波核与待去雨图像进行逐像素卷积操作，得到第一去雨图像；第一卷积网络中添加了通道和空间注意力机制以及多层不同膨胀率空洞卷积设计，增强了模型对雨滴和背景的区分度以及邻域像素差异化特征的感知能力，第一卷积网络的网络结构如图2上半部分所示，第一网络层C1、第二网络层C2、第三网络层C3、第四网络层C4、第五网络层C5、第七网络层C7、第九网络层C9和第十一网络层C11中均设计有空洞卷积，其kernel size均为3、stride均为1。在增大感受野的同时，为了避免丢失过多信息而产生网格效应，这里将这8个网络层中空洞卷积的dilation rate设计成锯齿结构，数值依次为1、2、3、5。第一网络层由dilation rate为1的空洞卷积和ReLU层构成，第二网络层C2至第五网络C5层在第一网络层C1的基础上先进行了平均池化操作。第二网络层C2、第三网络层C3和第四网络层C4输出的特征图通过跳跃连接分别与对第九网络层C9、第七网络层C7和第五网络层C5的输出进行上采样后得到的特征图对应进行了通道融合。考虑到跳跃连接过程中输入到第七网络层C7的特征图通道数较多、输入到第十一网络层C11的特征图尺寸较大，在第七网络层C7中添加了通道注意力机制，而只在第十一网络层C11中添加了空间注意力机制。第十一网络层C11输出的特征图经过上采样后再经过一次kernel size为1、stride为1、padding为0、dilation rate为2的空洞卷积后得到第一去雨滤波核，该滤波核与跳跃连接过来的待去雨图像进行逐像素卷积后得到第一去雨图像。预处理后的图像经过第一网络层C1至第五网络层C5的操作后特征图的尺寸逐步减小，后面经过第七网络层C7至第十二网络层S12的操作后特征图的尺寸逐步增加，即通过先下采样后上采样的方式恢复原始图像尺寸。第二卷积网络以第一卷积网络的输出作为输入，经过第二次预测的第二去雨滤波核与该输入进行逐像素卷积得到最终的精细输出，即目标去雨图像。网络训练时可以采用预先设定的损失函数，网络迭代训练中通过损失值的反向传播不断更新参数，在训练收敛时结束训练，得到训练好的图像去雨网络。

在具体实现中，损失函数可以采用以下公式表示：

Loss＝Loss

Loss

其中，

其中，MAX

通过上述方案训练得到的图像去雨网络，在用于图像去雨时，可以有效解决单帧图像去雨滴后残留痕迹较为明显、连续多帧图像去雨滴时画面容易“闪动”的问题，具有单帧图像去雨精度高、多帧图像去雨画面稳定平滑的特点。

在一个实施例中，图像去雨网络的训练方法还可以包括以下步骤：

步骤503，将训练好的图像去雨网络部署在硬件平台Nvidia Jetson Xavier上，并对训练好的图像去雨网络进行8位整型量化。

具体地，训练好的图像去雨网络为.pth格式的模型，可以将其转换为.onnx格式的模型，然后在硬件平台Nvidia Jetson Xavier上通过tensorrt推理库进一步量化为int8数据类型的.trt格式的模型。在测试集上进行测试时，模型的推理速度大于30帧/秒，峰值信噪比(Peak Signal to Noise Ratio，PSNR)和结构相似度(Structural Similarity，SSIM)结果如下表1所示：

表1

由表1可知，通过训练好的图像去雨网络去除测试集图像中的小雨滴或大雨滴时，PSNR和SSIM值都较高，可见训练好的图像去雨网络具有单帧去雨精度高的优势。

图6为一个实施例中利用训练好的图像去雨网络去除测试集图像中小雨滴的效果示意图，从左往右依次为无雨滴图像、测试集中具有小雨滴的待去雨图像及去雨滴后的目标去雨图像。图7为一个实施例中利用训练好的图像去雨网络去除测试集图像中大雨滴的效果示意图，从左往右依次为无雨滴图像、测试集中具有大雨滴的待去雨图像及去雨滴后的目标去雨图像。

如图6和图7所示，通过训练好的图像去雨网络去除待去雨图像中的小雨滴或大雨滴时，基本没有出现处理变化背景和雨滴时的画面“闪动”情形，具有去雨画面稳定平滑的优势。

通过将训练好的图像去雨网络部署在硬件平台Nvidia Jetson Xavier上，并对训练好的图像去雨网络进行8位整型量化，使得最终模型推理速度较快，可以满足NvidiaJetson Xavier上模型部署的实时性要求，极大地提升用户的使用体验感。

应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图8所示，提供了一种图像去雨网络的训练装置，包括：数据获取单元801和网络训练单元802，其中：

数据获取单元801，用于获取车辆在同一地理位置采集的无雨滴图像和待去雨图像。

网络训练单元802，用于将待去雨图像和无雨滴图像输入至上述图像去雨网络中进行训练，得到训练好的图像去雨网络。

在本申请的一些实施例中，基于前述方案，图像去雨网络的训练装置还可以包括网络部署单元803，用于将训练好的图像去雨网络部署在硬件平台Nvidia Jetson Xavier上，并对训练好的图像去雨网络进行8位整型量化。

上述图像去雨网络的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

基于同一发明构思，本申请实施例还提供了一种图像去雨网络的训练设备。图9为一个实施例中图像去雨网络的训练设备的内部结构图，如图9所示，图像去雨网络的训练设备包括一个或多个存储器904、一个或多个处理器902及存储在存储器904上并可在处理器902上运行的至少一条计算机程序(程序代码)，处理器902执行计算机程序时实现如前的图像去雨网络的训练方法。

其中，在图9中，总线架构(用总线900来代表)，总线900可以包括任意数量的互联的总线和桥，总线900将包括由处理器902代表的一个或多个处理器和存储器904代表的存储器的各种电路链接在一起。总线900还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口905在总线900和接收器901和发送器903之间提供接口。接收器901和发送器903可以是同一个元件，即收发机，提供用于在传输介质上与各种其它装置通信的单元。处理器902负责管理总线900和通常的处理，而存储器904可以被用于存储处理器902在执行操作时所使用的数据。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的图像去雨网络的训练设备的限定，具体的图像去雨网络的训练设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取车辆在同一地理位置采集的无雨滴图像和待去雨图像；

将待去雨图像和无雨滴图像输入至上述图像去雨网络中进行训练，得到训练好的图像去雨网络。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将训练好的图像去雨网络部署在硬件平台Nvidia Jetson Xavier上，并对训练好的图像去雨网络进行8位整型量化。

本文中所描述的功能可在硬件、由处理器执行的软件、固件或其任何组合中实施。如果在由处理器执行的软件中实施，那么可将功能作为一或多个指令或代码存储于计算机可读媒体上或经由计算机可读媒体予以传输。其它实例及实施方案在本申请及所附权利要求书的范围及精神内。举例来说，归因于软件的性质，上文所描述的功能可使用由处理器、硬件、固件、硬连线或这些中的任何者的组合执行的软件实施。此外，各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为控制装置的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。