基于两级反射光消除网络和感知损的反射光去除方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于两级反射光消除网络和感知损的反射光去除方法。

背景技术

反射光去除是图像质量提升技术领域的重要组成部分，它在光电成像系统、图像复原系统、图像质量提升系统等许多系统中都有非常广泛的实际应用。近几年，基于深度学习的图像反射光去除方法广泛应用在图像质量提升领域。

现有的图像反射光去除方法中，CEILNet网络由两个结构相同的32层子网络构成，总深度达到64层，其中第一个子网络接收反射干扰图像及其梯度作为输入，其输出为透射光的梯度预测，而第二个子网络则将反射干扰图像与预测梯度值作为输入，最终得到透射光估计。两个子网络相互独立，单独训练推理。该方法存在的不足之处是：由于CEILNet网络增强特性数量较少，因此图像反射光去除以后的结果存在色彩失真。

目前还存在利用CRRN网络对图像反射光去除的方法，该方法同样将反射干扰图像及其梯度作为独立输入，其不同点是两个子网络在多个不同尺度上进行了互联，其梯度与图像推理可以并行实现，这比CEILNet更加紧凑，而且两个子网络不再需要分别训练。该方法存在的不足之处是：由于CRRN网络是直接估计透射图，因此图像反射光去除以后的结果存在细节损失的问题。

发明内容

本发明要解决的技术问题是提供一种基于两级反射光消除网络和感知损的反射光去除方法，其能够获得图像反射光去除以后的透射图，可以对多种场景的图像进行有效的反射光去除，并且不会出现色彩失真和细节损失。

为了解决上述技术问题，本发明提供了一种基于两级反射光消除网络和感知损的反射光去除方法，包括以下步骤：首先采用基于两级反射光消除网络和感知损失的反射光去除方法对图像反射光进行去除，且前一级反射光消除网络提取的特征作为后一级反射光消除网络的输入；然后训练两级反射光消除网络直到两级反射光消除网络参数收敛得到训练好的两级反射光消除网络；最后用训练好的两级反射光消除网络对测试数据集进行图像反射光去除，获得图像反射光去除以后的透射图。

本发明一个较佳实施例中，进一步包括，采用基于两级反射光消除网络和感知损失的反射光去除方法对图像反射光进行去除时，包括以下步骤，首先设置两级反射光消除网络中生成器的一级子网络和二级子网络；然后设定两级反射光消除网络中生成器基于感知损失的损失函数；再设定两级反射光消除网络中鉴别器的损失函数。

本发明一个较佳实施例中，进一步包括以下步骤：S1、利用模拟数据和真实数据构建训练数据集和测试数据集；S2、设置两级反射光消除网络中生成器的一级子网络；S3、设置两级反射光消除网络中生成器的二级子网络；S4、利用训练数据集中模拟数据的真实透射图和反射图、粗估计的透射图和反射图以及图像反射光去除以后的透射图构造两级反射光消除网络中生成器基于模拟数据感知损失的损失函数；S5、利用训练数据集中真实数据的真实透射图、粗估计的透射图以及图像反射光去除以后的透射图构造两级反射光消除网络中生成器基于真实数据感知损失的损失函数；S6、将两级反射光消除网络中生成器基于模拟数据感知损失的损失函数、两级反射光消除网络中生成器基于真实数据感知损失的损失函数以及原始生成器对抗损失函数相加作为两级反射光消除网络中生成器的损失函数；S7、设定两级反射光消除网络中鉴别器的损失函数；S8、训练两级反射光消除网络，依次载入训练数据集中第M帧图像作为当前帧图像，将当前帧图像输入生成器的一级子网络得到粗估计的透射图和反射图，再将粗估计的透射图和反射图输入生成器的二级子网络得到反射光去除以后的透射图，判断当前帧图像是否为训练数据集的最后一帧图像，如果是则完成此轮训练，如果不是继续载入后续帧图像进行训练，其中，M表示大于等于一的整数；S9、判断两级反射光消除网络参数是否收敛，如果是则完成全部训练，如果不是则返回S8，继续下一轮训练直到得到训练好的两级反射光消除网络；S10、用训练好的两级反射光消除网络对测试数据集进行反射光去除，输出反射光去除以后的透射图。

本发明一个较佳实施例中，进一步包括步骤S2中设置一级子网络的方法为：S201、设定一个8层4个不同尺度的编码-解码器；S202、利用4个卷积块注意单元连接同一尺度的编码-解码器层；S203、构建一个64加3×2个通道的全卷积神经网络；S204、将步骤S201至S203连接在一起作为两级反射光消除网络中生成器的一级子网络。

本发明一个较佳实施例中，进一步包括步骤S3中设置一级子网络的方法为：S301、设定9层基于门卷积神经网络的特征提取层；S302、设定1层卷积网络特征提取层；S303、将步骤S301至S302连接在一起作为两级反射光消除网络中生成器的二级子网络。

本发明一个较佳实施例中，进一步包括步骤S4中构造基于模拟数据感知损失的损失函数的公式为：

其中，L

本发明一个较佳实施例中，进一步包括步骤S5中构造基于真实数据感知损失的损失函数的公式为：

其中，L

本发明一个较佳实施例中，进一步包括步骤S6中构造生成器的损失函数的公式为：

L＝αL

L

其中，α、β和χ分别为L

本发明一个较佳实施例中，进一步包括步骤S7中构造鉴别器的损失函数的公式为：

其中，L

本发明一个较佳实施例中，进一步包括所述卷积块注意单元实现特征增强的步骤包括：第一步，针对通道特征增强，首先对每个通道分别进行最大池化与平均池化，形成两个与特征通道数等长的特征向量；然后再通过共享权值的三层全连接网络对两个特征向量进行处理，最终得到一个增强向量；最后将增强向量中元素的值作为增强系数，与各个通道特征图分别相乘，实现特征的通道增强；第二步，针对空间特征增强，则是先对特征进行空间最大池化和平均池化，得到两幅特征图；而后通过参数共享的卷积与Sigmoid激活，得到空间增强系数；最后将这一增强系数与原特征图相同位置所有通道的值分别相乘，得到最终结果；所述全卷积子网络的前7层的通道数均设置为64，并引入空洞卷积来增大感受野，空洞卷积的空间跨度分别设置为{2,4,8,16,32,64,1,1}，卷积窗口尺寸均为3×3，前7层的激活与归一化函数设置与编解码子网络相同；最后一层的输出为3×2通道，并将其作为两个三通道RGB图像来分别表示粗估计的反射图和透射图。

本发明的有益效果：

本发明的基于两级反射光消除网络和感知损的反射光去除方法，通过优化的设计，可以对多种场景的图像进行有效的反射光去除。通过两级反射光消除网络对估计的反射图像中信息的进一步充分利用来提升透射图的估计精度，克服了现有技术中直接估计透射图导致的反射光去除以后的结果存在细节损失的缺点。且通过加入感知损失作为后一级反射光消除网络的输入，使网络先考虑了粗估计的透射图和反射图，并将这两个估计量与提取的特征一起作为二级子网络的输入，进一步提升了透射图的精度，即本发明的网络采用了由粗到精的两级结构，克服了现有技术中容易出现色彩失真的缺点。

附图说明

图1为本发明优选实施例中基于两级反射光消除网络和感知损的反射光去除方法的流程示意图；

图2为基于两级反射光消除网络和感知损的反射光去除方法的两级反射光消除网络的示意图；

图3为本发明模拟数据的输入图像示意图；

图4为本发明模拟数据的真实透射图示意图；

图5为本发明模拟数据的真实反射图示意图；

图6为本发明模拟数据的粗估计的透射图示意图；

图7为本发明模拟数据的粗估计的反射图示意图；

图8为本发明模拟数据的反射光去除以后的透射图示意图；

图9为本发明真实数据的输入图像示意图；

图10为本发明真实数据的真实透射图示意图；

图11为本发明真实数据的粗估计的透射图示意图；

图12为本发明真实数据的反射光去除以后的透射图示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

实施例

本发明公开一种基于两级反射光消除网络和感知损的反射光去除方法，包括以下步骤：首先采用基于两级反射光消除网络和感知损失的反射光去除方法对图像反射光进行去除，且前一级反射光消除网络提取的特征作为后一级反射光消除网络的输入；然后训练两级反射光消除网络直到两级反射光消除网络参数收敛得到训练好的两级反射光消除网络；最后用训练好的两级反射光消除网络对测试数据集进行图像反射光去除，获得图像反射光去除以后的透射图。以上优化的设计，可以对多种场景的图像进行有效的反射光去除，通过两级反射光消除网络对估计的反射图像中信息的进一步充分利用来提升透射图的估计精度，克服了现有技术中直接估计透射图导致的反射光去除以后的结果存在细节损失的缺点。且通过加入感知损失作为后一级反射光消除网络的输入，使网络先考虑了粗估计的透射图和反射图，并将这两个估计量与提取的特征一起作为二级子网络的输入，进一步提升了透射图的精度，即本发明的网络采用了由粗到精的两级结构，克服了现有技术中容易出现色彩失真的缺点。

具体的，在采用基于两级反射光消除网络和感知损失的反射光去除方法对图像反射光进行去除时，可以首先设置两级反射光消除网络中生成器的一级子网络和二级子网络；然后设定两级反射光消除网络中生成器基于感知损失的损失函数；再设定两级反射光消除网络中鉴别器的损失函数；之后则可以进行收敛训练。

参照图1和图2所示，具体而言，本发明一些优选的实施方式，包括以下步骤：

步骤1：利用模拟数据和真实数据构建训练数据集和测试数据集；

具体地，本发明两级反射光消除网络采用的训练数据是伯克利大学数据集，构建的训练数据集包括13700对透射图和反射图的模拟数据，以及90幅真实数据，构建的测试数据集包括20幅真实数据。如图3所示，为本发明模拟数据的输入图像示意图。如图4所示，为本发明模拟数据的真实透射图示意图。如图5所示，为本发明模拟数据的真实反射图示意图。输入图像在消除了真实反射图后即得到了真实透射图。

步骤2：设置两级反射光消除网络中生成器的一级子网络；

具体通过以下步骤实现：

步骤201，设定一个8层4个不同尺度的编码-解码器；

具体地，本发明编码-解码器8个卷积层的通道数量分别设置为{64,128,256,512,512,256,128,64}，卷积模板均为3×3，每个卷积层包含一个LReLU激活层以及批正则化操作。

步骤202，利用4个卷积块注意单元连接同一尺度的编码-解码器层；

具体地，卷积块注意单元主要通过两个步骤来实现特征增强：第一步，针对通道特征增强，首先对每个通道分别进行最大池化与平均池化，形成两个与特征通道数等长的特征向量；然后再通过共享权值的三层全连接网络对两个特征向量进行处理，最终得到一个增强向量；最后将增强向量中元素的值作为增强系数，与各个通道特征图分别相乘，实现特征的通道增强。第二步，针对空间特征增强，则是先对特征进行空间最大池化和平均池化，得到两幅特征图；而后通过参数共享的卷积与Sigmoid激活，得到空间增强系数；最后将这一增强系数与原特征图相同位置所有通道的值分别相乘，得到最终结果。

步骤203，构建一个64加3×2个通道的全卷积神经网络；

具体地，全卷积子网络的前7层的通道数均设置为64，并引入空洞卷积来增大感受野，空洞卷积的空间跨度分别设置为{2,4,8,16,32,64,1,1}，卷积窗口尺寸均为3×3，前7层的激活与归一化函数设置与编解码子网络相同。最后一层的输出为3×2通道，并将其作为两个三通道RGB图像来分别表示粗估计的反射图和透射图。

步骤204，将步骤S201至S203连接在一起作为两级反射光消除网络中生成器的一级子网络。

步骤3：设置两级反射光消除网络中生成器的二级子网络；

具体通过以下步骤实现：

步骤301，设定9层基于门卷积神经网络的特征提取层；

具体地，9层基于门卷积神经网络的特征提取层的特征通道数均为32，采用的空洞卷积空间跨度分别设置为{1,2,4,8,16,32,64,1,1}，卷积窗口尺寸均为3×3。

步骤302，设定1层卷积网络特征提取层；

具体地，最后1层卷积网络特征提取层为普通卷积层且不含激活和归一化，本层输出为3通道，即RGB格式的透图像反射光去除以后的透射图。

步骤303，将步骤S301至S302连接在一起作为两级反射光消除网络中生成器的二级子网络。

步骤4：利用训练数据集中模拟数据的真实透射图和反射图、粗估计的透射图和反射图以及图像反射光去除以后的透射图构造两级反射光消除网络中生成器基于模拟数据感知损失的损失函数，具体为：按照下式，设定两级反射光消除网络中生成器基于模拟数据感知损失的损失函数：

其中，L

具体地，实验中η取值为0.5，λ

步骤5：利用训练数据集中真实数据的真实透射图、粗估计的透射图以及图像反射光去除以后的透射图构造两级反射光消除网络中生成器基于真实数据感知损失的损失函数，具体为：按照下式，设定两级反射光消除网络中生成器基于真实数据感知损失的损失函数：

其中，L

具体地，对于真实数据，由于没有反射参考图，因此损失函数中不包含反射误差项。

步骤6：将两级反射光消除网络中生成器基于模拟数据感知损失的损失函数、两级反射光消除网络中生成器基于真实数据感知损失的损失函数以及原始生成器对抗损失函数相加作为两级反射光消除网络中生成器的损失函数，具体地，按照下式，设定两级反射光消除网络中生成器的损失函数：

L＝αL

L

其中，α、β和χ分别为L

具体地，实验中α、β和χ均等于1。

步骤7：设定两级反射光消除网络中鉴别器的损失函数，具体地，按照下式，设定两级反射光消除网络中鉴别器的损失函数：

其中，L

步骤8：训练两级反射光消除网络，依次载入训练数据集中第M帧图像作为当前帧图像，将当前帧图像输入生成器的一级子网络得到粗估计的透射图和反射图，再将粗估计的透射图和反射图输入生成器的二级子网络得到图像反射光去除以后的透射图，判断当前帧图像是否为训练数据集的最后一帧图像，如果是则完成此轮训练，如果不是继续载入后续帧图像进行训练，其中，M表示大于等于一的整数；

步骤9：判断两级反射光消除网络参数是否收敛，如果是则完成全部训练，如果不是则返回步骤8，继续下一轮训练直到得到训练好的两级反射光消除网络；

具体地，本发明所提的两级反射光消除网络通过Nvidia RTX Titan V以及Tensorflow 1.9.0进行训练，共训练150个回合(学习率0.0001、0.00003以及0.00001各训练50回合)。

步骤10：用训练好的两级反射光消除网络对测试数据集进行图像反射光去除，输出图像反射光去除以后的透射图。

如图6所示为本发明模拟数据的粗估计的透射图示意图，图7为本发明模拟数据的粗估计的反射图示意图，图8为本发明模拟数据的反射光去除以后的透射图示意图，模拟数据在经过两级反射光网络消除反射光以后，已基本还原了图4中模拟数据的真实透射图。图9为本发明真实数据的输入图像示意图，图10为本发明真实数据的真实透射图示意图，图11为本发明真实数据的粗估计的透射图示意图，图12为本发明真实数据的反射光去除以后的透射图示意图，真实数据在经过两级反射光网络消除反射光以后，已基本还原了图10中真实数据的真实透射图。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。