一种基于深度学习的偏振彩色化方法

技术领域

本发明涉及一种偏振彩色化方法。

背景技术

偏振信息是独立于振幅、相位、频率的信息，物体在反射和辐射电磁波过程中会根据物体表面性质改变其偏振态，不同目标或相同目标不同状态产生的偏振信息不同，根据这种特性可有效辨别目标与背景信息，从而实现目标的高效探索识别，在军事和民用领域均有着深远的应用前景，因此，将偏振信息与现有成像系统相融合，可有效克服对比度低的情况下目标有效信息难以提取的问题。目前现有的偏振成像效果多为灰度图像，而人眼对于彩色目标的识别能力更强，为丰富观察到场景目标的细节层次，需采用图像处理手段对偏振成像进行彩色化处理。

传统的彩色化方法包括基于用户引导下的颜色传播类算法、基于指定函数或参数的颜色映射算法以及基于数据驱动的图像着色方法等。基于用户引导下的颜色传播类算法对于色度深浅等属性无法较好地进行表征与实现，彩色化的准确性也不可预知。基于指定函数或参数的颜色映射算法主要是伪彩着色，依赖于阈值分割，且彩色化效果不符合人眼的观察习惯。基于数据驱动的图像着色方法主要在于要针对目标着色图像寻找适配的参考图像，但是每一次匹配后工作过程和结果不能重复利用，在对新的图像进行着色时，需要重新匹配。

为弥补上述彩色化方法的不足，需研究新型偏振图像的彩色化处理技术。深度学习的不断发展以及计算机性能的不断提高，为偏振图像彩色化处理提供了新的方式。考虑到深度学习有着丰富的算法类型及强大的特征提取及表征能力，尤其是卷积神经网络在特征提取方面的显著优势，在偏振图像的彩色化方面采用基于卷积神经网络的深度学习算法进行学习处理。从数据集制作、网络结构设计以及损失函数构造设计入手，建立偏振图像与我们所希望获得的彩色图像之间的非线性映射关系，最终获得符合人眼观察习惯的偏振图像彩色化处理效果。

发明内容

本发明的目的是根据偏振图像特点，采用一种深度学习的方法将灰度偏振图像处理成彩色图像，丰富目标的观测层次，提高目标的识别效率。

实现本发明目的的技术解决方案为：

一种基于深度学习的偏振彩色化方法，包括以下步骤：

第一步，采用偏振成像系统采集0°，45°，90°，135°四个偏振方向的图像以及同一场景对应的彩色图像；

第二步，计算所采集图像的偏振角图像和偏振度图像，计算场景对应的偏振因子特征图像；

第三步，根据场景的彩色图像与对应的偏振因子特征图像，构建训练集；

第四步，构建基于深度学习的微光偏振彩色化的双流架构网络；

第五步，设计损失函数；

第六步，将训练集中的图像输入深度神经网络中进行训练，得到偏振彩色化模型。

进一步地，第二步中，采用Stokes矢量法描述光的偏振态，偏振态由下式表示：

式中，S

计算每个像元的线偏振度DoP及偏振角AoP

将偏振度图与偏振角成像进行融合，获得偏振因子特征图像L，

L＝DoP×cos(2×AoP)。

进一步地，第三步中，还构建有验证集与测试集。

进一步地，还包括第七步，将验证集与测试集中的图像输入偏振彩色化模型中进行模型彩色化效果的确认。

进一步地，第四步中，构建基于深度学习的微光偏振彩色化的双流架构网络具体步骤包括：

低层特征提取网络由四层卷积层构成；

中层特征提取网络由两层卷积层构成；

全局特征提取网络由两层卷积层与三层全连接层构成；

将全局特征提取网络的特征信息与中层特征提取网络的特征信息进行融合，对ab通道进行网络着色，最后将偏振因子图与着色后的ab通道进行联合输出。

进一步地，第五步中，损失函数综合了特征提取子网络的特征提取损失L

进一步地，特征提取子网络的特征提取损失L

其中，i为图像沿宽度方向上的坐标变量，j为图像沿高度方向上的坐标变量，k为同一训练批次中的图像幅数变量，MSE

进一步地，分类指导子网络的分类损失L

k表示同一训练批次中的图像幅数变量，

进一步地，第二步中，还包括对偏振因子特征图像进行灰度值均衡化处理的步骤。

由于上述技术方案运用，本发明与现有技术相比具有下列优点：

1、本发明采用融合偏振度与偏振角的偏振因子成像，实现偏振信息的充分运用，同时通过增加偏振因子成像中灰度均衡化的步骤，避免了不同光照条件对彩色化结果的影响；

2、本发明采用基于深度学习的彩色化方法，避免人为干扰；

3、本发明采用双流架构的彩色化网络，融合全局信息与局部信息，实现图像特征的充分提取；

4、本发明可实现偏振成像的彩色化效果，符合人眼观察习惯，进一步丰富场景的细节信息。

附图说明

图1为基于深度学习的偏振彩色化方法的流程图。

图2为场景0°，45°，90°，135°成像效果图。

图3为偏振因子成像图。

图4为偏振彩色化成像图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

下面结合附图通过实例对本发明特征及其它相关特性作进一步详细说明，以便于同行业技术人员的理解。

结合图1，本发明的基于深度学习的偏振彩色化方法，步骤如下：

第一步，为保证对于同一场景采集的彩色图像与偏振图像一一对应，采用双通道采集系统采集场景的彩色成像效果，同时采用双通道采集系统采集0°，45°，90°，135°四个偏振方向的图像，如图2所示。

第二步，根据Stokes矢量法计算所采集图像的偏振度图像与偏振角图像，并将两者融合，从而计算场景的偏振因子成像。

Stokes矢量法是采用[S

式中S

本发明采用不同方向的线偏振片来获取不同偏振方向的偏振成像，因此圆偏振分量可忽略不计，本发明中光偏振态可由下式表示：

根据偏振度和偏振角的定义，可计算出每个像元的线偏振度DoP及偏振角AoP。

由于不同场景中偏振度和偏振角成像各有优势，为充分利用场景中的偏振信息，将偏振度图与偏振角成像进行融合，获得场景的偏振因子特征图像L，为降低由于不同光照导致相似目标的亮度不一致的情况，将不同场景中相似目标的偏振因子成像的灰度值调整到同一水平。偏振因子成像效果如图3所示。

L＝DoP×cos(2×AoP)

第三步，整理场景的彩色图像与对应的偏振因子特征图像，构建训练集、验证集与测试集，将同一场景的彩色图像与偏振因子特征图像一一对应。

第四步，构建基于深度学习的微光偏振彩色化的双流架构网络，采用卷积操作进行彩色图像与偏振因子特征图像特征的提取以及图像大小的调整。

低层特征提取网络由四层卷积层构成，第一层卷积层的卷积核大小为3×3，步长2×2，卷积核数量为64，采用relu函数激活；第二层卷积层的卷积核大小为3×3，步长1×1，卷积核数量为128，采用relu函数激活；第三层卷积层的卷积核大小为3×3，步长为2×2，卷积核数量为128，采用relu函数激活；第四层卷积层的卷积核大小为3×3，步长1×1，卷积核数量为256，采用relu函数激活。

中层特征提取网络由两层卷积层构成，第一层卷积层的卷积核大小为3×3，步长1×1，卷积核数量256，采用relu函数激活；第二层卷积层的卷积核大小为3×3，步长1×1，卷积核数量128，采用relu函数激活。

全局特征提取网络由两层卷积层与三层全连接层构成。第一层卷积层的卷积核大小3×3，步长2×2，卷积核数量256，采用relu函数激活；第二层卷积层的卷积核大小3×3，步长1×1，卷积核数量256，采用relu函数激活；第一层全连接层输出1×512参量；第二层全连接层输出1×256参量；第三层全连接层输出1×128参量。

将全局特征网络提取的特征信息与中层特征网络提取的特征信息进行融合，对ab通道进行网络着色，最后将偏振因子特征图像与着色后的ab通道进行联合输出。

第五步，本发明的损失函数综合了特征提取子网络的特征提取损失L

其中，i为图像沿宽度方向上的坐标变量，j为图像沿高度方向上的坐标变量，k为同一训练批次中的图像幅数变量，MSE

分类指导子网络的分类损失使用交叉熵来衡量网络预测的分类和实际分类之间的差异，计算公式如下：

j表示同一训练批中的图像变量，

第六步，将训练集中的图像输入深度神经网络中进行训练，调整模型参数，得到偏振彩色化模型；

第七步，将验证集与测试集中的图像输入偏振彩色化模型中进行模型彩色化效果的确认，彩色化效果图如图4所示。

本发明提出一种基于深度学习的偏振彩色化方法，在Lab颜色空间将深度学习网络融入偏振成像中，在规避人工干预的情况下，将灰度偏振图像处理成彩色图像，丰富目标的观测层次，提高目标的识别效率。

上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。