一种红外图像自适应增强的方法与装置

技术领域

本发明涉及一种红外图像自适应增强的方法与装置。

背景技术

随着红外成像技术的发展与成熟，各种适用于民用的红外成像设备不断涌现，其在国民经济各个领域发挥越来越重要的作用。红外成像，其重要应用就是昼夜观察和热目标探测，其在安防监控、辅助驾驶、消防警用、工业监测、电力监测等领域得到广泛应用。但由于红外成像原理限制，红外图像存在整体偏暗、对比度偏低、边缘模糊、噪声较大、细节信息不明显、视觉效果参较差等特点。

为克服红外图像的上述缺陷，公布号为CN104252700B的专利文献中公开了一种红外图像的直方图均衡化方法，包括：读取红外图像，将红外图像分割成至少两个子图像，对每个子图像进行直方图均衡化处理，获得子图像的均衡化子图像，然后拼接直方图均衡化子图像；该方法的核心思想是将红外图像进行分割处理，得到多个子图像，然后并行对每个子图像进行直方图均衡化增强处理，将直方图均衡化之后的子图像拼接融合成最终的直方图均衡化后的红外图像；该方法的缺陷是：①整理图像对比度依赖原始红外图像，图像局部对比度不够，存在细节丢失等现象；②没有结合响应可见光图像特征，图像细节丰富程度不够，给后续目标检测等应用带来困难。

公布号为CN110009569A的专利文献中公开了一种基于轻量级卷积神经网络的红外可见光图像融合方法”，该方法首先将红外和可见光图像进行批处理，使得图像尺寸大小一致，然后构造了一个轻量级的卷积神经网络，分别提取红外和可见光特征，形成二维张量权值图，最后利用特征融合策略，将源图像进行融合，实现可见光和红外图像的融合。该方案的核心在于利用神经网络分别提取红外图像特征和可见光图像特征，进而构造特征权值图，再利用融合策略实现红外图像和可见光图像的融合。虽然该方案将红外图像和可见光图像进行了融合，但是在工程应用中不能形成端到端的解决方案，每一次提取的特征较为独立，不具备发掘、丰富图像细节的能力，也不具备自动修复图像细节的能力。

发明内容

为了解决现有的红外图像增强方法存在图像局部细节丢失，图像细节丰富程度不够以及无法形成端到端的解决方案，不具备发掘、丰富图像细节的能力，也不具备自动修复图像细节能力的技术问题，本发明提供了一种红外图像自适应增强的方法与装置。

本发明的技术方案是：

一种红外图像自适应增强的方法，其特殊之处在于，包括以下步骤：

步骤1：构建图像数据集

选用现有的ImageNet数据集作为图像数据集构建的基础，对ImageNet数据集中的图像利用灰度变换将其转为可见光灰度图像，然后利用对比度变换或者直方图变换将灰度图像转为红外图像，将得到的每一张红外图像及其对应的可见光灰度图像作为图像数据集的一个样本；

步骤2：模型训练

构建对抗神经网络，将图像数据集中的样本输入构建的对抗神经网络对其进行深度学习训练，得到红外图像增强模型；

步骤3：将步骤2得到的红外图像增强模型下装到并行处理模块中；

步骤4：红外及可见光图像采集装置实时采集目标场景的红外图像和可见光图像，当采集的红外图像和可见光灰度图像的组数大于当前图像数据集中样本数目的10％时，用采集到的红外图像和可见光灰度图像随机替换图像数据集中相应数目的样本，然后返回步骤2；同时，将实时采集到的红外图像拷贝一份，发送给并行处理模块；

步骤5：利用下装在并行处理模块内的红外图像增强模型同时对多张红外图像进行并行增强处理，输出相应的增强后图像。

进一步地，步骤2所构建的对抗神经网络包括生成子网络G和鉴别子网络D；

生成子网络用于生成增强红外图像；鉴别子网络D用于对可见光灰度图像、增强红外图像进行真伪度判定，得到0～1的概率值，0代表增强红外图像质量很低无可信度，1代表增强红外图像质量很高逼近真实图像。

进一步地，生成子网络的网络结构为：

CR-CBR-CBR-D-Tanh

其中，C为卷积层，R为ReLu激活函数，B为批量归一化层，D为反卷积层，Tanh为：

生成子网络的的损失函数为：

L

其中：

E为欧氏距离；

L

Y为输入红外图像对应的可见光灰度图像；

G(X)为利用生成子网络得到的增强红外图像；D为鉴别子网络的输出；

鉴别子网络D的网络结构为：

CL-CBL-CBL-CBL-C-Sigmoid；

其中：Sigmoid：

鉴别子网络D的损失函数为：

其中：

X为红外图像，Y为可见光灰度图像，G(X)为利用生成子网络得到的增强红外图像。

本发明还提供了一种红外图像自适应增强装置，其特殊之处在于：包括图像数据集、基于深度学习的红外图像增强模块、红外图像增强模型、模型下装模块、红外及可见光图像采集装置、图像传输模块和并行处理模块；

图像数据集用于为所述基于深度学习的红外图像增强模块提供模型训练的图像样本；

基于深度学习的红外图像增强模块用于深度学习训练，得到所述红外图像增强模型；

模型下装模块用于将所述红外图像增强模型，通过远程服务总线方式，下装到并行处理模块中；

红外及可见光图像采集装置用于实时采集红外图像及对应的可见光灰度图像，并传输给图像传输模块和并行处理模块；

并行处理模块用于对其接收到的多张红外图像进行并行增强处理；

图像传输模块用于将红外及可见光图像采集装置采集的可见光灰度图像和红外图像传输至图像数据集。

进一步地，所述图像数据集是按照下述方法构建的：

对可见光图像利用灰度变换将其转为可见光灰度图像，然后利用对比度变换或者直方图变换将灰度图像转为红外图像，将得到的每一张红外图像及其对应的可见光灰度图像作为图像数据集的一个样本。

进一步地，基于深度学习的红外图像增强模块包括生成子网络G和鉴别子网络D；

生成子网络用于生成增强红外图像；鉴别子网络D用于对可见光灰度图像、增强红外图像进行真伪度判定，得到0～1的概率值，0代表增强红外图像质量很低无可信度，1代表增强红外图像质量很高逼近真实图像。

进一步地，生成子网络的网络结构为：

CR-CBR-CBR-D-Tanh

其中，C为卷积层，R为ReLu激活函数，B为批量归一化层，D为反卷积层，Tanh为：

生成子网络的的损失函数为：

L

其中：

E为欧氏距离；

L

Y为输入红外图像对应的可见光灰度图像；

G(X)为利用生成子网络得到的增强红外图像；D为鉴别子网络的输出；

鉴别子网络D的网络结构为：

CL-CBL-CBL-CBL-C-Sigmoid；

其中：Sigmoid：

鉴别子网络D的损失函数为：

其中：

X为红外图像，Y为可见光灰度图像，G(X)为利用生成子网络得到的增强红外图像。

与现有技术相比，本发明的优点是：

1、利用本发明在模型训练过程中，以真实的可见光灰度图像为条件，依靠鉴别子网络D监督生成子网络G，以及生成子网络与鉴别子网络间的相互博弈，使得本网络模型具备良好的红外图像增强能力。

2、本发明设计了一种基于对抗生成网络的红外图像增强模型，充分利用对抗神经网络特征，通过神经网络设计、损失函数设计，实现生成子网络和鉴别子网络的动态平衡，能够实现端到端的红外图像增强处理。

3、本发明提供了一种红外图像增强训练与红外及可见光图像采集装置动态采集同步更新机制，实现红外图像增强模型的自动优化，进而进一步提高红外图像增强处理效果，最终实现“离线建模-在线应用-可持续更新”的红外图像增强应用。

4、本发明已在电力系统设备监控场景下进行系统验证，结果表明本发明能有效提升红外图像细节特征，通过自适应方式，提升图像对比度，通过引入可见光特征，有效地增强了图像细节层次，为后续设备监控的图像识别、状态监测提供了良好的图像基础。

附图说明

图1是本发明红外图像自适应增强装置的架构图。

图2是本发明中基于对抗生成网络的红外图像增强模型。

图3是经本发明增强前后的原始图像与增强后图像的效果对比图，(a)为原始红外图像；(b)为增强后红外图像。

具体实施方式

以下结合附图对本发明作进一步说明。

如图1所示，本发明所提供的红外图像自适应增强的方法，包括以下步骤：

步骤1：构建图像数据集

选用现有的ImageNet数据集作为图像数据集构建的基础，对ImageNet数据集中的图像利用灰度变换将其转为可见光灰度图像，然后利用对比度变换或者直方图变换将灰度图像转为红外图像，将得到的每一张红外图像及其对应的可见光灰度图像作为图像数据集的一个样本；

步骤2：模型训练

构建对抗神经网络，将图像数据集中的样本输入构建的对抗神经网络对其进行深度学习训练，得到红外图像增强模型；

步骤3：将步骤2得到的红外图像增强模型下装到并行处理模块中；

步骤4：红外及可见光图像采集装置实时采集目标场景的红外图像和可见光图像，当采集的红外图像和可见光灰度图像的组数大于当前图像数据集中样本数目的10％时，用采集到的红外图像和可见光灰度图像随机替换图像数据集中相应数目的样本，然后返回步骤2；同时，将实时采集到的红外图像拷贝一份，发送给并行处理模块；

步骤5：利用下装在并行处理模块内的红外图像增强模型同时对多张红外图像进行并行增强处理，输出增强后图像。

如图1所示，本发明还提供了实现上述红外图像自适应增强方法的红外图像自适应增强装置，包括图像数据集、基于深度学习的红外图像增强模块、红外图像增强模型、模型下装模块、红外及可见光图像采集装置、图像传输模块和并行处理模块。

1、图像数据集

图像数据集是用于基于深度学习的红外图像增强模块训练所用的图像集合，鉴于目前基于神经网络的红外图像增强中普遍缺乏红外图像，而红外图像是基于深度学习红外图像增强技术能达到较好图像处理效果的关键因素之一。因此本发明首要构建具有足够样本数量的图像数据集。

图像数据集的构建方法：

选用现有的ImageNet数据集作为图像数据集构建的基础，对ImageNet数据集中的图像利用灰度变换将其转为可见光灰度图像，对灰度图像再采用对比度变换或者直方图变换技术得到红外图像，，将得到的每一张红外图像及其对应的可见光灰度图像作为图像数据集的一个样本；本实施例中基础数据集共10000个样本，其中可见光灰度图像分辨率为：512x512，红外图像分辨率为：512x512。

采用上述方法构建基础数据集的好处是可以解决红外图像匮乏的问题，为基于深度学习的红外图像增强模块提供具有足够样本数量的训练集，但是由于该方法所构建的基础数据集中的红外图像并非真正的红外图像，若仅利用基础数据集对基于深度学习的红外图像增强模块进行训练，则训练得到的红外图像增强模型涵盖红外图像特性不足，红外图像增强效果不够理想。为解决该问题，基于应用场景，本发明对图像数据集进行动态更新。

图像数据集的动态更新方法：

红外及可见光图像采集装置每设定时间(例如15分钟)采集一组可见光灰度图像和红外图像，每天采集时间为09:00～17:00，单套红外及可见光图像采集装置每天共采集32组红外及可见光灰度图像。采集时间段选择为09:00～17:00，主要考虑在成像条件较好的情况下，同时获取红外图像及对应可见光灰度图像，整个系统在应用时，部署不低于50套红外及可见光图像采集装置，分布在公路、森林、学校等不同场景，确保涵盖不同场景的应用画面，即：每天产生1600组新增图像。

当采集的图像数目大于当前图像数据集中图像数目的10％时，从当前图像数据集内随机抽取10％的图像，用采集的图像对其进行替换处理，替换过程中对用于替换的、由红外及可见光图像采集装置所采集的图像打上标记，在下一次更新替换时，对于已打标记的图像，不做替换，最终当整个图像数据集中所有图像都被标记过，则表示整个图像数据集更新完毕，整个图像数据集更新完毕后，将图像数据集中的当前样本图像所打的标记删除，然后按照相同的方法进入下一轮动态更新。

表1图像数据集的更新阈值选择

表1是针对图像数据集动态更新时采用不同阈值所做的实验，每一次动态更新后，会触发基于深度学习的红外图像增强模块进行训练，得到新的红外图像增强模型，进而利用新的红外图像增强模型进行红外图像增强；通过对512幅红外图像增强训练的PSNR分析，发现随着阈值升高，红外图像增强后质量逐步提高，鉴于质量与速度的考虑，最终在动态更新时选择10％作为阈值。

2、基于深度学习的红外图像增强模块

基于深度学习的红外图像增强模块主要用于深度学习训练，其输入为图像数据集，其输出为训练好的红外图像增强模型。

如图2所示，基于深度学习的红外图像增强模块的网络架构基于对抗生成网络，共包括2个子网络：生成子网络G和鉴别子网络D。

2.1生成子网络

2.1.1网络构成

生成子网络由3个卷积层conv和1个反卷积层Deconv构成，在第二个卷积层和第三个卷积层后面各加上批归一化网络，即：Batch NN，在深度学习训练中，Batch NN是一种被实践证明的数据归一化方法，其作用可以加快模型训练时的收敛速度，使得模型训练过程更加稳定，并起到一定的正则化作用。

2.1.2生成子网络设计：

①生成子网络输入图像分辨率为256x256，因而图像数据集中图像在输入生成子网络前需要先进行缩放处理；

②网络结构为：

CR-CBR-CBR-D-Tanh

其中，C为卷积层，R为ReLu激活函数，B为批量归一化层，D为反卷积层，Tanh为：

第一个卷积层CR输入图像大小为256x256，经过卷积操作及ReLu处理，保留较好的特征，最终得到64个特征向量，之后跟随2个卷积层操作，进一步强化提取特征。

③如图2所示，为了减少图像细节的丢失，在卷积层1之后和卷积层2之后加入残差连接Skip Connection连接，加权处理之后得到特征向量与卷积层3再次进行残差连接，这样各卷积层得到不同维度的图像特征向量在生成子网络内各层进行流动，保留了图像细节特征；

④生成子网络用于生成增强图像(增强后的红外图像)；

⑤损失函数设计：L

2.1.3相关网络参数设置：

2.2鉴别子网络

2.2.1网络构成

鉴别子网络由5个卷积层conv构成。

2.2.2鉴别子网络设计：

①网络输入图像为：生成子网络输出的增强图像和该增强图像所对应的可见光灰度图像

②网络结构为：CL-CBL-CBL-CBL-C-Sigmoid，其中：Sigmoid：

③网络采用5个卷积层得到特征图像，并利用Sigmoid函数做归一化处理，判断红外增强图像和可见光灰度图像相似程度[0-1]；

④损失函数设计：

2.2.3相关网络参数设置：

利用基于深度学习的红外图像增强模块对512幅红外测试图像进行增强后的图像质量数据如下表，随机测试512幅图像，利用上述方法进行红外图像处理后，图像评价指标PSNT和SSIM均有比较好表现，可见本发明具备良好的红外图像增强效果。

3、红外图像增强模型

红外图像增强模型是基于深度学习的红外图像增强模块对图像数据集进行训练后，得到的结果。

4、模型下装模块

模型下装模块用于将基于深度学习的红外图像增强模块训练后输出的红外图像增强模型，通过远程服务总线方式，下装到并行处理模块中。

5、红外及可见光图像采集装置

红外及可见光图像采集装置用于实时采集红外图像及对应的可见光灰度图像，采集到的红外图像本身用于送入并行处理模块中进行图像增强处理，另外红外图像和可见光灰度图像本身也通过图像传输模块发送给图像数据集，用于动态更新图像数据集。

6、并行处理模块

并行处理模块的输入是红外及可见光图像采集装置实时采集的红外图像，利用下装在其内的红外图像增强模型对接收到的红外图像进行增强处理；为了提高红外图像增强的实时处理速度，并行处理模块采用基于Cuda的加速技术，充分利用GPU运算能力，同时采用多线程并行技术，提高图像增强的处理速度。

7、图像传输模块

图像传输模块负责将红外及可见光图像采集装置所采集的可见光灰度图像与红外图像传输至图像数据集，当增量图像组的数目大于等于图像数据集的动态更新阈值时，触发基于深度学习的红外图像增强模块自动训练，实现下装在并行处理模块中的红外图像增强模型的自动更新，以便后续图像增强过程中，实现红外图像增强模型持续更新，不断优化红外图像增强效果，最终实现“离线建模-在线应用-可持续更新”的红外图像增强应用。

图3是经本发明增强前后的原始图像与增强后图像的效果对比图，左侧为原始红外图像，右侧为增强后红外图像，可以看出右侧图像画面内容更加丰富，纹理明显，细节突出，视觉效果更好。