一种结合分割图的热成像超分辨率重建方法及存储介质

技术领域

本发明属于图像处理的技术领域，具体涉及一种结合分割图的热成像超分辨率重建方法及存储介质。

背景技术

为了更加有效地控制疫情，在许多公共场合放置了智能防疫设备，大幅度地减少了工作人员与被测人员的接触，而且能提高在大量人员流动的环境下测试效率。基于热成像技术开发的测温设备是智能防疫设备中最常用的一类，具有非接触、精确、范围广等优势，大大的避免了测温过程中产生感染的情况。热成像图像是利用目标的红外辐射信息生成人眼可见的图像，广泛应用于监测、医疗等领域，同时，热成像图像是需要通过外部设备和已有的成像技术进行采集，这就限制了图像的成像效果。

目前，大多数热成像图像都存在分辨率较低的问题。早期，多数解决方法都是在传统图像处理的基础上进行技术拓展，例如图像插值算法，核心思想是通过对低分辨率热成像与高分辨率热成像之间的像素点映射关系进行建模，用低分辨率图像上的像素点拟合出高分辨率图像上的像素点，该方法的优点是重建速度快。但缺点是处理方法过于简单粗暴，导致重建的高分辨率图像较为粗糙。

近几年，随着深度学习技术的崛起，基于深度学习的超分辨率技术也逐渐成熟、有效，这类方法比早期方法更加注重生成的高分辨率图像的细节问题，技术思想主要是通过设计具有针对性的网络模块构建出深度神经网络，利用低分辨率图像作为输入，映射得到重建之后的高分辨率图像，增强特征信息的表达能力，弥补早期方法处理粗糙的部分，从而取得了令人满意的效果。

目前，大多数基于深度学习的热成像超分辨率算法生成的高分辨率图像在轮廓边缘出现模糊，结构上失真，导致重建的高分辨率图像不够细腻，影响后续应用开发。因此，急需提出一种简单有效的，能提高分辨率图像的细腻度的热成像超分辨率重建方法，增加高分辨图像的轮廓信息，提升重建效果。

发明内容

本发明的目的在于提供一种结合分割图的热成像超分辨率重建方法及存储介质，旨在解决上述问题。本发明通过训练模型同时学习不同的任务，用可见光图像分割任务的像素级特征信息弥补热成像超分辨率重建过程中丢失的细节信息，有效地增强超分辨率图像的轮廓信息，提高超分辨率图像的细腻程度。

本发明主要通过以下技术方案实现：

一种结合分割图的热成像超分辨率重建方法，包括以下步骤：

步骤S100：采集并标注高分辨率热成像图像、低分辨率热成像图像、可见光图像以及可见光图像对应的语义分割图，并整理成训练样本集；

步骤S200：搭建网络模型，并通过步骤S100中的训练样本集训练网络模型；所述网络模型包括特征提取部分和重建图像判断部分，所述特征提取部分为双分支结构，且分为热成像重建特征提取分支和可见光图像分割特征提取分支，并通过特征相加层融合两分支的特征信息，然后，通过重建图像判断部分对深度特征进行高分辨率重建；

步骤S300：使用损失函数计算损失值，随机初始化模型中所有的权重参数，设定学习率初始值以及衰减方法，然后预先设定损失值优化器，最后按照最大迭代次数进行迭代计算，直至损失值收敛。

所述热成像重建特征提取分支用于提取低分辨率热成像图像的深度特征信息，并预测出高分辨率热成像图像；所述可见光图像分割特征提取分支用于提取可见光图像的像素级特征信息。本发明中的激活函数层采用泄露修正线性单元层。

为了更好地实现本发明，进一步地，所述热成像重建特征提取分支包括从前至后依次设置的卷积层、批归一化层、激活函数层、若干个多重残差块以及上采样层。

为了更好地实现本发明，进一步地，所述多重残差模块包括从前至后依次设置的卷积层、批归一化层、激活函数层、特征拼接层以及特征相加层、反卷积层，且通过多次跳跃连接，增强全局特征和局部特征的耦合性，减弱特征信息。

所述可见光图像分割特征提取分支主要提取可见光图像的像素级特征信息，尺度梯度变化块可以在不增加很多参数量的情况下，加深网络深度和宽度，提高特征信息的表达能力。

为了更好地实现本发明，进一步地，所述可见光图像分割特征提取分支包括从前至后依次设置的卷积层、批归一化层、激活函数层、若干个尺度梯度变化块以及柔性最大值层。

为了更好地实现本发明，进一步地，所述尺度梯度变化块包括从前至后依次设置的卷积层、批归一化层、反卷积层、特征拼接层。

所述尺度梯度变化块通过使用不同层次的反卷积层获取梯度式变化的尺度不同的特征信息，增加特征信息对目标尺度的泛化性，使特征信息更加适用于实际场景。所述尺度梯度变化块可以在不增加很多参数量的情况下，加深网络深度和宽度，提高特征信息的表达能力。

本发明提出的尺度梯度变化块从整个网络的最大分辨率开始操作，最大程度的做到了不丢失细节信息，再不断的反卷积恢复高分辨率，直至达到分割图需要的分辨率，这样得到的特征信息包含的信息更加完整。所述尺度梯度变化块采用拼接的方式多次融合，保留了每种尺度下的全局信息和局部信息，能提高模型的泛化性。

为了更好地实现本发明，进一步地，所述尺度梯度变化块的模块开端使用步长为2的卷积层进行下采样，然后使用三层反卷积层进行上采样，且上采样倍数成梯度变化，其次使用特征拼接层依次融合特征信息，得到具有多尺度特性的特征，最后使用两个卷积核为1x1的卷积层进行维度调整输出到下一模块。

所述尺度梯度变化块的模块开端使用步长为2的卷积层进行下采样，一定程度上减少参数计算量，然后使用三层反卷积层进行上采样，上采样倍数成梯度变化，这样操作能减少上采样操作的粗糙性，增加上采样之后特征的表达能力，其次使用特征拼接层依次融合特征信息，得到具有多尺度特性的特征，增加分割图的分类精度，最后使用两个卷积核为1x1的卷积层进行维度调整输出到下一模块。

所述尺度梯度变化块是用于分割图特征提取分支中提高分辨率，增强表达能力的模块。输入到模块中的特征信息是网络结构能达到的最高分辨率，结合热成像图像超分辨率重建的任务特性，热成像图像分辨率比普通的可见光图像的分辨率还要低，需要的细节信息更多，如果在原有的可见光图像分辨率像已有的分割技术一样大幅度下采样，将会导致分割图包含的细节信息不足以弥补热成像图像超分辨率重建任务，后续使用反卷积操作也不能重建。所以，在尺度梯度变化块的开端就最大程度的保留分辨率。其次，虽然保留了最高的分辨率信息，但反卷积操作只能针对全局图像粗糙的进行上采样，局部细节缺失，现有的融合方式是在原特征信息上多次增强局部重要特征点的权重，但模型学习会因局部特征点权重偏移过多，导致特征产生退化现象，不能解决特征粗糙的问题。所以，本发明采用拼接的方式融合尺度梯度变化的特征信息，保留了每种尺度下的全局信息和局部信息，保证分割图保留不同层次的特征细节信息，减弱过于强调某些特征信息而导致分割图特征信息不均匀的情况，从能提高特征信息的泛化性和表达能力，更大程度地增加重建特征缺失的细节信息。

为了更好地实现本发明，进一步地，所述重建图像判断部分分为两个分支，且第一个分支用于判断预测重建图与标注高分辨率图像之间的差异，且第二个分支用于判断预测分割图与标注分割图之间的差异；所述重建图像判断部分的第一个分支包括从前至后依次设置的卷积层、批归一化层、激活函数层。

为了更好地实现本发明，进一步地，所述步骤S300中，所述损失函数采用三种损失函数，且分别为分割损失函数、像素级位置损失函数以及对抗损失函数。

为了更好地实现本发明，进一步地，所述分割损失函数采用柔性最大值损失函数，所述像素级位置损失函数采用L1损失函数，所述对抗损失函数采用相对平均损失函数。

一种计算机可读存储介质，存储有计算机程序指令，所述程序指令被处理器执行时实现上述的热成像超分辨率重建方法。

本发明的有益效果：

(1)本发明中的尺度梯度变化块，结合分割任务的目标，设计并搭建不同层次的反卷积层获取梯度式变化的尺度不同的特征信息，将不同感受野融合在一起，大大提高特征信息对目标尺度的泛化性；

(2)本发明通过训练模型同时学习不同的任务，用可见光图像分割任务的像素级特征信息弥补热成像超分辨率重建过程中丢失的细节信息，有效地增强超分辨率图像的轮廓信息，提高超分辨率图像的细腻程度。

附图说明

图1为本发明整体的网络结构示意图；

图2为特征提取部分的结构示意图；

图3为多重残差块的结构示意图；

图4为尺度梯度变化块的结构示意图；

图5为重建图像判断部分的结构示意图。

具体实施方式

实施例1：

一种结合分割图的热成像超分辨率重建方法，包括以下步骤：

步骤S100：采集并标注高分辨率热成像图像、低分辨率热成像图像、可见光图像以及可见光图像对应的语义分割图，并整理成训练样本集；

步骤S200：搭建网络模型，并通过步骤S100中的训练样本集训练网络模型；如图1所示，所述网络模型包括特征提取部分和重建图像判断部分，首先，通过特征提取部分提取低分辨率热成像图像和可见光图像的深度特征，然后，通过重建图像判断部分对深度特征进行高分辨率重建；

步骤S300：使用损失函数计算损失值，随机初始化模型中所有的权重参数，设定学习率初始值以及衰减方法，然后预先设定损失值优化器，最后按照最大迭代次数进行迭代计算，直至损失值收敛。

本发明通过训练模型同时学习不同的任务，用可见光图像分割任务的像素级特征信息弥补热成像超分辨率重建过程中丢失的细节信息，有效地增强超分辨率图像的轮廓信息，提高超分辨率图像的细腻程度。

实施例2：

本实施例是在实施例1的基础上进行优化，如图2所示，所述特征提取部分为双分支结构，且分为热成像重建特征提取分支和可见光图像分割特征提取分支，并通过特征相加层融合两分支的特征信息；所述热成像重建特征提取分支用于提取低分辨率热成像图像的深度特征信息，并预测出高分辨率热成像图像；所述可见光图像分割特征提取分支用于提取可见光图像的像素级特征信息。

进一步地，如图2所示，所述热成像重建特征提取分支包括从前至后依次设置的卷积层、批归一化层、激活函数层、若干个多重残差块以及上采样层。

进一步地，如图3所示，所述多重残差模块包括从前至后依次设置的卷积层、批归一化层、激活函数层、特征拼接层以及特征相加层、反卷积层，且通过多次跳跃连接。

进一步地，如图2所示，所述可见光图像分割特征提取分支包括从前至后依次设置的卷积层、批归一化层、激活函数层、若干个尺度梯度变化块以及柔性最大值层。

进一步地，如图4所示，所述尺度梯度变化块包括从前至后依次设置的卷积层、批归一化层、反卷积层、特征拼接层。

进一步地，如图4所示，所述尺度梯度变化块的模块开端使用步长为2的卷积层进行下采样，一定程度上减少参数计算量，然后使用三层反卷积层进行上采样，上采样倍数成梯度变化，这样操作能减少上采样操作的粗糙性，增加上采样之后特征的表达能力，其次使用特征拼接层依次融合特征信息，得到具有多尺度特性的特征，增加分割图的分类精度，最后使用两个卷积核为1x1的卷积层进行维度调整输出到下一模块。

本发明中的尺度梯度变化块，结合分割任务的目标，设计并搭建不同层次的反卷积层获取梯度式变化的尺度不同的特征信息，将不同感受野融合在一起，大大提高特征信息对目标尺度的泛化性。

本实施例的其他部分与实施例1相同，故不再赘述。

实施例3：

本实施例是在实施例1或2的基础上进行优化，如图5所示，所述重建图像判断部分分为两个分支，且第一个分支用于判断预测重建图与标注高分辨率图像之间的差异，且第二个分支用于判断预测分割图与标注分割图之间的差异；所述重建图像判断部分的第一个分支包括从前至后依次设置的卷积层、批归一化层、激活函数层。

本实施例的其他部分与上述实施例1或2相同，故不再赘述。

实施例4：

一种结合分割图的热成像超分辨率重建方法，包括以下步骤：

采集并标注高、低分辨率热成像图像、可见光图像以及可见光图像对应的语义分割图，按照标准数据集格式整理成训练样本集；

如图1所示，设计并搭建热成像超分辨率重建深度网络模型，分为特征提取部分和重建图像判断部分，首先特征提取部分提取热成像图像和可见光图像的深层特征，然后由图像重建部分对深度特征进行高分辨率重建，最后迭代计算。

进一步地，如图2所示，所述的特征提取部分采用双分支结构，分为热成像重建特征提取分支和可见光图像分割特征提取分支。

进一步地，如图2所示，重建特征提取分支结构包括从前至后设置的卷积层、批归一化层、激活函数层、若干个多重残差块以及上采样层，该部分网络主要提取低分辨率热成像图像的深度特征信息，预测出高分辨率热成像图像。

进一步地，如图2所示，可见光图像分割特征提取分支包括从前至后设置的卷积层、批归一化层、激活函数层、若干个尺度梯度变化块以及柔性最大值层，这部分网络主要提取可见光图像的像素级特征信息，尺度梯度变化块可以在不增加很多参数量的情况下，加深网络深度和宽度，提高特征信息的表达能力。

进一步地，如图5所示，所述的重建图像判断部分分为两个分支，一个分支用于判断预测重建图与标注高分辨率图像之间的差异，另外一个分支用于判断预测分割图与标注分割图之间的差异，多任务进行训练学习。

进一步地，如图3所示，所述的多重残差模块包括从前至后设置的卷积层、批归一化层、激活函数层、特征拼接层以及特征相加层。与已有的残差块对比，多重残差模块中使用更多次跳跃连接，融合不同层次卷积的信息，从而增强全局特征和局部特征的耦合性，减弱特征信息。

进一步地，如图4所示，所述的尺度梯度变化块包括从前至后设置的卷积层、批归一化层、反卷积层、特征拼接层，通过使用不同层次的反卷积层获取梯度式变化的尺度不同的特征信息，增加特征信息对目标尺度的泛化性，使特征信息更加适用于实际场景。

进一步地，网络模型采用三种损失函数，分为分割损失函数、像素级位置损失函数以及对抗损失函数。

网络前向计算时需计算损失值，从而优化模型的权重参数。使用分割损失函数采用柔性最大值损失函数，计算预测分割图与标注分割图之间的差异，计算公式如下：

其中，N表示批处理大小，j表示批处理样本的索引，而i表示分割图上像素点的索引，y

像素级位置损失函数采用L1损失函数，用于计算预测重建高分辨率热成像图像与标注高分辨率热成像图像之间的像素点位置差异值，计算公式如下：

其中，

最后对抗损失函数采用相对平均损失函数，用于判断生成的高分辨率热成像图像与标注的高分辨率热成像图像之间的区别，计算公式如下：

公式中

L＝L

进一步地，随机初始化模型中所有的权重参数，设定学习率初始值以及衰减方法，然后预先设定损失值优化器，最后按照最大迭代次数进行迭代计算，测试最终的模型。

最后按照设定的训练策略学习网络模型，直至损失值收敛，得到最后的模型。开发应用时，不需要重建图像判断部分网络，直接由特征提取部分网络输出效果图。

本发明通过训练模型同时学习不同的任务，用可见光图像分割任务的像素级特征信息弥补热成像超分辨率重建过程中丢失的细节信息，有效地增强超分辨率图像的轮廓信息，提高超分辨率图像的细腻程度。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。