一种提升红外图像分辨率的方法

技术领域

本发明涉及一种图像超分辨率技术领域，尤其涉及一种提升红外图像分辨率的方法。

背景技术

红外成像技术是根据物体的热能辐射而成像，图像所包含的信息、特征分布、信噪比、清晰度等和可见光图像都有所区别，其优势在于无需借助可见光，受环境干扰小，可以24小时全天候成像，所以这种技术在安防、目标识别等领域得到了广泛应用。但是其缺点是图像细节较可见光图像要少，所以为了在红外图像中获得较高的目标识别率，需要图像具有较高的分辨率。

图像超分辨率技术旨在使用算法来提高图像分辨率，使图像拥有更多的细节。以前人们常用各种插值算法(如双线性插值，双三次插值)提高图像分辨率，生成的图像较为模糊。近些年来由于深度学习算法的出众效果，市场上越来越倾向于使用深度学习算法来实现图像超分辨率，但由于深度学习算法参数较多，对设备运算速度有较高要求，所以一般运行环境为具有较高功耗的PC或工控机，若设备运算速度较低，则生成高分辨率图像速度缓慢。

为了达到实时性的要求，目前市面上实现高分辨率红外成像的嵌入式设备主要通过使用高分辨率的成像硬件来实现，而非使用基于深度学习的图像超分辨率算法，而使用高分辨率的成像硬件来实现的缺点是：功耗较大，成本较高，经济效益低，不利于推广。而在嵌入式设备上部署超分辨率算法的难点为：如果直接使用插值等传统算法，获得的红外图像超分辨率效果明显不能令人满意；如果使用深度学习算法，由于一般深度学习模型参数较多，计算量较大，需要使用功耗较高的嵌入式设备，而很多场景下由于受体积、成本等限制，嵌入式设备一般为小体积、低功耗平台，容易出现运行速度缓慢，无法实时生成高分辨率图像；如果盲目降低深度学习模型参数和计算量，容易降低算法的效果。

发明内容

本发明为了解决现有技术中存在的上述技术问题，提供了一种提升红外图像分辨率的方法，应用于嵌入式设备，包括：

步骤S1，将需要提升分辨率的低分辨率红外图像输入至一训练完成的神经网络模型中；

步骤S2，采用所述神经网络模型对所述低分辨率红外图像进行通道扩展，以形成多通道图像；

步骤S3，采用所述神经网络模型，将所述多通道图像的特征图按照通道数进行拆分，并分别对每个通道的特征图进行处理后重新拼接形成处理后的所述多通道图像的所述特征图；

步骤S4，采用所述神经网络模型，将所述步骤S3中输出的所述特征图进行扩展，并根据扩展后的所述特征图形成高分辨率红外图像并输出。

优选的，所述步骤S1中，采用预先准备的训练样本集对所述神经网络模型进行训练，以使所述神经网络模型的损失函数达到训练条件，从而完成针对所述神经网络模型的训练过程。

优选的，所述步骤S2中，将所述低分辨率红外图像进行一第一卷积操作一次，以对所述低分辨率红外图像的通道数按照卷积核大小进行对应地扩展，以形成多通道图像。

优选的，所述步骤S3中，针对所述多通道图像的其中一个通道的所述特征图进行处理的过程具体包括：

步骤S31，将所述一个通道的所述特征图进行所述第一卷积操作一次，得到一第一特征图；

步骤S32，将所述第一特征图进行一第二卷积操作一次，得到一第二特征图；

步骤S33，将所述第二特征图进行所述第一卷积操作一次，得到一第三特征图；

步骤S34，将所述第三特征图进行一上采样操作一次，得到一第四特征图；

步骤S35，将所述第一特征图和所述第四特征图进行拼接处理，得到一第五特征图；

步骤S36，将所述第五特征图进行所述第一卷积操作一次，得到一第六特征图；

步骤S37，将所述第四特征图和所述第六特征图进行拼接处理，得到一第七特征图；

步骤S38，将所述第七特征图进行所述第一卷积操作一次，得到一第八特征图；

步骤S39，将所述第八特征图与其他通道的所述第八特征图进行拼接处理，得到所述多通道图像的所述特征图。

优选的，所述步骤S4包括：

步骤S41，将所述多通道图像的所述特征图进行一第一扩大操作多次，得到一扩大后的第一扩大特征图；

步骤S42，将所述低分辨率红外图像的特征图进行一第二扩大操作一次，得到一对应于所述第一特征图同倍数扩大的第二扩大特征图；

步骤S43，将所述第一扩大特征图和所述第二扩大特征图进行按照通道数拼接处理后，得到一第三扩大特征图；

步骤S44，将所述第三扩大特征图进行所述第一卷积操作一次，得到所述高分辨率红外图像。

优选的，所述第一卷积操作的卷积核大小为3*3，且步长为1。

优选的，所述第二卷积操作的卷积核大小为3*3，且步长为2。

优选的，所述第一扩大操作的卷积核大小为4*4，且步长为1。

优选的，所述第二扩大操作为双三次插值上采样操作。

优选的，关联于所述神经网络模型的所述训练条件为针对所述神经网络模型设置一损失函数；

所述损失函数具体为：

其中，

MSE为所述损失函数计算得出的损失值；

m为一真实红外图像的像素点总个数；

本发明的技术方案的有益效果在于：设计一种基于深度学习卷积神经网络的提升红外图像分辨率的方法，可将输入图像的分辨率扩大2倍以上，可以在低功耗嵌入式平台上部署并具有较高推导运行速度和较好的效果，从而实现相比于传统红外成像嵌入式设备，具有图像分辨率高，可实时成像，且功耗小、成本低的特点。

附图说明

图1为本发明的较佳实施例中一种提升红外图像分辨率的方法的流程示意图；

图2为本发明的较佳实施例中一种提升红外图像分辨率的方法的步骤S3的流程示意图；

图3为本发明的较佳实施例中一种提升红外图像分辨率的方法的步骤S4的流程示意图；

图4为本发明的较佳实施例中一种卷积神经网络模型的结构示意图；

图5为本发明的较佳实施例中一种卷积神经网络模型中的分组卷积拼接模块的结构示意图；

图6为本发明的较佳实施例中分组卷积拼接模块的第一卷积操作的结构示意图；

图7为本发明的较佳实施例中分组卷积拼接模块的第二卷积操作的结构示意图；

图8为本发明的较佳实施例中分组卷积拼接模块的第一扩大操作的结构示意图；

图9a-9c为本一种提升红外图像分辨率的方法实施例的在4倍放大下的视觉效果对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种提升红外图像分辨率的方法，应用于嵌入式设备，如图1所示，包括：

步骤S1，将需要提升分辨率的低分辨率红外图像输入至一训练完成的神经网络模型中；

步骤S2，采用神经网络模型对低分辨率红外图像进行通道扩展，以形成多通道图像；

步骤S3，采用神经网络模型，将多通道图像的特征图按照通道数进行拆分，并分别对每个通道的特征图进行处理后重新拼接形成处理后的多通道图像的特征图；

步骤S4，采用神经网络模型，将步骤S3中输出的特征图进行扩展，并根据扩展后的特征图形成高分辨率红外图像并输出。

本技术方案的所有实施例采用的是瑞芯微RK3399Pro为待部署嵌入式平台，RKNN为推导框架。能最大限度利用其嵌入式平台的卷积神经网络处理器的处理红外视频、图像类的多媒体数据。

该平台包含的卷积神经网络模型由conv卷积层、transpose conv反卷积层、concatenate拼接操作、双三次插值操作，split通道分组操作和Pixel shuffle操作组成，如图4所示；该卷积神经网络模型包含的分组卷积拼接模块，如图5所示。

基于不同设置的卷积神经网络模型的提升红外图像分辨率的方法可提升红外图像分辨率2～N倍，不局限于更高倍数，如320*256的图像提升到640*512的图像，320*256的图像提升到1280*1024的图像等。本技术方案包含的卷积神经网络模型，如图4所示，设置两个反卷积层进行2次反卷积上采样操作，以及双三次插值上采样设为4倍，可提升红外图像分辨率为4倍。进一步的，通过调整图4中反卷积层的个数，反卷积核的尺寸，步长大小以及双三次插值上采样倍率可以实现其他扩大倍数。如果设置三个反卷积层进行3次反卷积上采样操作，以及双三次插值上采样设为8倍，可提升红外图像分辨率为8倍。

本技术方案的下述实施例均以提升红外图像分辨率为4倍为例，进行详细说明。训练一种包含Grouping convolution&concatenate block分组卷积拼接模块的卷积神经网络模型，低分辨率红外图像的特征提取主要在分组卷积拼接模块中实现，上采样扩大倍数则通过transpose conv反卷积层以及双三次插值操作来实现。当上采样扩大倍数为4时，结构如图4所示，图5为图4中的Grouping convolution&concatenate block分组卷积拼接模块结构图，input表示需要提升分辨率的低分辨率红外图像，output表示采用训练完成的神经网络模型生成的高分辨率红外图像。以320*256低分辨率红外图像为例，生成的高分辨率红外图像的分辨率为1280*1024。

具体的，对低分辨率红外图像的特征提取主要在分组卷积拼接模块中实现，如图5所示，卷积神经网络模型设有通道扩展参数n和特征提取次数参数i，低分辨率红外图像按通道扩展参数n进行通道扩展，分组卷积拼接模块按参数n将分组卷积拼接模块设置为n组分组卷积拼接模块子模块，每组分组卷积拼接子模块相应地对应每个通道的红外图像的特征图进行特征提取。特征提取次数参数i为将低分辨率红外图像的特征图设置成经过i次特征提取。

在一种较佳的实施例中，步骤S1中，采用预先准备的训练样本集对神经网络模型进行训练，以使神经网络模型的损失函数达到训练条件，从而完成针对神经网络模型的训练过程。

在本实施例中，在不同场景下采集分辨率为1080*1280的红外视频，将这些视频的帧作为标签(GT)，对每一帧进行双三次插值降采样为320*256分辨率作为低分辨率图(LR)，共得到1700张GT图及对应的LR图，作为训练样本；在不同场景下采集分辨率为320*256的红外视频，将这些视频的帧作为测试样本。整理并筛选训练样本和测试样本，得到训练图像GT和LR1700对，测试图像100张。

设置此卷积神经网络模型中的通道扩展参数n为7，特征提取次数参数i为5，上采样扩大倍数为4。使用本方法对该网络模型在PC上对训练样本进行训练，当损失下降到合理范围后，在PC上使用测试样本进行测试，如测试结果满足要求，则将模型转化为RKNN模型，在嵌入式设备上部署，再次使用测试样本进行测试，计算输出的NIQE均值及运行速度。

表1

结合图9a-9c以及表1可以看出，本方法同时满足速度和效果的要求，可以满足实际运用。

在下述各实施例中，均以批量数b＝100、图像高h＝320、图像宽w＝256、通道数c＝3为例进行详细说明，通道数c为可变的，由每一个卷积层具体设置的卷积核数量来实现。

在一种较佳的实施例中，步骤S2中，将低分辨率红外图像进行一第一卷积操作一次，以对低分辨率红外图像的通道数按照卷积核大小进行对应地扩展，以形成多通道图像。

在本实施例中，低分辨率红外图像的维度为批量数b，图像高h，图像宽w，通道数c，形成一个对应于低分辨率红外图像的维度为(b,h,w,c)的输入数组，经过conv_re卷积操作一次，此时维度变为(b,h,w,n*c)，进入分组卷积拼接模块。

具体的，本实施例中的卷积层的卷积核数量为7*3。

具体的，如表2所示：

表2

如图2所示，在一种较佳的实施例中，步骤S3中，针对多通道图像的其中一个通道的特征图进行处理的过程具体包括：

步骤S31，将一个通道的特征图进行第一卷积操作一次，得到一第一特征图；

步骤S32，将第一特征图进行一第二卷积操作一次，得到一第二特征图；

步骤S33，将第二特征图进行第一卷积操作一次，得到一第三特征图；

步骤S34，将第三特征图进行一上采样操作一次，得到一第四特征图；

步骤S35，将第一特征图和第四特征图进行拼接处理，得到一第五特征图；

步骤S36，将第五特征图进行第一卷积操作一次，得到一第六特征图；

步骤S37，将第四特征图和第六特征图进行拼接处理，得到一第七特征图；

步骤S38，将第七特征图进行第一卷积操作一次，得到一第八特征图；

步骤S39，将第八特征图与其他通道的第八特征图进行拼接处理，得到多通道图像的特征图。

在本实施例中，分组卷积拼接模块将多通道图像按通道维度拆分为n个，每个特征图的维度为(b,h,w,c)。对于每个通道的特征图均进行如下的操作：先经过conv_re卷积操作一次，得到第一特征图，维度为(b,h,w,64)；对第一特征图经过conv_down卷积操作一次后得到的特征图为第二特征图，维度为(b,h/2,w/2,256)；然后对第二特征图经过conv_re卷积操作一次得到第三特征图，维度为(b,h/2,w/2,256)；然后对第三特征图经过pixelshuffle上采样操作一次得到第四特征图，维度为(b,h,w,64)；将第一特征图和第四特征图按通道拼接得到第五特征图，维变为(b,h,w,128)；然后将第五特征图经过conv_re卷积操作一次得到第六特征图，维度为(b,h,w,64)；再将第四特征图和第六特征图按通道拼接得到第七特征图，维度为(b,h,w,128)；然后将第七特征图进行conv_re卷积操作一次得到第八特征图，维度为(b,h,w,c)。最后将第八特征图与其他通道的第八特征图进行拼接处理，变回维度为(b,h,w,n*c)的多通道图像的特征图。

具体的，本实施例中的得到第一特征图、第四特征图、第六特征图的卷积层的卷积核数量为64；得到第二特征图、第三特征图的卷积层的卷积核数量为256；得到第八特征图的卷积层的卷积核数量为3。

具体的，如表3所示：

表3

如图3所示，在一种较佳的实施例中，步骤S4包括：

步骤S41，将多通道图像的特征图进行一第一扩大操作多次，得到一扩大后的第一扩大特征图；

步骤S42，将低分辨率红外图像的特征图进行一第二扩大操作一次，得到一对应于第一特征图同倍数扩大的第二扩大特征图；

步骤S43，将第一扩大特征图和第二扩大特征图进行按照通道数拼接处理后，得到一第三扩大特征图；

步骤S44，将第三扩大特征图进行第一卷积操作一次，得到高分辨率红外图像。

在本实施例中，多通道图像的特征图经过i次分组卷积拼接模块，然后进行Transpose conv_re反卷积操作两次将多通道图像的特征图扩大4倍，得到第一扩大特征图，维度为(b,4*h,4*w,c)；将低分辨率红外图像进行双三次插值上采样4倍得到的对应于第一特征图同倍数扩大的第二扩大特征图，维度为(b,4*h,4*w,2*c)，将第一扩大特征图和第二扩大特征图进行按照通道数拼接处理，得到第三扩大特征图，最后将第三扩大特征图经过conv_re卷积操作一次，得到高分辨率红外图像，维度为(b,4*h,4*w,c)，低分辨率红外图像的高和宽各扩大4倍。

具体的，本实施例中的得到扩大两倍的第一扩大特征图的反卷积层的卷积核数量为12，得到扩大四倍的第一扩大特征图的反卷积层的卷积核数量为3,以及得到高分辨率红外图像的卷积层的卷积核数量为3。

具体的，如表4所示：

表4

在一种较佳的实施例中，第一卷积操作的卷积核大小为3*3，且步长为1。

具体的，如图6所示，本实施例的第一卷积操作为conv_re卷积操作，既先以3*3的卷积核以步长为1进行卷积操作，然后经过leaky relu激活函数。

在一种较佳的实施例中，第二卷积操作的卷积核大小为3*3，且步长为2。

具体的，如图7所示，本实施例的第二卷积操作为conv_down卷积操作，既先以3*3的卷积核以步长为2进行卷积操作，然后经过leaky relu激活函数。与conv_re卷积操作的唯一区别是步长为2，从而达到下采样的目的。

在一种较佳的实施例中，第一扩大操作的卷积核大小为4*4，且步长为1。

具体的，如图8所示，本实施例的第一扩大操作为Transpose conv_re反卷积操作，既为以4*4的卷积核以步长为1进行反卷积操作，对提取特征后多通道图像的特征图进行补0，使得输出的特征图的高和宽扩大2倍，然后经过leaky relu激活函数。

在一种较佳的实施例中，第二扩大操作为双三次插值上采样操作。

具体的，双三次插值上采样操作扩大的倍数根据Transpose conv_re反卷积操作扩大的倍数相同，本实施例中，Transpose conv_re反卷积层设置为2个，对输入图像扩大4倍，则双三次插值上采样操作也同样设置为扩大4倍。

在一种较佳的实施例中，关联于神经网络模型的训练条件为针对神经网络模型设置一损失函数；

损失函数具体为：

其中，

MSE为损失函数计算得出的损失值；

m为一真实红外图像的像素点总个数；

在本实施例中，训练此卷积神经网络模型使用的损失函数为MSE均方误差损失，其MSE损失值用来评价生成的高分辨率图像与原始采集的真实图像之间的失真程度。MSE损失值越小，说明此卷积神经网络模型对生成的高分辨率图像具有更好的精确性，采用此MES损失函数训练此卷积神经网络模型，训练完成后调用api将训练模型转化为可在嵌入式芯片RK3399Pro平台上运行的模型。

综上所述，本发明设计的一种基于深度学习卷积神经网络的一种提升红外图像分辨率的方法，可将输入图像的分辨率扩大2～N倍，此方法用于训练一种包含分组卷积拼接模块的卷积神经网络模型，对输入图像的特征提取主要在分组卷积拼接模块中实现，对输入图像的上采样则通过反卷积操作以及双三次插值操作来实现。通过调整此卷积神经网络模型中反卷积层的个数，反卷积核的尺寸，步长大小以及双三次插值上采样倍率可以实现其他上采样倍数。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。