一种红外小目标实时实例分割方法及装置

技术领域

本发明涉及红外目标图像处理领域，尤其涉及一种红外小目标实时实例分割方法及装置。

背景技术

实例分割作为图像处理和计算机视觉领域中的经典课题之一，广泛的应用于自动驾驶、图像检索、交通监控等方面。红外热成像广泛运用于安防监控、军事侦查、夜间行车、航运等领域。红外图像反应的是物体的相对温度信息。红外成像受天气因素的影响较小。在无光与雨雾天气，相对于照明摄像头、夜视等设备红外光谱成像具有探测距离远、探测可靠性高等优势，但红外成像具有分辨率较低，细节模糊等缺点。深度学习在可见光图像目标分割上展现出了良好的分割性能，但是红外图像中如背景存在多个热源会造成目标与背景差异较小，使得传统分割方法对于红外小目标实例分割的适应性较差。此外，基于深度学习的实例分割算法都有计算量大、计算复杂的缺点,不能满足实时处理的要求。因此，亟需研究一种能处理复杂场景，并利于工程实现的红外小目标图像实时实例分割方法。

战场环境中，只有尽早发现敌方，料敌先机，才能先发制人。这就要求光电设备在远距离时，当目标成像所占像素较少，对比度较小时就要检测并标记出目标。现实场景里，背景非常复杂，使得较小目标经常淹没在其他非关注背景中，信噪比较低，难以辨认。当深层神经网络的训练方法得到突破后，卷积神经网络在目标检测应用上相对于传统算法已经体现出巨大的优势，在其基础上发展得到的实例分割算法，在目标检测、定位和分割应用上已经得到了比较好的结果。但是，针对战场应用场景，此类目标分割算法也存在较大局限性，对于较小目标并不适用。基于深度学习的实例分割算法都是针对较大的、纹理较为丰富的目标进行检测识别分割，为了实现多尺度下的目标检测，其网络结构中使用了多次下采样操作，而小的目标经过多次下采样后，在特征图上已经没有任何信息。再者，人眼辨认小目标，其运动变化特性也是非常重要的一个特征。

红外图像小目标具有细节模糊，分辨率较低等缺点，虽然目前深度学习方法在可见光实例检测上展现出了良好的分割性能，但是此类算法都有计算量大、计算复杂的缺点,不能满足实时处理的要求。

发明内容

为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的红外小目标实时实例分割方法及装置。

第一方面，本发明实施例提供一种红外小目标实时实例分割方法，包括：

S1，采集多种场景下的红外小目标图像数据训练样本集；

S2，对红外小目标图像训练样本进行预处理，采用标注工具进行小目标二值实例掩膜制作；

S3，采用轻量化网络作为神经网络模型的主干网络，将红外小目标图像训练样本输入主干网络中，提取红外小目标图像的多级特征，基于多级特征生成多级特征图候选框；

S4，过滤置信度得分低于预设置信度阈值的候选框后，对剩余的候选框进行非极大值抑制操作，获取置信度满足条件的候选框对应的置信度得分，坐标和掩模系数；

S5，基于主干网络生成原型掩膜，将步骤S4得到的掩模系数与所述原型掩膜进行矩阵乘法运算，获得最终的二值掩模；

S6，计算神经网络模型的损失函数，利用损失函数对神经网络模型进行迭代，生成训练完成的红外小目标实时实例分割模型。

进一步，步骤S1中，采集多种场景下的红外小目标图像数据训练样本集，具体包括：

S101，采用中波红外相机采集不同复杂场景下，不同采集目标的红外小目标图像；其中，采集目标包括但不限于行人、汽车和卡车；

S102，多次改变数据采集地点、中波红外相机的拍摄参数，获得红外小目标图像数据训练样本集。

进一步，步骤S2中，对红外小目标图像训练样本进行预处理，具体包括：

S201，对红外小目标图像训练样本采用非线性动态范围压缩法进行处理；

S202，采用限制对比度自适应直方图均衡法对压缩后的红外小目标图像训练样本进行局部细节增强。

S203，采用绘图软件对红外小目标轮廓进行描绘，然后对红外小目标图像训练样本种各类别目标和背景赋予种不同颜色，生成二值掩模模板图；

S204，通过旋转变换、平移变换、尺度变换、翻转变换、缩放变换、投影变换、随机修剪、色彩抖动、对比度变换和噪声扰动方法对红外小目标图像训练样本进行数据增强；

S205，基于红外小目标图像训练样本的数据类别不平衡的特点，采用类别平衡策略进行数据增广；对所述红外小目标图像训练样本进行随机排序。

进一步，步骤S3具体包括：

S301，针对实时实例分割要求，采用轻量化主干网络和特征金字塔网络相结合，提取红外小目标图像多级特征；

S302，对多级特征中的逐个像素点预设三种大小不同先验框，获得多个候选框。

进一步，步骤S4具体包括：

S401，将置信度得分低于预设置信度阈值的候选框过滤，对剩余的候选框进行非极大值抑制法操作，保留置信度得分排名前100的候选框；

S402，对置信度得分排名前100的候选框进行边界框解码，设置variance超参数来调整解码预测值。

进一步，步骤S5中，基于主干网络生成原型掩膜，将步骤S4得到的掩模系数与所述原型掩膜进行矩阵乘法运算，具体包括：

S501，基于主干网络获取原型掩模；

S502，将步骤S4得到的掩模系数与所述原型掩膜进行矩阵乘法运算，获得掩模模板M：

M＝σ(PC

其中，P是原型掩模集合，C是n×k的掩模系数集合，代表有n个通过非极大值抑制和阈值过滤的候选框实例，每个候选框实例对应有k个掩模系数；

S503，将S502通过矩阵乘法获得的掩模模板M上采样为原始图像大小，获得最终的二值掩模。

进一步，所述红外小目标实时实例分割模型的损失函数L为：

其中，x为预测框的类别信息，c为预测框类别信息的置信度，l为预测框的位置信息，g为真实框的位置信息，N为与预先标注的真实目标框相匹配的先验框的个数，α是权值系数，α为1；L

第二方面，本发明实施例还提供一种红外小目标实时实例分割装置，包括：

采集模块，用于采集多种场景下的红外小目标图像数据训练样本集；

预处理模块，用于对红外小目标图像训练样本进行预处理，采用标注工具进行小目标二值实例掩膜制作；

多级特征提取模块，用于采用轻量化网络作为神经网络模型的主干网络，将红外小目标图像训练样本输入主干网络中，提取红外小目标图像的多级特征，基于多级特征生成多级特征图候选框；

候选框过滤模块，用于过滤置信度得分低于预设置信度阈值的候选框后，对剩余的候选框进行非极大值抑制操作，获取置信度满足条件的候选框对应的置信度得分，坐标和掩模系数；

掩膜获得模块，用于基于主干网络生成原型掩膜，将步骤S4得到的掩模系数与所述原型掩膜进行矩阵乘法运算，获得最终的二值掩模；

迭代训练模块，用于计算神经网络模型的损失函数，利用损失函数对神经网络模型进行迭代，生成训练完成的红外小目标实时实例分割模型。

第三方面，本发明实施例提供了一种电子设备，包括处理器、存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面实施例提供的红外小目标实时实例分割方法。

第四方面，本发明实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面实施例提供的红外小目标实时实例分割方法。

本发明实施例提供的红外小目标实时实例分割方法及装置，针对红外图像小目标的特性，对基于深度学习的实例分割算法进行了修改优化，提出了轻量化实时实例分割算法，使其在对像素数较大的目标进行识别定位分割时，也兼顾较小目标特征进行小目标检测识别分割。本发明提供的实时实例分割方法能够更好地适应复杂背景，增强了对地面等景物的抗干扰能力，扩大了该方法的应用范围。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的红外小目标实时实例分割方法流程示意图；

图2是本发明实施例中实例分割的示例图；

图3为本发明实施例提供的红外小目标实时实例分割装置结构示意图；

图4为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

红外图像小目标具有细节模糊，分辨率较低等缺点，虽然目前深度学习方法在可见光实例检测上展现出了良好的分割性能，但是此类算法都有计算量大、计算复杂的缺点,不能满足实时处理的要求。

针对现有技术的上述问题，本发明实施例提供了一种红外小目标实时实例分割方法，针对红外图像小目标的特性，对基于深度学习的实例分割算法进行了修改优化，提出了轻量化实时实例分割算法，使其在对像素数较大的目标进行识别定位分割时，也兼顾较小目标特征进行小目标检测识别分割。本发明提供的实时实例分割方法能够更好地适应复杂背景，增强了对地面等景物的抗干扰能力，扩大了该方法的应用范围。以下将结合附图通过多个实施例进行展开说明和介绍。

图1为本发明实施例提供的红外小目标实时实例分割方法流程示意图，如图1所示，本发明实施例提供的红外小目标实时实例分割方法包括但不限于以下步骤：

S1，采集多种场景下的红外小目标图像数据训练样本集；

本实施例中，S1具体可以包括以下步骤：

S101，采用中波红外相机采集不同复杂场景下，不同采集目标的红外小目标图像；其中，采集目标包括但不限于行人、汽车和卡车；

S102，多次改变数据采集地点、中波红外相机的拍摄参数，获得红外小目标图像数据训练样本集。

S2，对红外小目标图像训练样本进行预处理，采用标注工具进行小目标二值实例掩膜制作。其中，标注工具可以采用LabelImg标注工具，本发明对此不作具体限定。

其中，S2具体可以包括以下步骤：

S201，对红外小目标图像训练样本采用非线性动态范围压缩法进行处理。本实施例中，采用非线性动态范围压缩法将原始的14位红外小目标图像训练样本压缩为8位灰度图像。

S202，采用限制对比度自适应直方图均衡法对压缩后的红外小目标图像训练样本进行局部细节增强。

S203，采用绘图软件对红外小目标轮廓进行描绘，然后对红外小目标图像训练样本种各类别目标和背景赋予种不同颜色，生成二值掩模模板图；其中，绘图软件包括但不限于Photoshop软件。

S204，通过旋转变换、平移变换、尺度变换、翻转变换、缩放变换、投影变换、随机修剪、色彩抖动、对比度变换和噪声扰动方法对红外小目标图像训练样本进行数据增强。

S205，基于红外小目标图像训练样本的数据类别不平衡的特点，采用类别平衡策略进行数据增广；对所述红外小目标图像训练样本进行随机排序。

S3，采用轻量化网络作为神经网络模型的主干网络，将红外小目标图像训练样本输入主干网络中，提取红外小目标图像的多级特征，基于多级特征生成多级特征图候选框。

首先，针对实时实例分割要求，采用轻量化主干网络和特征金字塔网络相结合，提取红外小目标图像多级特征。具体地，针对实时实例分割要求，采用轻量化主干网络提取红外小目标图像多级特征，因为轻量化主干网络计算量比较低，运算复杂度比较低。本实施例中，轻量化主干网络是由13个卷积层和6个最大池化层交替组成的前向网络，导致信息在层与层传递时丢失，未能充分利用卷积层的特征信息，导致其分割精度的欠缺，尤其是对小目标的分割效果较差，经过多个卷积操作后，图像特征变得很小，很容易对远处的物体或者小目标造成漏分割和误分割。

针对轻量化主干网络的问题，本实施例还采用特征金字塔网络，特征金字塔网络采用自底向上(bottom-up)、自顶向下(top-down)、横向连接(lateral connection)结构，融合了具有高分辨率的浅层特征图信息和具有丰富语义特征的深层特征图信息，没有大幅度降低分割速度的同时提升了分割精度。该算法将语义信息更强的深层特征图做2倍上采样，然后将该特征横向连接至较浅一层的特征，加强深层特征信息，提高了分割的精度。

经过轻量化主干网络和特征金字塔网络相结合的特征提取，红外小目标图像生成56×56×256、28×28×256和14×14×256三种大小的特征图便于候选框的生成。

然后，对多级特征中的逐个像素点预设三种大小不同先验框，获得多个候选框。其中，对于一个大小m×n的特征图，共有m×n个网格，即像素点。每个网格设置的先验框数目记为a，那么每个网格共需要(c+4+k)a预测值，所有的网格共需要(c+4)kmn个预测值，由于分割算法采用卷积做检测，所以需要(c+4+k)a个卷积核完成这个特征图的检测分割过程。以56×56特征图为例，所有的网格共生成(4+4+32)×3×56×56个预测值，其中a＝3，k＝32，c＝4，m＝n＝56。

进一步地，本文采用的实时实例分割算法采用回归偏移值的方法获得预测框坐标及大小。

l

l

l

l

式中：l

基于候选框的检测模型会为每个候选框预测4个值用于表征box信息，和C个值用于表征类别得分，共(4+C)个值。

本文采用的实时实例分割算法为每个候选框预测(4+C+k)个值，额外k个值即为掩模系数。此外，为了能够通过线性组合来得到最终想要的掩模，能够从最终的掩模中减去原型掩模是很重要的。换言之就是，掩模系数必须有正有负。所以，在掩模系数预测时使用了tanh函数进行非线性激活，因为tanh函数的值域是(-1,1)。

S4，过滤置信度得分低于预设置信度阈值的候选框后，对剩余的候选框进行非极大值抑制操作，获取置信度满足条件的候选框对应的置信度得分，坐标和掩模系数。

步骤S4中，首先，将置信度得分低于预设置信度阈值的候选框过滤，预设置信度阈值可以设置为0.05，本发明对此不作具体限定。本实施例根据置信度得分阈值法，将低于0.05置信度得分的(56×56+28×28+14×14)×3＝12348个候选框过滤。接着，对剩余的候选框进行非极大值抑制法操作，保留置信度得分排名前100的候选框。

然后，对置信度得分排名前100的候选框进行边界框解码。目前仅得到等同于特征图大小的目标框的预测位置，经过缩放处理最终得到等同于输入图像大小的目标框的最终位置。解码预测值对应的边界框的位置信息为：

l

l

l

l

式中：l

设置variance超参数来调整解码预测值，调整解码预测值后，最终边界框的位置信息为：

b

b

b

b

S5，基于主干网络生成原型掩膜，将步骤S4得到的掩模系数与所述原型掩膜进行矩阵乘法运算，获得最终的二值掩模。

本实施例中，基于主干网络获取原型掩模。从较深的主干网络中获取的原型掩模可以产生更稳健的掩模，高分辨率的原型掩模有利于提高目标分割精度和小目标的分割效果。

本专利采用特征金字塔作为瓶颈网络，同时原型掩模上采样到原图尺寸的1/4以改善对小目标的分割效果。原型掩模基于全卷积网络实现，最后会输出k个通道特征图，每个通道可以视作一张原型掩模。

将步骤S4得到的掩模系数与所述原型掩膜进行矩阵乘法运算，获得掩模模板M：

M＝σ(PC

其中，P是原型掩模集合，C是n×k的掩模系数集合，代表有n个通过非极大值抑制和阈值过滤的候选框实例，每个候选框实例对应有k个掩模系数。

将通过矩阵乘法获得的掩模模板M上采样为原始图像大小，获得最终的二值掩模。

S6，计算神经网络模型的损失函数，利用损失函数对神经网络模型进行迭代，生成训练完成的红外小目标实时实例分割模型。本实施例中，可以重复步骤S4和步骤S5三次，采用所有红外小目标图像数据训练样本进行迭代，最终获得红外小目标实时实例分割模型。

本实施例中，红外小目标实时实例分割模型的损失函数L(x,c,l,g)为：

其中，x为预测框的类别信息，c为预测框类别信息的置信度，l为预测框的位置信息，g为真实框的位置信息，N为与预先标注的真实目标框相匹配的先验框的个数，α是权值系数，α为1；L

图2是本发明实施例中实例分割的示例图，如图2所示，在获得训练完成的红外小目标实时实例分割模型后，将待分割的红外小目标图像输入所述红外小目标实时实例分割模型，得到相应的实时实例分割结果图像。

在一个实施例中，图3为本发明实施例提供的红外小目标实时实例分割装置结构示意图，本发明实施例提供的红外小目标实时实例分割装置用于执行上述方法实施例中的红外小目标实时实例分割方法。如图3所示，该装置包括：

采集模块301，用于采集多种场景下的红外小目标图像数据训练样本集。

预处理模块302，用于对红外小目标图像训练样本进行预处理，采用标注工具进行小目标二值实例掩膜制作；

多级特征提取模块303，用于采用轻量化网络作为神经网络模型的主干网络，将红外小目标图像训练样本输入主干网络中，提取红外小目标图像的多级特征，基于多级特征生成多级特征图候选框；

候选框过滤模块304，用于过滤置信度得分低于预设置信度阈值的候选框后，对剩余的候选框进行非极大值抑制操作，获取置信度满足条件的候选框对应的置信度得分，坐标和掩模系数；

掩膜获得模块305，用于基于主干网络生成原型掩膜，将步骤S4得到的掩模系数与所述原型掩膜进行矩阵乘法运算，获得最终的二值掩模；

迭代训练模块306，用于计算神经网络模型的损失函数，利用损失函数对神经网络模型进行迭代，生成训练完成的红外小目标实时实例分割模型。

具体的如何利用上述各模块进行红外小目标实时实例分割，可以参照前述的方法实施例，本发明实施例在此不再赘述。

在一个实施例中，本发明实施例提供了本发明实施例提供了一种电子设备，如图4所示，该电子设备可以包括：处理器(processor)401、通信接口(CommunicationsInterface)402、存储器(memory)403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令，以执行上述各实施例提供的红外小目标实时实例分割方法的步骤，例如包括：S1，采集多种场景下的红外小目标图像数据训练样本集；S2，对红外小目标图像训练样本进行预处理，采用标注工具进行小目标二值实例掩膜制作；S3，采用轻量化网络作为神经网络模型的主干网络，将红外小目标图像训练样本输入主干网络中，提取红外小目标图像的多级特征，基于多级特征生成多级特征图候选框；S4，过滤置信度得分低于预设置信度阈值的候选框后，对剩余的候选框进行非极大值抑制操作，获取置信度满足条件的候选框对应的置信度得分，坐标和掩模系数；S5，基于主干网络生成原型掩膜，将步骤S4得到的掩模系数与所述原型掩膜进行矩阵乘法运算，获得最终的二值掩模；S6，计算神经网络模型的损失函数，利用损失函数对神经网络模型进行迭代，生成训练完成的红外小目标实时实例分割模型。

在一个实施例中，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的红外小目标实时实例分割方法的步骤，例如包括：S1，采集多种场景下的红外小目标图像数据训练样本集；S2，对红外小目标图像训练样本进行预处理，采用标注工具进行小目标二值实例掩膜制作；S3，采用轻量化网络作为神经网络模型的主干网络，将红外小目标图像训练样本输入主干网络中，提取红外小目标图像的多级特征，基于多级特征生成多级特征图候选框；S4，过滤置信度得分低于预设置信度阈值的候选框后，对剩余的候选框进行非极大值抑制操作，获取置信度满足条件的候选框对应的置信度得分，坐标和掩模系数；S5，基于主干网络生成原型掩膜，将步骤S4得到的掩模系数与所述原型掩膜进行矩阵乘法运算，获得最终的二值掩模；S6，计算神经网络模型的损失函数，利用损失函数对神经网络模型进行迭代，生成训练完成的红外小目标实时实例分割模型。

综上所述，本发明实施例提供了一种红外小目标实时实例分割方法及装置，针对红外图像小目标的特性，对基于深度学习的实例分割算法进行了修改优化，提出了轻量化实时实例分割算法，使其在对像素数较大的目标进行识别定位分割时，也兼顾较小目标特征进行小目标检测识别分割。本发明提供的实时实例分割方法能够更好地适应复杂背景，增强了对地面等景物的抗干扰能力，扩大了该方法的应用范围。

本发明的各实施方式可以任意进行组合，以实现不同的技术效果。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。