红外实时暗弱目标分割方法、装置、设备及介质

技术领域

本发明属于图像处理技术领域，尤其涉及红外实时暗弱目标分割方法、装置、设备及介质。

背景技术

对于红外成像系统，由于大气湍流、光照不均匀等情况，远处的目标容易呈现暗弱的特性，进一步地，在目标场景比较复杂的情况下，远处目标的特性更不明显。

暗弱目标在传感器图像上表现出边缘信息不明显、对比度低的特征；同时传感器以及目标场景引入的噪声让这一类暗弱目标更加难以检测。传统的图像处理算法容易受到复杂背景、相机盲元以及噪声的干扰，暗弱目标的检测率低。

发明内容

本发明的目的在于，为克服现有技术缺陷，提供了红外实时暗弱目标分割方法、装置、设备及介质,使用基于深度学习的方法来实现对复杂场景下暗弱目标的分割。

本发明目的通过下述技术方案来实现：

一种红外实时暗弱目标分割方法，其特征在于，所述方法包括：

响应于获取的目标场景数据，对所述目标场景数据进行标签标注；

根据标注后的数据训练初始模型，所述训练包括使用小目标数据增强以及多尺度特征融合提取特征；

利用训练好的模型获取目标分割结果。

进一步的，所述小目标数据增强具体包括：

小目标的随机过采样、增强正样本在图像中比例、对数据的随机裁剪、添加随机噪声和目标的灰度变换。

进一步的，所述多尺度特征融合提取特征具体包括：

在下采样过程中对不同特征层的特征融合，融合上下文的多尺度信息，使用多尺度的空洞卷积核完成对多尺度特征的提取。

进一步的，所述随机过采样包括随机地将目标对象裁剪并随机粘贴到另一张图像上，增加正样本的绝对数量；

所述对数据的随机裁剪包括对图像整体做随机的区域裁剪，增强目标位置的区域随机性；

所述添加随机噪声包括随机添加不同均值方差的高斯噪声，模拟真实场景下的噪声分布，增强数据的多样性与真实性；

所述目标的灰度变换包括对目标进行灰度信息的随机调整，模拟不同光照条件下目标的强度信息，增强目标的多样性与真实性。

进一步的，所述利用训练好的模型获取目标分割结果：

实时对目标进行前向推理，获取分割结果；

其中，实时对目标进行前向推理具体包括：

初始化训练好的模型中的输入结构体，输入结构体包含帧数据；

设置模型输入，等待训练好的模型推理结束后，输出推理结果。

进一步的，所述目标分割结果包括模型推理结果和提取目标的语义信息，叠加显示在原图上。

进一步的，所述方法还包括：

对训练好的模型进行非对称8位量化，具体包括：

其中，min和max表示参数中的最小值和最大值，x

另一方面，本发明还提供了一种红外实时暗弱目标分割装置，所述装置包括：

标签标注模块，所述标签标注模块响应于获取的目标场景数据，对所述目标场景数据进行标签标注；

模型训练模块，所述模型训练模块根据标注后的数据训练初始模型，所述训练包括使用小目标数据增强以及多尺度特征融合提取特征；

目标分割模块，所述目标分割模块利用训练好的模型获取目标分割结果。

另一方面，本发明还提供了一种计算机设备，计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现上述的任意一种红外实时暗弱目标分割方法。

另一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述的任意一种红外实时暗弱目标分割方法。

本发明的有益效果在于：

(1)本发明提供了一种针对暗弱目标数据增强的方法，扩大正样本数据的数量，同时增强暗弱目标场景数据的多样性与真实性。

(2)本发明提供了一种基于多尺度特征融合的方法，结合上下文信息对目标进行特征提取，对暗弱小目标的提取更加准确。

(3)本发明提供了一种实时暗弱目标分割算法，可用于对实时性要求较高的应用场景。

(4)本发明实施成本低，无需配置高能耗且昂贵的GPU显卡即可实现快速稳定的分割效果。

附图说明

图1是本发明实施例提供的红外实时暗弱目标分割方法流程示意图；

图2是本发明实施例数据增强示意图；

图3是本发明实施例暗弱目标分割结果展示图；

图4是本发明实施例提供的红外实时暗弱目标分割装置结构框图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

暗弱目标在传感器图像上表现出边缘信息不明显、对比度低的特征；同时传感器以及目标场景引入的噪声让这一类暗弱目标更加难以检测。传统的图像处理算法容易受到复杂背景、相机盲元以及噪声的干扰，暗弱目标的检测率低。

为了解决上述技术问题，提出了本发明红外实时暗弱目标分割方法、装置、设备及介质的下述各个实施例。

实施例1

本实施例提供了一种红外实时暗弱目标分割方法，该方法基于以下设备实现：

包括专用开发板、摄像头、输入设备、数据存储设备以及显示设备。摄像头、输入设备、数据存储设备以及显示设备分别与专用开发板连接。应当理解的是，本实施例所采用的专用开发板型号为搭载有瑞芯微RK1808芯片的智能主板，其他功能类似的智能主板上均可进行相应开发。

参照图1，如图1所示是本实施例提供的红外实时暗弱目标分割方法流程示意图。

本实施例中步骤100-步骤103在搭载有瑞芯微RK1808芯片的智能主板外执行，本实施例步骤200-步骤202在搭载有瑞芯微RK1808芯片的智能主板上执行。

在步骤100中，首先对目标场景进行数据采集，将采集的视频帧保存在存储设备。

然后，使用LabelMe开源软件对目标进行语义分割mask标注，标注需将目标边缘作清晰标注，将目标边界与背景特征区分开。并将mask标注文件作为独立文件保存在本地，作为后期训练使用的标签文件。

在步骤101中，构建多尺度特征提取目标分割模型。多尺度特征提取目标分割模型整体为U型Encode-Decode结构，其中Encode部分为特征提取模块，包含Conv+BN+ReLU操作、Conv+BN+ReLU+Pooling操作(特征图尺寸会变为原来特征图尺寸1/2)、Conv+BN+ReLU+Upsample操作(特征图尺寸会变为原来特征图尺寸的2倍)和输出层，使用Sigmoid激活获取输出特征图。

本实施例模型的Encode部分的整体结构为MobileNetV3轻量级特征提取模型，主要为降低特征提取网络的参数量，提升模型的推理速度。

多尺度特征提取除了U型结构本身的深层与浅层信息融合之外，在模型下采样的最后一个模块采用ASPP(Atrous Spatial Pyramid Pooling)模块，进行特征的多尺度融合，这里的多尺度信息主要采用空洞卷积的方式进行多尺度特征的提取，在本实施例的模型设计中，采用四组空洞率不同(rate＝1，rate＝6，rate＝12，rate＝18)的空洞卷积核对特征图进行特征提取，然后再将四组特征图进行concatenate操作将特征进行融合得到深层的多尺度信息。不同尺度的空洞卷积核保障了模型对不同尺度目标的特征提取能力，同时也能更有效地对目标周围的特征进行提取。

在步骤102中，数据在进行训练之前，会对数据进行数据增强以增加数据的多样性，增强模型的拟合能力。在本实施例中，主要采用随机过采样、随机裁剪、添加随机噪声、随机灰度变换等方法进行数据增强。参照图2，如图2所示是本实施例数据增强示意图。

本实施例随机过采样包括随机地将目标对象裁剪并随机粘贴到另一张图像上，增加正样本的绝对数量。

本实施例随机裁剪包括对图像整体做随机的区域裁剪，增强目标位置的区域随机性。

本实施例添加随机噪声包括随机添加不同均值方差的高斯噪声，模拟真实场景下的噪声分布，增强数据的多样性与真实性。

本实施例灰度变换包括对目标进行灰度信息的随机调整，模拟不同光照条件下目标的强度信息，增强目标的多样性与真实性。

作为一种实施方式，还可以采用其他随机数据增强的方法，得到扩充的数据集，用于后续模型的训练。

使用数据增强的小目标数据对模型进行训练，得到初始的原始模型，用于后续模型转换。

在步骤103中，根据上述训练中验证集的验证结果选择最终的原始模型，用于转换为.rknn模型。

模型转换包括使用rknn开发套件将模型进行非对称8位量化提高模型推理速度，非对称8位量化，即将float32的浮点张量转化为8位无符号整型(uint8)张量，如下公式所示：

其中，公式中min和max表示参数中的最小值和最大值，x

需要说明的是，本实施例模型转换过程中，需输入部分场景目标数据进行数据标定，以保持对分布漂移的鲁棒性。

最终模型会被部署在瑞芯微RK1808芯片上，用于后期装置对采集视频帧的实时推理。

装置在使用时的主要流程如步骤200-202所示：

在步骤200中，外部输入设备输入开始检测指令，然后该装置调用摄像头获取目标场景的信息输入，输入的图像信息会被实时读取到内存中。

在步骤201中，内存中的图像的数据被传入NPU进行前向推理，获取输出结果。

其中，前向推理过程使用部署在瑞芯微RK1808上的.rknn模型进行推理。前向推理的流程如下：首先初始化rknn_input结构体，帧数据包含在该结构体中，然后使用rknn_inputs_set函数设置模型输入，等待rknn_run推理结束后，使用rknn_outputs_get函数获取推理的输出。

在步骤202中，对NPU前向推理得到的结果进行后处理获取最终的目标分割结果。后处理主要包括以下步骤：

首先，根据推理得到的置信度将推理得到的结果处理为二值化的掩膜图像，此时图像中可能包含置信度较高的假阳目标；

然后对整副二值图像进行形态学滤波，去除背景噪声以及相机盲元造成的假阳；

最后通过对连通域进行面积排序与最大面积提取，得到最终的分割掩膜结果，并计算得到目标的外接包围框，显示在图像上并输出给显示设备进行显示。

该推理过程会循环执行，相机采集到的每一帧图像都会经过该前向推理过程得到最终的结果，并实时传送给显示设备进行显示。

参照图3，如图3所示是本实施例暗弱目标分割结果展示图。其中，第一列为原始图像，第二列为分割出来的目标掩膜Mask图像，第三列为将得到的目标掩膜与原图叠加得到的图像，第四列为根据掩膜得到的bbox与原图叠加得到的图像。

本实施例提供的红外实时暗弱目标分割方法利用小目标数据增强的方法，扩充数据集，可准确地实现对复杂背景下的暗弱目标进行提取；并采用一种低参量的网络训练分割模型，使得部署在NPU芯片上的模型能够实现每秒>30FPS的推理速度，满足视频实时推理的需求。

实施例2

参照图4，如图4所示是本实施例提供的红外实时暗弱目标分割装置结构框图，该装置具体包括以下结构：

标签标注模块，标签标注模块响应于获取的目标场景数据，对目标场景数据进行标签标注；

模型训练模块，模型训练模块根据标注后的数据训练初始模型，训练包括使用小目标数据增强以及多尺度特征融合提取特征；

目标分割模块，目标分割模块利用训练好的模型获取目标分割结果。

本实施例提供的红外实时暗弱目标分割装置利用小目标数据增强的方法，扩充数据集，可准确地实现对复杂背景下的暗弱目标进行提取；并采用一种低参量的网络训练分割模型，使得部署在NPU芯片上的模型能够实现每秒>30FPS的推理速度，满足视频实时推理的需求。

实施例3

本优选实施例提供了一种计算机设备，该计算机设备可以实现本申请实施例所提供的红外实时暗弱目标分割方法任一实施例中的步骤，因此，可以实现本申请实施例所提供的红外实时暗弱目标分割方法的有益效果，详见前面的实施例，在此不再赘述。

实施例4

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的红外实时暗弱目标分割方法中任一实施例的步骤。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一红外实时暗弱目标分割方法实施例中的步骤，因此，可以实现本发明实施例所提供的任一红外实时暗弱目标分割方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。