一种可见光图像小目标检测识别方法及系统

技术领域

本发明属于目标识别系统技术领域，具体是指一种可见光图像小目标检测识别方法及系统。

背景技术

目标检测是一项重要的计算机视觉任务，近些年来随着无人机市场的快速拓展以及硬件设备成本的下降，基于无人机平台的目标检测已经成为研究热点。在深度学习技术迅猛发展背景下，无人机平台上的目标检测逐步从传统手工设计特征转为深度神经网络识别。

虽然深度学习给目标检测带来很大发展，但针对小目标检测仍然存在许多问题。一般目标检测不同类别之间，部分目标纹理姿态相似易混淆，对于同一类别之间存在差异性较大，如形状姿态，尺寸以及颜色纹理，易误判。除了这些常规特点之外，无人机航拍图像还包含大量的小目标，其中小目标占图像比例尺寸小，包含信息少，网络难以提取足够的信息来进行训练。除了小目标本身信息少之外，由于网络神经卷积的固有特点，使得小目标的特征信息随着网络的逐层卷积而减少，从而也导致小目标检测效果差的问题，对小目标的检测效果欠佳。

发明内容

针对上述情况，为克服现有技术的缺陷，本发明提供了一种可见光图像小目标检测识别方法及系统，用于解决无人机图片检测中小目标的漏检和误检问题，提高小目标的检测精度，并可对小目标进行识别与分类，还可对运动轨迹进行追踪。

本发明采取的技术方案如下：本发明一种可见光图像小目标检测识别系统，包括图像获取模块、图像增强模块、图像特征提取模块、多尺度特征融合模块、目标分类模块和图像追踪模块，

所述图像获取模块，用于获取无人机视频或者图像数据，并将所述无人机视频或者图像数据中的可见光图像发送至图像增强模块；

所述图像增强模块，用于对接收到的所述可见光图像进行图像增强处理，并检测运动目标，实时输出运动目标在图像中的位置；

所述图像特征提取模块，根据目标大小自适应调整锚框大小，并对特征图像进行多次重复采样，对特征图做归一化处理；

所述多尺度特征融合模块，通过双向特征金字塔网络，多次双向融合多尺度的图像特征信息；

所述目标分类模块，利用空间金字塔注意力机制实现目标的分类；

所述图像追踪模块，用于接收图像增强模块所输出的运动目标在图像中的位置，在可见光图像中标记处运动目标，并进行实时跟踪。

进一步地，所述图像增强模块通过Mosaic数据增强的方式，将原始的帧图像利用随机缩放、随机裁剪的方式进行增强，之后获得一张包含目标边界框的新图像，真实边界框和目标锚框之间没有相交区域。

进一步地，所述图像增强模块还包括：建立恒等分辨率特征增强网络，将可见光图像输入所述恒等分辨率特征增强网络中，增强目标的特征点。

作为优选方案，所述图像特征提取模块实现图像特征提取，包括如下步骤：

步骤1：设置初始锚框大小，之后对目标边界框大小进行聚类，将得到的目标锚框结果和真实边界框大小进行比对，根据目标大小自适应调整锚框大小；

步骤2：利用注意力网络，对同一个尺度的特征图进行多次重复采样，随后进行卷积和归一化操作，通过由卷积运算和激活运算构成的卷积层提取图像特征。

在本方案中，所述图像追踪模块对目标进行实时跟踪的方法，包括以下步骤：

步骤a：首先选项相邻的帧图像，对应像素值相减得到差分图像；

步骤b：然后对差分图像二值化，在环境亮度变化不大的情况下，如果对应像素值变化小于预设的阈值时，即所述像素为背景像素；如果图像区域的像素值变化大于等于预设的阈值时，即所述像素为前景像素；

步骤c：根据背景像素和前景像素来确定运动目标在图像中的位置。

进一步描述中，在可见光图像上用不同的颜色绘出每个目标的预测边界框，以及其类别种类。

作为进一步阐述的方案，本方案还公开了一种可见光图像小目标检测识别方法，包括以下步骤：

S1：获取无人机视频或者图像数据，并将所述无人机视频或者图像数据中的可见光图像发送至图像增强模块；

S2：通过图像增强模块，用于对接收到的所述可见光图像进行图像增强处理，并检测运动目标，实时输出运动目标在图像中的位置；

S3：对图像增强后的可见光图像进行图像特征提取以及多尺度特征融合处理，随后利用空间金字塔注意力机制实现目标的识别与分类；同时，在可见光图像中标记处运动目标，并进行实时跟踪。

采用上述结构本发明取得的有益效果如下：本方案一种可见光图像小目标检测识别方法及系统，用于解决无人机图片检测中小目标的漏检和误检问题，提高小目标的检测精度，并可对小目标进行识别与分类，还可对运动轨迹进行追踪。

附图说明

图1为本方案所提供的一种可见光图像小目标检测识别系统的组成示意图；

图2为本方案所提供的一种可见光图像小目标检测识别方法的流程图。

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1-2所示，本发明一种可见光图像小目标检测识别系统，包括图像获取模块、图像增强模块、图像特征提取模块、多尺度特征融合模块、目标分类模块和图像追踪模块。

其中，所述图像获取模块，用于获取无人机视频或者图像数据，并将所述无人机视频或者图像数据中的可见光图像发送至图像增强模块；

所述图像增强模块，用于对接收到的所述可见光图像进行图像增强处理，并检测运动目标，实时输出运动目标在图像中的位置；其中，所述图像增强模块通过Mosaic数据增强的方式，将原始的帧图像利用随机缩放、随机裁剪的方式进行增强，之后获得一张包含目标边界框的新图像，真实边界框和目标锚框之间没有相交区域。在可见光图像上用不同的颜色绘出每个目标的预测边界框，以及其类别种类。

进一步方案中，所述图像增强模块还包括：建立恒等分辨率特征增强网络，将可见光图像输入所述恒等分辨率特征增强网络中，增强目标的特征点。

所述图像特征提取模块，根据目标大小自适应调整锚框大小，并对特征图像进行多次重复采样，对特征图做归一化处理。其中，所述图像特征提取模块实现图像特征提取，包括如下步骤：

步骤1：设置初始锚框大小，之后对目标边界框大小进行聚类，将得到的目标锚框结果和真实边界框大小进行比对，根据目标大小自适应调整锚框大小；

步骤2：利用注意力网络，对同一个尺度的特征图进行多次重复采样，随后进行卷积和归一化操作，通过由卷积运算和激活运算构成的卷积层提取图像特征。

所述多尺度特征融合模块，通过双向特征金字塔网络，多次双向融合多尺度的图像特征信息；

所述目标分类模块，利用空间金字塔注意力机制实现目标的分类；

所述图像追踪模块，用于接收图像增强模块所输出的运动目标在图像中的位置，在可见光图像中标记处运动目标，并进行实时跟踪。其中，所述图像追踪模块对目标进行实时跟踪的方法，包括以下步骤：

步骤a：首先选项相邻的帧图像，对应像素值相减得到差分图像；

步骤b：然后对差分图像二值化，在环境亮度变化不大的情况下，如果对应像素值变化小于预设的阈值时，即所述像素为背景像素；如果图像区域的像素值变化大于等于预设的阈值时，即所述像素为前景像素；

步骤c：根据背景像素和前景像素来确定运动目标在图像中的位置。

实施例中，本方案还公开了一种可见光图像小目标检测识别方法，包括以下步骤：

S1：获取无人机视频或者图像数据，并将所述无人机视频或者图像数据中的可见光图像发送至图像增强模块；

S2：通过图像增强模块，用于对接收到的所述可见光图像进行图像增强处理，并检测运动目标，实时输出运动目标在图像中的位置；

S3：对图像增强后的可见光图像进行图像特征提取以及多尺度特征融合处理，随后利用空间金字塔注意力机制实现目标的识别与分类；同时，在可见光图像中标记处运动目标，并进行实时跟踪；并可对小目标进行识别与分类，还可对运动轨迹进行追踪，提高小目标的检测精度。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。