一种基于YOLOv3的目标检测和特征提取一体化网络

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于YOLOv3的目标检测和特征提取一体化网络。

背景技术

基于视觉的目标检测和跟踪是计算机视觉领域的重要研究课题，在视频监控、虚拟现实、人机交互、自主导航等领域具有重要的研究和实用价值。目标检测任务能够提供目标的类别、位置和大小信息，在连续帧序列目标追踪过程中，目标检测的性能好坏将直接影响后续的目标跟踪任务性能。

为了实现高效的目标跟踪，期望得到目标更多的准确信息，包括目标类别、目标位置、目标大小、以及目标颜色、纹理、边缘等表现特征，丰富的目标特征是实现目标鲁棒跟踪的关键。

目前的目标检测算法能够输出目标的类别、位置和大小信息，但不能够输出目标的表现特征信息，由于检测算法输出的信息有限，限制了跟踪算法的性能。

发明内容

为解决现有技术存在的局限和缺陷，本发明提供一种基于YOLOv3的目标检测和特征提取一体化网络，包括目标检测模块、解码模块和特征提取模块，所述目标检测模块运行YOLOv3算法，输出3个分支检测结果，使用非极大值抑制算法对3个分支数据进行整合，获得目标检测的输出结果；

所述解码模块接收所述目标检测的输出结果和原始图像信息，通过解码提取出目标区域的图像，将所述目标区域的图像送至所述特征提取模块；

所述特征提取模块运行卷积神经网络提取所述目标区域图像的特征信息，将图像特征投射到超球面上，所述超球面的坐标为所述目标的特征信息，所述特征检测模块输出的特征信息与所述目标检测模块输出的目标信息一一对应；

对所述特征检测模块输出的特征信息与所述目标检测模块输出的目标信息进行合并，获得所述目标检测和特征提取一体化网络的最终输出，所述最终输出包括每个目标的类别、位置、大小以及图像特征信息。

可选的，还包括：

目标检测模块运行YOLOv3算法，输出3分支结果，分别为D1、D2和D3，其中

通过非极大值抑制算法对3个分支数据进行整合，得到目标检测的输出结果D，其中

所述解码模块提取出目标区域的图像送入所述特征提取模块，所述特征提取模块运行卷积神经网络提取图像的特征信息，获得一个特征图，计算公式如下：

对提取的特征图通过全连接层，将信息转化为维度为(M×10)的特征向量f，计算公式如下：

对所述特征向量f进行操作，将每个目标的特征投射到超球面上，得到特征提取网络的最终输出F，计算公式如下：

其中，

对所述目标检测模块和所述特征提取模块的结果进行合并，获得最终输出output，所述最终输出output包含每个目标的类别、位置、大小以及图像特征信息，计算公式如下：

其中，

可选的，所述超球面为一个10维的超球面。

本发明具有下述有益效果：

本发明提供一种基于YOLOv3的目标检测和特征提取一体化网络，目标检测模块运行YOLOv3算法，输出3个分支检测结果，根据非极大值抑制算法对3个分支数据进行整合，得到目标检测的输出结果，将目标检测结果和原始图像信息输入到解码模块，解码模块提取出目标区域的图像送入特征提取模块，特征提取模块运行卷积神经网络提取图像的特征信息，并将每个目标的特征信息投射到超球面上，超球面的坐标即为该目标的特征信息。目标检测模块输出的目标信息和特征检测模块输出的特征信息一一对应，对目标检测的输出和特征提取的输出进行合并，得到网络的最终输出。

本发明提供的一体化网络能够提供目标检测信息的同时，为跟踪网络提供目标的特征信息，能够有效提升跟踪算法的性能。本发明提供的一体化网络的输出不仅包括目标检测结果，还包括目标的图像特征信息，丰富的信息输出为更高层任务奠定了基础。本发明提供的一体化网络的特征提取依托检测结果，只对有效的目标进行特征提取，降低了计算量，提高了算法的效率。本发明提供的一体化网络使用卷积神经网络，对目标特征进行提取，能够提取更多的图像细节信息，与传统方法相比具有优势。本发明提供的一体化网络将特征信息映射到一个10维的超球面上，便于对目标进行关联。本发明提供的一体化网络进行模块化设计，有利于网络的部署实现，而且能够利用YOLOv3原始网络数据进行迁移学习，降低训练的难度和成本。

附图说明

图1为本发明实施例一提供的基于YOLOv3的目标检测和特征提取一体化网络的结构示意图。

具体实施方式

为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图对本发明提供的基于YOLOv3的目标检测和特征提取一体化网络进行详细描述。

实施例一

图1为本发明实施例一提供的基于YOLOv3的目标检测和特征提取一体化网络的结构示意图。如图1所示，本实施例提供的一种基于YOLOv3的目标检测和特征提取一体化网络，主要包括三个功能模块：目标检测模块、解码模块和特征提取模块。

在工作过程中，目标检测模块运行YOLOv3算法，输出3分支检测结果，然后通过非极大值抑制算法(Non-Maximum Suppression，NMS)对3个分支数据进行整合，得到目标检测的输出结果，目标检测结果和原始图像信息输入到解码模块，解码模块提取出目标区域的图像并送入特征提取模块，特征提取模块运行卷积神经网络提取图像的特征信息，并将每个目标的特征信息投射到一个10维的超球面上，超球面的坐标即为该目标的特征信息。由于解码模块的作用，网络中目标检测模块输出的目标信息和特征检测模块输出的特征信息一一对应，最后对目标检测输出和特征提取输出进行合并，得到网络的最终输出，最终输出包含每个目标的类别、位置、大小以及图像特征信息。

本实施例提供的一体化网络能够提供目标检测信息的同时，为跟踪网络提供目标的特征信息，能够有效提升跟踪算法的性能。一体化网络的输出不仅包括目标检测结果，还包括目标的图像特征信息，丰富的信息输出为更高层任务奠定了基础。一体化网络的特征提取依托检测结果，只对有效的目标进行特征提取，降低了计算量，提高了算法的效率。一体化网络使用卷积神经网络，对目标特征进行提取，能够提取更多的图像细节信息，与传统方法相比具有优势。一体化网络将特征信息映射到一个10维的超球面上，便于对目标进行关联。一体化网络进行模块化设计，有利于网络的部署实现，而且能够利用YOLOv3原始网络数据进行迁移学习，降低训练的难度和成本。

本实施例提供一种基于YOLOv3的目标检测和特征提取一体化网络，目标检测模块运行YOLOv3算法，输出3个分支检测结果，根据非极大值抑制算法对3个分支数据进行整合，得到目标检测的输出结果，将目标检测结果和原始图像信息输入到解码模块，解码模块提取出目标区域的图像送入特征提取模块，特征提取模块运行卷积神经网络提取图像的特征信息，并将每个目标的特征信息投射到超球面上，超球面的坐标即为该目标的特征信息。目标检测模块输出的目标信息和特征检测模块输出的特征信息一一对应，对目标检测的输出和特征提取的输出进行合并，得到网络的最终输出。与现有技术相比，本实施例提供的一体化网络将目标检测和特征提取进行融合，构建了一个新型的网络结构。网络功能具有开创性，网络输出结果不仅包括目标检测结果还包含目标的图像特征信息，丰富了网络输出信息，为高层任务奠定了基础。本实施例提供的一体化网络采用卷积神经网络提取网络的特征信息，能够提取更多的图像细节信息，和传统方法相比具有优势。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。