一种图像中极小物体检测方法及系统、存储介质及终端

技术领域

本发明涉及图像处理的技术领域，特别是涉及一种图像中极小物体检测方法及系统、存储介质及终端。

背景技术

目标检测(object detection)，就是在给定的一张图像中精确找到物体所在的位置，并标注出物体的类别。现有技术中，目标检测算法主要是基于深度学习模型，主要包括以下两大类：

(1)one-stage检测算法，其不需要候选区域(region proposal)阶段，直接产生物体的类别概率和位置坐标值，经过单次检测即可直接得到最终的检测结果，因此有着更快的检测速度，比较典型的算法如YOLO、SSD、Retina-Net。

(2)two-stage检测算法，用相应的Region Proposal算法从输入图片中生成建议目标候选区域，将所有的候选区域送入分类器进行分类。

目标检测模型的主要性能指标是检测准确度和速度，对于准确度，目标检测要考虑物体的定位准确性，而不单单是分类准确度。一般情况下，two-stage算法在准确度上有优势，而one-stage算法在速度上有优势。

然而，无论是one-stage检测算法还是two-stage检测算法，只对图片中普通尺寸的物体检测有良好的效果，均没有考虑到如尺寸小于20*20像素的极小物体的检测，因而导致极小物体漏检的情况发生。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种图像中极小物体检测方法及系统、存储介质及终端，基于能够检测极小物体的神经网络实现图像中极小物体的检测，保证了图像检测的可靠性和有效性。

为实现上述目的及其他相关目的，本发明提供一种图像中极小物体检测方法，包括以下步骤：获取输入图像；对所述输入图像连续进行至少四组的卷积、池化和非线性函数激活操作；其中，后四组卷积、池化和非线性函数激活操作得到的特征图分别为第一特征图、第二特征图、第三特征图和第四特征图；对所述第二特征图进行第一次数上采样操作得到第五特征图，对所述第三特征图进行第二次数上采样操作得到第六特征图，对所述第四特征图进行第三次数上采样操作得到第七特征图；对所述第一特征图、所述第五特征图、所述第六特征图和所述第七特征图进行连接，得到第八特征图；对所述第八特征图进行第一预设次数卷积、池化和非线性函数激活操作，得到第九特征图；对所述第九特征图进行第二预设次数卷积、池化和非线性函数激活操作，得到第十特征图；基于所述第十特征图检测所述输入图像中的极小物体。

于本发明一实施例中，还包括对所述输入图像进行预处理，以基于预处理后的输入图像进行六次的卷积、池化和非线性函数激活操作。

于本发明一实施例中，所述后四组卷积、池化和非线性函数激活操作分别对应两次、八次、八次和四次的连续卷积、池化和非线性函数激活操作。

于本发明一实施例中，所述第一次数、所述第二次数和所述第三次数分别为一次、两次和三次；所述第一预设次数为五次，所述第二预设次数为一次。

对应地，本发明提供一种图像中极小物体检测系统，包括获取模块、第一卷积模块、上采样模块、连接模块、第二卷积模块、第三卷积模块和检测模块；

所述获取模块用于获取输入图像；

所述第一卷积模块用于对所述输入图像连续进行至少四组的卷积、池化和非线性函数激活操作；其中，后四组卷积、池化和非线性函数激活操作得到的特征图分别为第一特征图、第二特征图、第三特征图和第四特征图；

所述上采样模块用于对所述第二特征图进行第一次数上采样操作得到第五特征图，对所述第三特征图进行第二次数上采样操作得到第六特征图，对所述第四特征图进行第三次数上采样操作得到第七特征图；

所述连接模块用于对所述第一特征图、所述第五特征图、所述第六特征图和所述第七特征图进行连接，得到第八特征图；

所述第二卷积模块用于对所述第八特征图进行第一预设次数卷积、池化和非线性函数激活操作，得到第九特征图；

所述第三卷积模块用于对所述第九特征图进行第二预设次数卷积、池化和非线性函数激活操作，得到第十特征图；

所述检测模块用于基于所述第十特征图检测所述输入图像中的极小物体。

于本发明一实施例中，还包括对所述输入图像进行预处理，以基于预处理后的输入图像进行六次的卷积、池化和非线性函数激活操作。

于本发明一实施例中，所述后四组卷积、池化和非线性函数激活操作分别对应两次、八次、八次和四次的连续卷积、池化和非线性函数激活操作。

于本发明一实施例中，所述第一次数、所述第二次数和所述第三次数分别为一次、两次和三次；所述第一预设次数为五次，所述第二预设次数为一次。

本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的图像中极小物体检测方法。

最后，本发明提供一种终端，包括：处理器及存储器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上述的图像中极小物体检测方法。

如上所述，本发明的图像中极小物体检测方法及系统、存储介质及终端，具有以下有益效果：

(1)基于能够检测极小物体的神经网络实现图像中极小物体的检测；

(2)避免了图像检测时对极小物体的漏检，保证了图像检测的可靠性和有效性。

附图说明

图1显示为本发明的图像中极小物体检测方法于一实施例中的流程图；

图2显示为本发明的图像中极小物体检测方法于一实施例中的架构示意图；

图3显示为本发明的图像中极小物体检测系统于一实施例中的结构示意图；

图4显示为本发明的终端于一实施例中的结构示意图。

元件标号说明

31 获取模块

32 第一卷积模块

33 上采样模块

34 连接模块

35 第二卷积模块

36 第三卷积模块

37 检测模块

41 处理器

42 存储器

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明的图像中极小物体检测方法及系统、存储介质及终端通过检测极小物体的神经网络来实现图像中极小物体的检测，有效避免了极小物体的漏检，从而保证了图像检测的可靠性和有效性。

如图1所示，于一实施例中，本发明的图像中极小物体检测方法包括以下步骤：

步骤S1、获取输入图像。

具体地，所述输入图像包含有极小物体。优选地，所述极小物体为小于20*20像素的物体。

步骤S2、对所述输入图像连续进行至少四组的卷积、池化和非线性函数激活操作；其中，后四组卷积、池化和非线性函数激活操作得到的特征图分别为第一特征图、第二特征图、第三特征图和第四特征图。

具体地，如图2所示，以416*416*3像素的输入图像为例，

首先，使用32*3*3大小的卷积核，对416*416*3像素的输入图像进行卷积操作、池化操作以及非线性函数激活操作，获取到416*41*32像素的特征图(feature map)。

接着，使用64*3*3大小的卷积核，对416*41*32像素的feature map进行卷积操作、池化操作以及非线性函数激活操作，获取到208*208*64像素的feature map。

然后，使用128*3*3大小的卷积核，对第208*208*64像素的feature map进行卷积操作、池化操作以及非线性函数激活操作，连续进行两次，获取到104*104*128像素的feature map A。

再然后，使用256*3*3大小的卷积核，对104*104*128像素的feature map A进行卷积操作、池化操作以及非线性函数激活操作，连续进行八次，获取到52*52*256像素的feature map B。

再然后，使用512*3*3大小的卷积核，对52*52*256像素的feature map B进行卷积操作、池化操作以及非线性函数激活操作，连续进行八次，获取到26*26*512像素的featuremap C。

最后，使用1024*3*3大小的卷积核，对26*26*512像素的feature map C进行卷积操作、池化操作以及非线性函数激活操作，连续进行四次，获取到13*13*1024像素的feature map D。

步骤S3、对所述第二特征图进行第一次数上采样操作得到第五特征图，对所述第三特征图进行第二次数上采样操作得到第六特征图，对所述第四特征图进行第三次数上采样操作得到第七特征图。

具体地，对feature map B进行一次上采样操作，获得104*104*256像素的featuremap E；对feature map C进行两次上采样操作，获得104*104*512像素的feature map F；对feature map D进行三次上采样操作，获得104*104*1024像素的feature map G。

步骤S4、对所述第一特征图、所述第五特征图、所述第六特征图和所述第七特征图进行连接，得到第八特征图。

具体地，对feature map A、feature map E、feature map F和feature map G进行连接(concat)操作，获得104*104*1920像素的feature map H。

步骤S5、对所述第八特征图进行第一预设次数卷积、池化和非线性函数激活操作，得到第九特征图。

具体地，使用128*3*3大小的卷积核，对104*104*1920像素的feature map H进行卷积操作、池化操作以及非线性函数激活操作，连续进行五次，获取到104*104*128像素的feature map J。

步骤S6、对所述第九特征图进行第二预设次数卷积、池化和非线性函数激活操作，得到第十特征图。

具体地，使用75*3*3大小的卷积核，对104*104*128像素的feature map J进行一次卷积操作、池化操作以及非线性函数的激活，获取到104*104*75像素的feature map K。

步骤S7、基于所述第十特征图检测所述输入图像中的极小物体。

具体地，使用104*104*75像素的feature map K检测所述输入图像中的极小物体。

于本发明一实施例中，本发明的图像中极小物体检测方法还包括对所述输入图像进行预处理，以基于预处理后的输入图像进行六次的卷积、池化和非线性函数激活操作，从而保证极小物体检测的准确性。优选地，所述预处理操作包括去噪、增强对比度中的一种或组合。

如图3所示，于一实施例中，本发明的图像中极小物体检测系统包括获取模块31、第一卷积模块32、上采样模块33、连接模块34、第二卷积模块35、第三卷积模块36和检测模块37。

所述获取模块31用于获取输入图像。

所述第一卷积模块32与所述获取模块31相连，用于对所述输入图像连续进行至少四组的卷积、池化和非线性函数激活操作；其中，后四组卷积、池化和非线性函数激活操作得到的特征图分别为第一特征图、第二特征图、第三特征图和第四特征图。

所述上采样模块33与所述第一卷积模块32相连，用于对所述第二特征图进行第一次数上采样操作得到第五特征图，对所述第三特征图进行第二次数上采样操作得到第六特征图，对所述第四特征图进行第三次数上采样操作得到第七特征图。

所述连接模块34与所述第一卷积模块32和所述上采样模块33相连，用于对所述第一特征图、所述第五特征图、所述第六特征图和所述第七特征图进行连接，得到第八特征图。

所述第二卷积模块35与所述连接模块34相连，用于对所述第八特征图进行第一预设次数卷积、池化和非线性函数激活操作，得到第九特征图。

所述第三卷积模块36与所述第二卷积模块35相连，用于对所述第九特征图进行第二预设次数卷积、池化和非线性函数激活操作，得到第十特征图。

所述检测模块37与所述第三卷积模块36相连，用于基于所述第十特征图检测所述输入图像中的极小物体。

其中，获取模块31、第一卷积模块32、上采样模块33、连接模块34、第二卷积模块35、第三卷积模块36和检测模块37的结构和原理与上述图像中极小物体检测方法中的步骤一一对应，故在此不再赘述。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Digital Signal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

本发明的存储介质上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述的图像中极小物体检测方法。所述存储介质包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。

如图4所示，于一实施例中，本发明的终端包括：处理器41及存储器42。

所述存储器42用于存储计算机程序。

所述存储器42包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。

所述处理器41与所述存储器42相连，用于执行所述存储器42存储的计算机程序，以使所述终端执行上述的图像中极小物体检测方法。

优选地，所述处理器41可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

综上所述，本发明的图像中极小物体检测方法及系统、存储介质及终端基于能够检测极小物体的神经网络实现图像中极小物体的检测；避免了图像检测时对极小物体的漏检，保证了图像检测的可靠性和有效性。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。