目标物数量检测方法、装置、电子设备及存储介质

技术领域

本申请涉及图像识别技术领域，具体涉及一种目标物数量检测方法、装置、电子设备及存储介质。

背景技术

现有的流水线包裹数量核查方法，通常是针对不同场地线体，使用不同分类模型对包裹进行识别。但当场地线体数量增多时，对数据和模型的维护都将是一项艰巨的工作，同时分类方法具有一定局限性，并不能完全解决流水线包裹种类多样的需求，而单一检测方案同样具有局限性。

发明内容

本申请提供一种通过对待检测图像进行先分类再检测，能够高效且准确地判断待检测图像中的目标物的数量，能够解决目前流水线线体目标物数量核查问题的目标物数量检测方法、装置、电子设备及存储介质。

一方面，本申请提供一种目标物数量检测方法，包括：

获取待检测图像，所述待检测图像包括主要待检测区域和其他待检测区域；

对所述主要待检测区域和所述其他待检测区域分别进行光曝图像分类，得到主要待检测区域分类结果和其他待检测区域分类结果；

根据所述主要待检测区域分类结果和其他待检测区域分类结果，确定所述待检测图像的图像类型；

当所述待检测图像的图像类型为可检测类图像时，对所述待检测图像中的目标物的数量进行检测，得到目标物数量检测结果。

在本申请一种可能的实现方式中，所述对所述主要待检测区域和所述其他待检测区域分别进行光曝图像分类，得到主要待检测区域分类结果和其他待检测区域分类结果，包括：

判断所述主要待检测区域是否为光曝类图像；

是则确定所述主要待检测区域分类结果为所述主要待检测区域是光曝类图像，否则确定所述主要待检测区域分类结果为所述主要待检测区域是非光曝类图像；

判断所述其他待检测区域是否为光曝类图像；

是则确定所述其他待检测区域分类结果为所述其他待检测区域是光曝类图像，否则确定所述其他待检测区域分类结果为所述其他待检测区域是非光曝类图像。

在本申请一种可能的实现方式中，所述根据所述主要待检测区域分类结果和其他待检测区域分类结果，确定所述待检测图像的图像类型，包括：

所述待检测图像的图像类型包括可检测类图像和不可检测类图像；

当所述主要待检测区域分类结果为所述主要待检测区域是光曝类图像且所述其他待检测区域分类结果为所述其他待检测区域是光曝类图时，确定所述待检测图像的图像类型为不可检测类图像，否则确定所述待检测图像的图像类型为可检测类图像。

在本申请一种可能的实现方式中，所述对所述待检测图像中的目标物的数量进行检测，得到目标物数量检测结果，包括：

对所述待检测图像的全景图进行目标物数量检测，得到的所述待检测图像中包含多个目标检测框，所述目标检测框包含多个目标检测点；

根据处于所述主要待检测区域中的多个目标检测点的坐标，确定所述待检测图像中所具有的所述目标检测框的数量；

根据所述目标检测框的数量，确定所述目标物数量检测结果。

在本申请一种可能的实现方式中，所述对所述待检测图像中的目标物的数量进行检测，得到目标物数量检测结果，包括：

采用切片推理方式，将所述待检测图像划分为(n*n)个待检测子图像，n为自然数；

对所述(n*n)个待检测子图像中的所述目标物的数量进行检测，得到所述目标物数量检测结果。

在本申请一种可能的实现方式中，所述获取待检测图像包括连续获取多帧所述待检测图像。

在本申请一种可能的实现方式中，在所述采用切片推理方式，将所述待检测图像划分为(n*n)个待检测子图像之前，所述方法包括：

获取每帧所述待检测图像之间的图像时间间隔；

根据所述图像时间间隔，确定所述(n*n)个待检测子图像中的n的值。

在本申请一种可能的实现方式中，所述对所述主要待检测区域和所述其他待检测区域分别进行光曝图像分类，包括：

采用分类网络mobilenet-v2对所述主要待检测区域和所述其他待检测区域分别进行光曝图像分类，得到主要待检测区域分类结果和其他待检测区域分类结果。

在本申请一种可能的实现方式中，所述对所述待检测图像中的目标物的数量进行检测，得到目标物数量检测结果，包括：

采用检测网络yolov5s对所述待检测图像中的目标物的数量进行检测，得到目标物数量检测结果。

另一方面，本申请提供一种目标物数量检测装置，所述装置包括：

获取模块，用于获取待检测图像，所述待检测图像包括主要待检测区域和其他待检测区域；

分类模块，用于对所述主要待检测区域和所述其他待检测区域分别进行光曝图像分类，得到主要待检测区域分类结果和其他待检测区域分类结果；

判定模块，用于根据所述主要待检测区域分类结果和其他待检测区域分类结果，确定所述待检测图像的图像类型；

检测模块，用于当所述待检测图像的图像类型为可检测类图像时，对所述待检测图像中的目标物的数量进行检测，得到目标物数量检测结果。

另一方面，本申请还提供一种电子设备，所述电子设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现所述的目标物数量检测方法。

另一方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的目标物数量检测方法中的步骤。

本申请中通过获取待检测图像，对待检测图像中的主要待检测区域和其他待检测区域分别进行光曝图像分类，根据得到的主要待检测区域分类结果和其他待检测区域分类结果，确定待检测图像的图像类型，当待检测图像的图像类型为可检测类图像时，对待检测图像中的目标物的数量进行检测，得到目标物数量检测结果，即本申请将待检测图像划分为主要待检测区域和其他待检测区域，并采用了对待检测图像进行先分类再检测的方案，以准确识别出具有光曝区域的待检测图像中的目标物数量，相对于现有的单一分类方案，本申请的方案能够解决物流领域中，由于包裹种类多种多样，导致流水线线体目标物数量核查困难的问题，有效提升目标物数量的检测准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例中提供的现有流水线线体光曝图像的场景示意图；

图2是本申请实施例中提供的现有流水线线体非光曝图像的场景示意图；

图3是本申请实施例中提供的目标物数量检测方法的一个实施例流程示意图；

图4是本申请实施例中提供的目标物数量检测方法的一个实施例流程示意图；

图5是本申请实施例中提供的待检测图像的一个场景示意图；

图6是本申请实施例中提供的目标物数量检测系统的一个实施例结构示意图；

图7是本申请实施例中提供的电子设备的一个实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

在流水线线体包裹数量核查问题中，获取到的流水线线体图像包括如图1所示的非光曝类图像和如图2所示的光曝类图像。当流水线线体图像中的称外区域是光曝类图像时，现有的检测网络无法检测流水线线体图像中的称外区域内的物体。示例性的，假如该物体在称内区域有压角，那么实际应当检测出流水线线体图像中的称内区域应当是多件物体(1个完整包裹和一个包裹压角)，但检测网络受到称外区域是光曝类图像的影响，检测得到的结果为单件物体。

另外，在采用分类网络进行检测时，由于流水线线体图像中的称外区域是光曝类图像，秤面区域不是光曝类图像，且则分类网络只会对秤面区域进行检测，则必然会将流水线线体图像分类为非光曝类图像，后续再采用检测网络直接进行检测，则会导致检测网络得出是单件的错误结论。

因此，为了解决上述问题，本申请实施例提供一种目标物数量检测方法、装置、电子设备及存储介质，以下分别进行详细说明。

如图3和图4所示，为本申请实施例中目标物数量检测方法的一个实施例流程示意图，该目标物数量检测方法包括以下步骤101～104：

101、获取待检测图像，待检测图像包括主要待检测区域和其他待检测区域。

待检测图像即为需要进行目标物数量检测的图像，该图像可以是通过现有的拍摄设备实时拍摄，并上传至支持播放待检测图像的显示设备实时显示的图像，也可以是其他方式的图像，本实施例对此不做具体限定。

在本实施例中，获取待检测图像包括：连续获取多帧待检测图像；

其中，每帧待检测图像均包括主要待检测区域和其他待检测区域，主要待检测区域表示待检测图像中主要用于检测目标物数量的区域，其他待检测区域表示会影响待检测图像目标物数量检测的区域。

将本实施例应用于物流领域的流水线线体包裹数量核查问题中时，待检测图像可以是流水线线体图像，主要待检测区域为流水线线体图像的称面区域，其他待检测区域为流水线线体图像的称外区域。

102、对主要待检测区域和其他待检测区域分别进行光曝图像分类，得到主要待检测区域分类结果和其他待检测区域分类结果。

在本实施例中，对主要待检测区域和其他待检测区域分别进行光曝图像分类，得到主要待检测区域分类结果和其他待检测区域分类结果，包括：

判断主要待检测区域是否为光曝类图像；

是则确定主要待检测区域分类结果为主要待检测区域是光曝类图像，否则确定主要待检测区域分类结果为主要待检测区域是非光曝类图像；

判断其他待检测区域是否为光曝类图像；

是则确定其他待检测区域分类结果为其他待检测区域是光曝类图像，否则确定其他待检测区域分类结果为其他待检测区域是非光曝类图像。

在本实施例中，具体是采用分类网络mobilenet-v2对主要待检测区域和其他待检测区域分别进行光曝图像分类，也可以采用其他的分类网络实现本实施例中的光曝图像分类。

103、根据主要待检测区域分类结果和其他待检测区域分类结果，确定待检测图像的图像类型。

在本实施例中，根据主要待检测区域分类结果和其他待检测区域分类结果，确定待检测图像的图像类型，包括：

待检测图像的图像类型包括可检测类图像和不可检测类图像；

当主要待检测区域分类结果为主要待检测区域是光曝类图像且其他待检测区域分类结果为其他待检测区域是光曝类图时，确定待检测图像的图像类型为不可检测类图像，否则确定待检测图像的图像类型为可检测类图像。

104、当待检测图像的图像类型为可检测类图像时，对待检测图像中的目标物的数量进行检测，得到目标物数量检测结果。

在本实施例中，采用检测网络yolov5s对待检测图像中的目标物的数量进行检测，得到目标物数量检测结果。

本申请中通过获取待检测图像，对待检测图像中的主要待检测区域和其他待检测区域分别进行光曝图像分类，根据得到的主要待检测区域分类结果和其他待检测区域分类结果，确定待检测图像的图像类型，当待检测图像的图像类型为可检测类图像时，对待检测图像中的目标物的数量进行检测，得到目标物数量检测结果，即本申请将待检测图像划分为主要待检测区域和其他待检测区域，并采用了对待检测图像进行先分类再检测的方案，以准确识别出具有光曝区域的待检测图像中的目标物数量，相对于现有的单一分类放啊，本申请的方案能够解决物流领域中，由于包裹种类多种多样，导致流水线线体目标物数量核查困难的问题，有效提升目标物数量的检测准确率。

在本申请的另一个实施例中，对待检测图像中的目标物的数量进行检测，得到目标物数量检测结果，包括：

对待检测图像的全景图进行目标物数量检测，得到的待检测图像中包含多个目标检测框，目标检测框包含多个目标检测点；

根据处于主要待检测区域中的多个目标检测点的坐标，确定待检测图像中所具有的目标检测框的数量；

根据目标检测框的数量，确定目标物数量检测结果。

示例性的，如图5所示，对待检测图像的全景图进行目标物数量检测时，待检测图像中包含由目标检测点a1、目标检测点a2、目标检测点a3和目标检测点a4构成的一个目标检测框，还包括由目标检测点b1、目标检测点b2、目标检测点b3和目标检测点b4构成的一个目标检测框。

即根据坐标(a1，a2，a3，a4)即可以确定一个目标检测框，根据坐标(b1，b2，b3，b4)即可以确定一个目标检测框，从而确定待检测图像中包含两个目标检测框；

根据两个目标检测框即可确定目标物数量检测结果为待检测图像中有两个目标物，即目标物1和目标物2。

将本实施例应用于物流领域的流水线线体包裹数量核查问题中时，会存在待检测图像中出现两个物体重叠在一起的情况，实际上很难分辨，检测网络也无法检测出存在两个包裹，为了解决该细小的物体无法被检测到的问题，可以采用切片推理的处理方案来检测目标物的数量。

因此，在本申请的另一个实施例中，对待检测图像中的目标物的数量进行检测，得到目标物数量检测结果，包括：

采用切片推理方式，将待检测图像划分为(n*n)个待检测子图像，n为自然数；

对(n*n)个待检测子图像中的目标物的数量进行检测，得到目标物数量检测结果。

在本实施例中，在采用切片推理方式，将待检测图像划分为(n*n)个待检测子图像之前，方法还包括：

获取每帧待检测图像之间的图像时间间隔；

根据图像时间间隔，确定(n*n)个待检测子图像中的n的值。

在本实施例中，不对n的取值进行具体限定。

因此，基于上述分析，本实施例中提出一种融合分类检测的目标物数量检测方法，该方法可解决不同场景下模型适用问题，大大扩展了泛化程度，将本方法应用于物流领域的流水线线体包裹数量核查问题中，能够减少大量线体的人工运维时间。与此同时，叠加检测模型可以解决单一分类模型无法识别的靠边件，角件和叠件，在实际应用中降本增效，增收盈利。

为了更好实施本申请实施例中目标物数量检测方法，在目标物数量检测方法基础之上，本申请实施例中还提供一种目标物数量检测装置200，如图6所示，目标物数量检测装置200包括：

获取模块201，用于获取待检测图像，待检测图像包括主要待检测区域和其他待检测区域；

分类模块202，用于对主要待检测区域和其他待检测区域分别进行光曝图像分类，得到主要待检测区域分类结果和其他待检测区域分类结果；

判定模块203，用于根据主要待检测区域分类结果和其他待检测区域分类结果，确定待检测图像的图像类型；

检测模块204，用于当待检测图像的图像类型为可检测类图像时，对待检测图像中的目标物的数量进行检测，得到目标物数量检测结果。

分类模块202具体为：

用于判断主要待检测区域是否为光曝类图像；

是则确定主要待检测区域分类结果为主要待检测区域是光曝类图像，否则确定主要待检测区域分类结果为主要待检测区域是非光曝类图像；

用于判断其他待检测区域是否为光曝类图像；

是则确定其他待检测区域分类结果为其他待检测区域是光曝类图像，否则确定其他待检测区域分类结果为其他待检测区域是非光曝类图像。

待检测图像的图像类型包括可检测类图像和不可检测类图像，判定模块203具体为：

用于当主要待检测区域分类结果为主要待检测区域是光曝类图像且其他待检测区域分类结果为其他待检测区域是光曝类图时，确定待检测图像的图像类型为不可检测类图像，否则确定待检测图像的图像类型为可检测类图像。

检测模块204具体为：

用于对待检测图像的全景图进行目标物数量检测，得到的待检测图像中包含多个目标检测框，目标检测框包含多个目标检测点；

用于根据处于主要待检测区域中的多个目标检测点的坐标，确定待检测图像中所具有的目标检测框的数量；

用于根据目标检测框的数量，确定目标物数量检测结果。

检测模块204具体为：

用于采用切片推理方式，将待检测图像划分为(n*n)个待检测子图像；

用于对(n*n)个待检测子图像中的目标物的数量进行检测，得到目标物数量检测结果。

获取模块201具体为用于连续获取多帧待检测图像。

目标物数量检测装置还包括确定模块，确定模块具体为：

用于获取每帧待检测图像之间的图像时间间隔；

用于根据图像时间间隔，确定(n*n)个待检测子图像中的n的值。

分类模块202具体为：

用于采用分类网络mobilenet-v2对主要待检测区域和其他待检测区域分别进行光曝图像分类，得到主要待检测区域分类结果和其他待检测区域分类结果。

检测模块204具体为：

用于采用检测网络yolov5s对待检测图像中的目标物的数量进行检测，得到目标物数量检测结果。

在本申请的另一个实施例中，如图7所示，本申请还提供一种电子设备300，其示出了本申请实施例所涉及的电子设备300的结构示意图，具体来讲：

该电子设备300可以包括一个或者一个以上处理核心的处理器301、一个或一个以上计算机可读存储介质的存储器302、电源303和输入单元304等部件。本领域技术人员可以理解，图7中示出的该电子设备300结构并不构成对该电子设备300的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器301是该电子设备300的控制中心，利用各种接口和线路连接整个该电子设备300的各个部分，通过运行或执行存储在存储器302内的软件程序和/或模块，以及调用存储在存储器302内的数据，执行该电子设备300的各种功能和处理数据，从而对该电子设备300进行整体监控。可选的，处理器301可包括一个或多个处理核心；处理器301可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，优选的，处理器301可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器301中。

存储器302可用于存储软件程序以及模块，处理器301通过运行存储在存储器302的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器302可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据该电子设备300的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器302还可以包括存储器控制器，以提供处理器301对存储器302的访问。

该电子设备300还包括给各个部件供电的电源303，优选的，电源303可以通过电源管理系统与处理器301逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源303还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备300还可包括输入单元304，该输入单元304可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，该电子设备300还可以包括显示单元等，在此不再赘述。具体在本实施例中，该电子设备300中的处理器301会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器302中，并由处理器301来运行存储在存储器302中的应用程序，从而实现各种功能，如下：

获取待检测图像，待检测图像包括主要待检测区域和其他待检测区域；

对主要待检测区域和其他待检测区域分别进行光曝图像分类，得到主要待检测区域分类结果和其他待检测区域分类结果；

根据主要待检测区域分类结果和其他待检测区域分类结果，确定待检测图像的图像类型；

当待检测图像的图像类型为可检测类图像时，对待检测图像中的目标物的数量进行检测，得到目标物数量检测结果。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

在本申请一些实施例中，本申请还提供一种计算机可读存储介质，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random AccessMemory)、磁盘或光盘等。其上存储有计算机程序，计算机程序被处理器进行加载，以执行本申请实施例所提供的目标物数量检测方法中的步骤。例如，计算机程序被处理器进行加载可以执行如下步骤：

获取待检测图像，待检测图像包括主要待检测区域和其他待检测区域；

对主要待检测区域和其他待检测区域分别进行光曝图像分类，得到主要待检测区域分类结果和其他待检测区域分类结果；

根据主要待检测区域分类结果和其他待检测区域分类结果，确定待检测图像的图像类型；

当待检测图像的图像类型为可检测类图像时，对待检测图像中的目标物的数量进行检测，得到目标物数量检测结果。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。

以上对本申请实施例所提供的一种目标物数量检测方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。