基于神经网络的垃圾桶满溢监控方法及系统

技术领域

本申请涉及监控技术领域，具体涉及一种基于神经网络的垃圾桶满溢监控方法及系统。

背景技术

随着物联网、互联网、云计算等新一代信息技术的快速发展，多功能智能杆已成为建设智慧城市必不可少的产物。相关的AI应用场景需求不断的增长，涉及到目标检测、目标属性分析、目标跟踪等多种技术结合的目标检测应用难以满足现有市场需求。

针对以上问题，本领域技术人员一直在寻求解决方法。

发明内容

本申请要解决的技术问题在于，针对上述现有技术的缺陷，提供一种基于神经网络的垃圾桶满溢监控方法及系统，以实现对垃圾桶中垃圾满溢进行实时监控。

为了实现上述目的，本申请是通过如下的技术方案来实现：

一种基于神经网络的垃圾桶满溢监控方法，包括以下步骤：

通过状态检测模型模块根据获取的垃圾桶检测图像建立神经网络垃圾桶状态检测模型；

通过识别模块指定垃圾桶检测图像中多个垃圾桶检测区域，和根据多个所述垃圾桶检测区域对获取的垃圾桶检测信息进行数据清洗以获取垃圾桶状态信息；所述垃圾桶状态信息包括当前帧垃圾桶状态信息和上一帧垃圾状态信息；

通过信息整合模块根据所述当前帧垃圾状态信息和所述上一帧垃圾状态信息确定多个所述垃圾桶检测区域中是否存在垃圾桶满溢；

所述垃圾桶检测信息包括未检测到垃圾桶、检测到垃圾桶、垃圾桶坐标信息、垃圾桶类型、垃圾桶类型阈值中至少一项；

垃圾桶状态信息包括垃圾桶满溢、垃圾桶未满溢、垃圾桶状态未知中任一项。

可选地，通过所述识别模块指定垃圾桶检测图像中多个垃圾桶检测区域，和根据所述状态检测模型输出垃圾桶检测信息，以及对所述垃圾桶检测信息进行数据清洗以获取垃圾桶状态信息，包括：

通过所述识别模块预设多个所述垃圾桶检测区域的当前帧垃圾桶状态；

通过所述识别模块根据所述垃圾桶检测信息更新多个所述垃圾桶检测区域的当前帧垃圾桶状态；

通过所述识别模块根据更新后的所述当前帧垃圾桶状态输出所述当前帧垃圾状态信息。

可选地，通过所述识别模块根据所述垃圾桶检测信息更新多个所述垃圾桶检测区域的当前帧垃圾桶状态，包括：

通过所述识别模块将检测的所述垃圾桶坐标信息分别与多个所述垃圾桶检测区域进行位置区域匹配，并输出多个匹配值；

若所述匹配值超过预设值，则确定当前帧单个或多个所述垃圾桶检测区域中存在垃圾桶满溢，并输出单个或多个所述垃圾桶检测区域的所述当前帧垃圾状态信息。

可选地，通过所述信息整合模块根据所述当前帧垃圾状态信息和所述上一帧垃圾状态信息确定多个所述垃圾桶检测区域中是否存在垃圾桶满溢，包括：

通过所述信息整合模块对同一所述垃圾桶检测区域的所述当前帧垃圾状态信息和所述上一帧垃圾状态信息进行一致性对比；

若对比一致，则确定多个所述垃圾桶检测区域中存在垃圾桶满溢，或确定多个所述垃圾桶检测区域中垃圾桶未满溢，或确定多个所述垃圾桶检测区域中垃圾桶状态未知；

若对比不一致，则根据所述当前帧垃圾状态信息确定多个所述垃圾桶检测区域中是否是否存在垃圾桶满溢。

可选地，通过所述信息整合模块对同一所述垃圾桶检测区域的所述当前帧垃圾状态信息和所述上一帧垃圾状态信息进行一致性对比之后，包括：

根据对比结果输出对应的告警信息；

所述根据对比结果输出对应的告警信息之后，包括：

通过所述信息整合模块将所述当前帧垃圾状态信息更新为上一帧垃圾状态信息；

通过所述识别模块获取所述当前帧垃圾状态信息。

本申请还提供一种基于神经网络的垃圾桶满溢监控系统，包括：状态检测模型模块、识别模块、信息整合模块；

所述状态检测模型模块用于根据获取的垃圾桶检测图像建立神经网络垃圾桶状态检测模型；

所述识别模块用于指定垃圾桶检测图像中多个垃圾桶检测区域，和根据多个所述垃圾桶检测区域对获取的垃圾桶检测信息进行数据清洗以获取垃圾桶状态信息；所述垃圾桶状态信息包括当前帧垃圾桶状态信息和上一帧垃圾状态信息；

所述信息整合模块用于根据所述当前帧垃圾状态信息和所述上一帧垃圾状态信息确定多个所述垃圾桶检测区域中是否存在垃圾桶满溢。

可选地，所述垃圾桶检测信息包括未检测到垃圾桶、检测到垃圾桶、垃圾桶坐标信息、垃圾桶类型、垃圾桶类型阈值中至少一项；

垃圾桶状态信息包括垃圾桶满溢、垃圾桶未满溢、垃圾桶状态未知中任一项。

可选地，所述识别模块还用于预设多个所述垃圾桶检测区域的当前帧垃圾桶状态，并根据所述垃圾桶检测信息更新多个所述垃圾桶检测区域的所述当前帧垃圾桶状态并输出所述当前帧垃圾状态信息。

可选地，所述识别模块还用于将检测的所述垃圾桶坐标信息分别与多个所述垃圾桶检测区域进行位置区域匹配，并根据输出的匹配值确定当前帧单个或多个垃圾桶检测区域中是否存在垃圾桶满溢，以及输出单个或多个垃圾桶检测区域的所述当前帧垃圾状态信息。

可选地，所述信息整合模块还用于对所述当前帧垃圾状态信息和所述上一帧垃圾状态信息进行一致性对比以确定多个所述垃圾桶检测区域中是否存在垃圾桶满溢。

本申请的垃圾桶满溢监控方法及系统，通过状态检测模型模块建立神经网络垃圾桶状态检测模型，通过识别模块指定垃圾桶检测图像中多个垃圾桶检测区域以获取多个垃圾桶检测区域的当前帧垃圾桶状态信息和上一帧垃圾状态信息，通过信息整合模块根据当前帧垃圾状态信息和上一帧垃圾状态信息进一步确定是否存在垃圾桶满溢，可实时监控已垃圾桶满溢的状态，满足边端AI应用的实时性。

为让本申请的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

下面结合附图和具体实施方式来详细说明本申请；

图1是本申请一实施例提供的垃圾桶满溢监控方法的流程示意图；

图2是本申请一实施例提供的垃圾桶满溢监控系统的结构示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1是本申请一实施例提供的垃圾桶满溢监控方法的流程示意图，请参阅图1，一种基于神经网络的垃圾桶满溢监控方法，包括以下步骤：

S1：通过状态检测模型模块根据获取的垃圾桶检测图像建立神经网络垃圾桶状态检测模型。

在本实施例中，建立神经网络垃圾桶状态检测模型主要包括以下几个步骤：样本采集--对被检测目标即垃圾桶进行标注--建立神经网络垃圾桶状态检测模型。

在样本采集步骤中，样本采集尽可能多，范围尽可能广，以覆盖现实生活中大多数垃圾满溢情况。本实施例中，利用100根智能杆上共100路摄像头于不同时间段对垃圾桶进行样本采集。

值得注意的是，在样本采集步骤中应当注意一下几点：

①实时采集画面中带有垃圾桶的图像样本。摄像头需对准垃圾桶，即摄像头能够覆盖到整个垃圾桶，并且摄像图像中能够清晰明确地展示垃圾桶口的状态。

②对特殊场景进行特殊处理。例如采集场景中垃圾桶满溢的场景较少，则需人为模拟垃圾桶满溢的场景，并进行样本采样，以确保不同类型标签的样本平衡度。

③被采集样本场景需包含复杂场景，例如：垃圾桶被人遮挡、垃圾桶被大型垃圾遮挡等情况、垃圾桶被动植物遮挡，上述的复杂场景需进行样本采样。

在对被检测目标即垃圾桶进行标注的步骤中，由于智慧杆摄像头需获取特定场景，智慧杆上摄像头高度一般为2.5-3米。垃圾桶最小像素需要256*256。

模型标注类型为两个类：垃圾桶满溢类别(包括垃圾桶被遮挡的场景)、垃圾桶未满溢类别。

值得注意的是，在本步骤中应当增多垃圾桶被人遮挡的样本。由于在复杂场景下如人流量较多的场景，人遮挡垃圾的概率变大。训练时需对这类样本进行数据增强，以降低将人遮挡垃圾桶识别为垃圾桶满溢的误检概率。

在建立神经网络垃圾桶状态检测模型的步骤中，构建YOLOv5神经网络训练模型，需通过剪枝将YOLOv5神经网络训练模型进行压缩和减少参数。主要分一下两个方面进行处理：将大目标特征提取层进行裁剪以减小网络深度；将中小目标特征提取层减少网络宽度。

S2：通过识别模块指定垃圾桶检测图像中多个垃圾桶检测区域，和根据多个所述垃圾桶检测区域对获取的垃圾桶检测信息进行数据清洗以获取垃圾桶状态信息；垃圾桶状态信息包括当前帧垃圾桶状态信息和上一帧垃圾状态信息。

由于现实场景中垃圾桶的位置都比较固定，通过指定垃圾桶检测区域可以减少搜索区域，提升检测效率，提高模型识别率。若垃圾桶检测图像中有多个垃圾桶，可以指定多个垃圾桶检测区域。

S3：通过信息整合模块根据当前帧垃圾状态信息和上一帧垃圾状态信息确定多个垃圾桶检测区域中是否存在垃圾桶满溢。

垃圾桶检测信息包括未检测到垃圾桶、检测到垃圾桶、垃圾桶坐标信息、垃圾桶类型、垃圾桶类型阈值中至少一项。

垃圾桶状态信息包括垃圾桶满溢、垃圾桶未满溢、垃圾桶状态未知中任一项。

可选地，步骤S2包括：

S21：通过识别模块预设多个垃圾桶检测区域的当前帧垃圾桶状态。

S22：通过识别模块根据垃圾桶检测信息更新多个垃圾桶检测区域的当前帧垃圾桶状态。

S23：通过识别模块根据更新后的当前帧垃圾桶状态输出当前帧垃圾状态信息。

本实施例中，通过识别模块预设多个垃圾桶检测区域的当前帧垃圾桶状态为未知；垃圾桶检测信息为垃圾桶未满溢，则将多个垃圾桶检测区域的当前帧垃圾状态均更新为“垃圾桶未满溢”；垃圾桶检测信息为垃圾桶满溢，则进入步骤S22，即分别将检测到的垃圾的坐标信息根据位置关系进行IOU匹配。

可选地，步骤S22包括：

通过识别模块将检测的垃圾桶坐标信息分别与多个垃圾桶检测区域进行位置区域匹配，并输出多个匹配值；

若匹配值超过预设值，则确定当前帧单个或多个垃圾桶检测区域中存在垃圾桶满溢，并输出单个或多个垃圾桶检测区域的当前帧垃圾状态信息。

在本实施例中，匹配值的预设值为0.3，若有一垃圾桶检测区域的IOU匹配值大于0.3，则将该检测区域的当前帧垃圾状态设置为“垃圾桶满溢”。其他检测区域的当前帧垃圾状态同理可得。

其中，若一垃圾桶检测区域包括多个垃圾桶，该检测区域的状态赋值原则为：任一垃圾桶与该检测区域的IOU匹配值大于0.3则确定该检测区域的当前帧垃圾状态为垃圾桶满溢；2)该检测区域的全部垃圾桶的的IOU匹配值小于0.3则确定该检测区域的当前帧垃圾状态为垃圾桶未满溢。

可选地，步骤S3包括：

S31：通过信息整合模块对同一垃圾桶检测区域的当前帧垃圾状态信息和上一帧垃圾状态信息进行一致性对比；

S32：若对比一致，则确定多个垃圾桶检测区域中存在垃圾桶满溢，或确定多个垃圾桶检测区域中垃圾桶未满溢，或确定多个垃圾桶检测区域中垃圾桶状态未知；

S33：若对比不一致，则根据当前帧垃圾状态信息确定多个垃圾桶检测区域中是否是否存在垃圾桶满溢。

本申请中，步骤S3为信息整合模块对当前是否存在垃圾桶满溢进行进一步确定。示例性地，有一垃圾桶检测区域编号为B，对于垃圾桶检测区域B的当前帧垃圾状态信息和上一帧垃圾状态信息进行一致性对比，有以下几种情况：

(1)上一帧垃圾状态为“垃圾桶未满溢”，当前帧垃圾状态为“垃圾桶未满溢”，上一帧和当前帧垃圾状态一致，皆为“垃圾桶未满溢”，则确定垃圾桶检测区域B中垃圾桶未满溢；

(2)上一帧垃圾状态为“垃圾桶状态未知”，当前帧垃圾状态为“垃圾桶状态未知”，上一帧和当前帧垃圾状态一致，皆为“垃圾桶状态未知”，则确定垃圾桶检测区域B中垃圾桶状态未知；

(3)上一帧垃圾状态为“垃圾桶满溢”，当前帧垃圾状态为“垃圾桶满溢”，上一帧和当前帧垃圾状态一致，皆为“垃圾桶满溢”，则确定垃圾桶检测区域B中垃圾桶满溢；

(4)上一帧垃圾状态为“垃圾桶未满溢”，当前帧垃圾状态为“垃圾桶状态未知”，上一帧和当前帧垃圾状态不一致，则确定垃圾桶检测区域B中垃圾桶状态未知；

(5)上一帧垃圾状态为“垃圾桶未满溢”，当前帧垃圾状态为“垃圾桶满溢”，上一帧和当前帧垃圾状态不一致，则确定垃圾桶检测区域B中垃圾桶满溢；

(6)上一帧垃圾状态为“垃圾桶状态未知”，当前帧垃圾状态为“垃圾桶未满溢”，上一帧和当前帧垃圾状态不一致，则表示垃圾桶检测区域B中垃圾已被清除，则确定垃圾桶检测区域B中垃圾桶未满溢；

(7)上一帧垃圾状态为“垃圾桶状态未知”，当前帧垃圾状态为“垃圾桶满溢”，上一帧和当前帧垃圾状态不一致，则确定垃圾桶检测区域B中垃圾桶满溢；

(8)上一帧垃圾状态为“垃圾桶满溢”，当前帧垃圾状态为“垃圾桶未满溢”，上一帧和当前帧垃圾状态不一致，则表示垃圾桶检测区域B中垃圾已被清除，则确定垃圾桶检测区域B中垃圾桶未满溢；

(9)上一帧垃圾状态为“垃圾桶满溢”，当前帧垃圾状态为“垃圾桶状态未知”，上一帧和当前帧垃圾状态不一致，则确定垃圾桶检测区域B中垃圾桶状态未知。

若仅仅根据一帧垃圾状态信息判断是否存在垃圾桶满溢太过绝对，因此对同一垃圾桶检测区域的当前帧垃圾状态信息和上一帧垃圾状态信息进行一致性对比，可提升垃圾桶满溢检测的准确性，可加大对垃圾桶满溢检测的实时监控力度。

可选地，步骤S31之后，包括：

S34：根据对比结果输出对应的告警信息。

具体地，根据上述九种一致性对比情况，信息整合模块输出对应的告警信息，例如“垃圾桶检测区域B中垃圾桶满溢”、“垃圾桶检测区域B中垃圾已被清除”、“垃圾桶检测区域B中垃圾桶未满溢”、“垃圾桶检测区域B中垃圾桶状态未知”。特别地，对第(3)(5)(7)种情况，若垃圾桶检测区域B间隔上一次上报告警信息的时间超过3分钟，则再次上报垃圾桶检测区域B中垃圾还未处理；若垃圾桶检测区域B中垃圾持续未处理，每间隔3分钟上报告警信息。并且，时间间隔越长，告警信息的严重等级越高，例如第一次告警信息的等级为1，第二次告警信息的等级为2，告警次数增多，告警等级增大，最高等级为10；当告警信息的等级超过5级时，发出播音告警或红灯告警。

步骤S34之后，包括：

S35：通过信息整合模块将当前帧垃圾状态信息更新为上一帧垃圾状态信息。

具体地，当前帧垃圾状态赋值给上一帧垃圾状态，当前帧垃圾状态进行信息初始化。

S36：通过识别模块获取当前帧垃圾状态信息。

具体地，根据步骤S322中获取当前帧垃圾状态信息对步骤S321中信息初始化的当前帧垃圾状态进行数据更新。

图2是本申请一实施例提供的垃圾桶满溢监控系统的结构示意图，请参阅图2，本申请还提供一种基于神经网络的垃圾桶满溢监控系统，包括：状态检测模型模块10、识别模块20、信息整合模块30；

状态检测模型模块10用于根据获取的垃圾桶检测图像建立神经网络垃圾桶状态检测模型。

可选地，状态检测模型模块10包括样本采集模块、目标标注模块、模型建立模块。

样本采集模块用于根据根据获取的垃圾桶检测图像采集垃圾桶样本。

目标标注模块用于对采集的样本进行类别标注，模型标注类型为两个类：垃圾桶满溢类别(包括垃圾桶被遮挡的场景)、垃圾桶未满溢类别。

模型建立模块根据标注后的样本建立神经网络垃圾桶状态检测模型。

识别模块20用于指定垃圾桶检测图像中多个垃圾桶检测区域，和根据多个所述垃圾桶检测区域对获取的垃圾桶检测信息进行数据清洗以获取垃圾桶状态信息；垃圾桶状态信息包括当前帧垃圾桶状态信息和上一帧垃圾状态信息。

信息整合模块30用于根据当前帧垃圾状态信息和上一帧垃圾状态信息确定多个垃圾桶检测区域中是否存在垃圾桶满溢。

可选地，垃圾桶检测信息包括未检测到垃圾桶、检测到垃圾桶、垃圾桶坐标信息、垃圾桶类型、垃圾桶类型阈值中至少一项；

垃圾桶状态信息包括垃圾桶满溢、垃圾桶未满溢、垃圾桶状态未知中任一项。

可选地，识别模块20还用于预设多个垃圾桶检测区域的当前帧垃圾桶状态，并根据垃圾桶检测信息更新多个垃圾桶检测区域的当前帧垃圾桶状态并输出当前帧垃圾状态信息。

可选地，识别模块20还用于将检测的垃圾桶坐标信息分别与多个垃圾桶检测区域进行位置区域匹配，并根据输出的匹配值确定当前帧单个或多个垃圾桶检测区域中是否存在垃圾桶满溢，以及输出单个或多个垃圾桶检测区域的当前帧垃圾状态信息。

可选地，信息整合模块30还用于对当前帧垃圾状态信息和上一帧垃圾状态信息进行一致性对比以确定多个垃圾桶检测区域中是否存在垃圾桶满溢。

本申请的垃圾桶满溢监控方法及系统，通过状态检测模型模块建立神经网络垃圾桶状态检测模型，通过识别模块指定垃圾桶检测图像中多个垃圾桶检测区域以获取多个垃圾桶检测区域的当前帧垃圾桶状态信息和上一帧垃圾状态信息，通过信息整合模块根据当前帧垃圾状态信息和上一帧垃圾状态信息进一步确定是否存在垃圾桶满溢，可实时监控已垃圾桶满溢的状态，满足边端AI应用的实时性。

显然，以上显示和描述了本申请的基本原理和主要特征和本申请的优点。本行业的技术人员应该了解，本申请不受上述实施例的限制，实施例和说明书中描述的只是说明本申请的原理，凡在本申请的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本申请的保护范围之内。