垃圾回收站地面清洁度的检测方法、系统、装置及介质

技术领域

本发明涉及计算机视觉与图像处理领域，尤其涉及一种垃圾回收站地面清洁度的检测方法、系统、装置及介质。

背景技术

垃圾检测是目标检测的一种重要的应用场景，具有重要的现实意义。地面垃圾检测是指利用图像处理与识别算法检测图像场景中是否存在垃圾。由于图像中场景以及场景中垃圾种类形态的多样性，垃圾目标检测算法往往难以检测出种类多样的垃圾，从而造成垃圾检测算法的下降。

当前主流的垃圾检测方法主要分为图像处理方法、机器学习方法以及深度学习方法。传统的图像处理方法主要是利用形态学处理的方式获取图像中与场景不连贯的垃圾部分，从而根据处理后的图像判断是否存在垃圾。这类方法判断方式较为简单，对复杂场景的判断往往存在较多漏检与误检。传统的机器学习方法的处理流程则往往是先对图像进行预处理，然后提取图像中的特征，最后利用支持向量机等分类器来判断图像中是否存在垃圾。这类方法的缺点是垃圾判断的准确率不高。深度学习方法在计算机视觉领域取得了较大的进展，基于深度学习的垃圾检测方法则利用现有的垃圾数据训练一个目标检测网络。这类方法检测准确率较高，并且能够区分出垃圾的种类，但是，这类方法对数据集的完备性要求较高，对于数据集中未出现的垃圾种类基本无法检测识别。

综上所述，现有的垃圾检测算法在小区地面垃圾检测等实际应用场景中存在局限性，垃圾检测的准确性还有待提升。

发明内容

为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种垃圾回收站地面清洁度的检测方法、系统、装置及介质。

本发明所采用的技术方案是：

一种垃圾回收站地面清洁度的检测方法，包括以下步骤：

构建训练数据库，采用所述训练数据库对垃圾检测网络进行训练；

获取地面图像，将所述地面图像输入所述垃圾检测网络进行检测，判断图像中是否存有与所述训练数据库内同类别的垃圾；若判断图像中存有同类别的垃圾，结束检测并输出第一结论；

采用地面分割算法分割出所述地面图像中的地面部分，获得图像块；

对所述图像块进行边缘检测，得到边缘图像，对所述边缘图像进行形态学闭操作，得到地面部分的二值图像；

获取所述二值图像中的各个连通域，计算所述连通域的面积占所述地面图像的面积的比例，根据计算获得的占比大小判断是否存在垃圾，结束检测并输出第二结论。

进一步，所述构建训练数据库，包括：

获取垃圾检测数据集，从所述垃圾检测数据集中获取包含各类垃圾的图像作为垃圾正样本训练数据；

获取不包含垃圾的场景图片像作为垃圾负样本训练数据；

根据所述正样本训练数据和所述负样本训练数据获得训练数据库。

进一步，所述垃圾检测网络采用Resnet18网络作为主体结构，并在所述Resnet18网络的最后一层的后端增加一个sigmoid函数激活的单神经元全连接层，采用交叉熵损失函数作为训练过程中的损失函数。

进一步，所述交叉熵损失函数的表达式为：

其中，y为训练图像的标签，

所述判断图像中是否存有与所述训练数据库内同类别的垃圾，包括：

若所述垃圾检测网络输出标签

进一步，所述采用地面分割算法分割出所述地面图像中的地面部分，获得图像块，包括：

对所述地面图像进行灰度化处理，根据灰度值获取原始地面区域；

以原始地面区域为1，其他区域为0，对所述地面图像进行二值化处理，获得原始地面掩膜图像；

对所述原始地面掩膜图像进行形态学膨胀操作，获得最终地面掩膜图像；

在所述地面图像中获取与最终地面掩膜图像对应的区域，作为地面部分的图像块。

进一步，所述对所述图像块进行边缘检测，得到边缘图像，对所述边缘图像进行形态学闭操作，得到地面部分的二值图像，包括：

对所述图像块进行灰度化处理，采用canny算子对经过灰度化处理的图像块进行边缘检测，获得包含边缘信息的边缘图像；

对所述边缘图像进行预设次数形态学闭操作，得到地面部分的二值图像。

进一步，所述根据计算获得的占比大小判断是否存在垃圾，包括：

当存在第i个连通域的面积S

所述占比R

本发明所采用的另一技术方案是：

一种垃圾回收站地面清洁度的检测系统，包括：

模型训练模块，用于构建训练数据库，采用所述训练数据库对垃圾检测网络进行训练；

模型识别模块，用于获取地面图像，将所述地面图像输入所述垃圾检测网络进行检测，判断图像中是否存有与所述训练数据库内同类别的垃圾；若判断图像中存有同类别的垃圾，结束检测并输出第一结论；

图像处理模块，用于采用地面分割算法分割出所述地面图像中的地面部分，获得图像块；

对所述图像块进行边缘检测，得到边缘图像，对所述边缘图像进行形态学闭操作，得到地面部分的二值图像；

图像识别模块，用于获取所述二值图像中的各个连通域，计算所述连通域的面积占所述地面图像的面积的比例，根据计算获得的占比大小判断是否存在垃圾，结束检测并输出第二结论。

本发明所采用的另一技术方案是：

一种垃圾回收站地面清洁度的检测装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。

本发明所采用的另一技术方案是：

一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。

本发明的有益效果是：本发明采用深度学习的检测方法检测常见简单垃圾，以及结合图像处理的检测方法检测少见复杂垃圾，能够保证垃圾检测准确率的同时，提升垃圾检测的速度。

附图说明

为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。

图1是本发明实施例中一种垃圾回收站地面清洁度的检测方法的流程图；

图2是本发明实施例中一种垃圾回收站地面清洁度的检测方法的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

如图1和图2所示，本实施例提供一种垃圾回收站地面清洁度的检测方法，包括但不限于以下步骤：

S1：收集常见的垃圾图片数据，构成垃圾检测数据集，并利用该数据集训练一个垃圾检测网络N

S2：将待检测的地面图像输入到垃圾检测网络N

S3：若S2中未检测出垃圾，则进一步利用地面分割算法分割出图像中的地面部分，得到地面对应的图像块I

S4：对S3中得到的地面图像块I

S5：检测S4中获得的地面部分二值图像中的各个连通域，并计算各个连通域的面积占图像面积的比例。根据连通域面积占比大小判断是否存在垃圾，并给出地面是否清洁的判断(即第二结论)。

其中，步骤S1具体过程如下：垃圾检测数据集的构建方法是：收集公开的垃圾检测数据集，选定包含各类垃圾的图像作为垃圾正样本训练数据，其类标签设为1；收集不包含垃圾的场景图像作为垃圾负样本训练数据，其类标签设为0。利用所构建的垃圾检测数据集训练垃圾检测网络N

式中，y为训练图像的标签，

步骤S2具体过程如下：将待检测的图像缩放到网络输入大小后，输入到训练好的垃圾检测网络N

步骤S3具体过程如下：当S2中网络N

I

式中，⊙表示图像对应位置像素相乘。

步骤S4具体过程如下：在对地面图像块I

I

其中，闭操作close的表达式为：

式中，

S5具体过程如下：计算地面部分二值图像I

综上所述，本实施例的方法相对于现有技术，至少具有如下有益效果：

(1)、本实施例根据构建的数据库中垃圾图像的数量将垃圾分为常见的简单垃圾和少见的复杂垃圾。对于训练数据足够的常见简单垃圾，采用深度学习的检测方法，对于训练数据不足的少见复杂垃圾，采用传统图像处理的检测方法。两个模块相结合，能够更好地将各类垃圾都检测出来。

(2)、模型在深度垃圾检测模块检测到简单垃圾后直接输出检测结果，无需进行进一步复杂垃圾的检测，因此本实施例在保证垃圾检测准确率的同时，能够提升垃圾检测的速度。

(3)、由于复杂垃圾检测模块采用了传统图像处理方法，能够检测出训练数据库中不存在的复杂垃圾，因此本实施例克服了基于深度学习的垃圾检测方法对训练数据库完备性要求较高的难题。

本实施例还提供一种垃圾回收站地面清洁度的检测系统，包括：

模型训练模块，用于构建训练数据库，采用所述训练数据库对垃圾检测网络进行训练；

模型识别模块，用于获取地面图像，将所述地面图像输入所述垃圾检测网络进行检测，判断图像中是否存有与所述训练数据库内同类别的垃圾；若判断图像中存有同类别的垃圾，结束检测并输出第一结论；

图像处理模块，用于采用地面分割算法分割出所述地面图像中的地面部分，获得图像块；

对所述图像块进行边缘检测，得到边缘图像，对所述边缘图像进行形态学闭操作，得到地面部分的二值图像；

图像识别模块，用于获取所述二值图像中的各个连通域，计算所述连通域的面积占所述地面图像的面积的比例，根据计算获得的占比大小判断是否存在垃圾，结束检测并输出第二结论。

本实施例的一种垃圾回收站地面清洁度的检测系统，可执行本发明方法实施例所提供的一种垃圾回收站地面清洁度的检测方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本实施例还提供一种垃圾回收站地面清洁度的检测装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图1所示的方法。

本实施例的一种垃圾回收站地面清洁度的检测装置，可执行本发明方法实施例所提供的一种垃圾回收站地面清洁度的检测方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。

本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种垃圾回收站地面清洁度的检测方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。