基于多标签图像识别的垃圾分类方法及垃圾分类器

技术领域

本发明涉及图像识别与垃圾分类技术领域，具体地涉及一种基于多标签图像识别的垃圾分类方法及垃圾分类器。

背景技术

垃圾处理一个行而有效的方法是垃圾分类，通过分类投放、分类收集，把有用物资如纸张、塑料、橡胶、玻璃等从垃圾中分离出来重新回收、利用，把有害物资如电池、医学垃圾等分类收集、集中处理，既可以提高资源的利用水平，变废为宝，又可避免二次污染。

现有的垃圾分类方法以识别单一垃圾为主，不适用于较复杂场景。例如，中国专利文献CN 111439500 A公开了一种垃圾自动分类方法及自动分类装置，方法包括：将所有垃圾划分成若干种类，采集每种垃圾中包含的若干个单一垃圾的第一图像合成单一垃圾三维模型形成垃圾种类训练集；对单一垃圾三维模型进行学习训练构建单一垃圾三维模型分类器；识别实时单一垃圾并拍摄实时单一垃圾的第二图像辅助定位抓取；拍摄实时单一垃圾的第一图像合成实时单一垃圾三维模型并通过单一垃圾三维模型分类器分类，获得实时单一垃圾的种类。

现有的垃圾分类方法还存在以下缺陷：

1、对于同一图片上的多个垃圾同时进行识别和分类的准确率低，存在大量的误分类情况。

2、现有垃圾自动分类技术能够识别的垃圾种类较粗，仅仅适用于厨余垃圾、可回收垃圾、有害垃圾、其它垃圾等大类。

发明内容

为了解决上述存在的技术问题，本发明提供了一种基于多标签图像识别的垃圾分类方法及垃圾分类器，利用多标签图像识别技术对同一张垃圾照片上所有废弃物进行自动识别，并通过垃圾分类器的构建实现垃圾自动分类，最终得到干湿垃圾的精确分类结果，大幅度提高了垃圾分类的准确率，可以实现同一图片上多种类垃圾的准确分类。

本发明的技术方案是：

一种基于多标签图像识别的垃圾分类方法，包括以下步骤：

S01：采集废弃物图像；

S02：构建卷积神经网络和残差模块，在卷积神经网络中加入残差模块得到深度残差网络，对得到的深度残差网络进行训练；

S03：使用训练完成的深度残差网络提取图像特征，通过卷积和池化堆叠的方式进行语义分割，得到不同废弃物的多个子区域；

S04：使用训练完成的深度残差网络提取图像特征，对分割后形成的子区域进行图像识别，得到图像中所有废弃物的名称；

S05：将通过图像识别后的得到的废弃物名称进行整理形成语料库，在语料库的基础上构建废弃物名称与垃圾类别的稀疏矩阵，对稀疏矩阵进行降维处理，提取稀疏矩阵的特征信息，通过机器学习方法训练得到垃圾分类器模型，得到垃圾分类。

优选的技术方案中，所述步骤S01中还包括图像预处理，所述图像预处理包括以下步骤：

对采集到的图像进行增强优化，突出图像的主体结构特征，弱化对图像明暗色彩、角度变化、局部裁剪的依赖。

优选的技术方案中，所述步骤S02中深度残差网络用卷积核进行特征提取，设定卷积核的步长，通过的最大池化层降低图像的分辨率；经过多层残差模块进行堆积和训练，所述残差模块包括至少一个卷积层，最后经过全局平均池化层将特征图像变为1*1，并添加全连接层，通过softmax函数输出分类概率。

优选的技术方案中，所述图像特征包括颜色、形状、纹理、边缘。

优选的技术方案中，所述步骤S05中提取稀疏矩阵的特征信息之后还包括，以稀疏矩阵中的废弃物名称作为自变量，垃圾类别依次作为因变量，采用多种机器学习算法构建多标签垃圾分类器模型，比较各个算法精度，采用最优算法进行干湿垃圾分类。

优选的技术方案中，所述步骤S05中稀疏矩阵以废弃物名称和9个垃圾类别作为列标识，由数字1和0组成中的二维矩阵，其中数字1和0代表废弃物名称在相应标识中是否出现。

本发明还公开了一种基于多标签图像识别的垃圾分类器，包括：

图像采集模块，采集废弃物图像；

模型构建与训练模块，构建卷积神经网络和残差模块，在卷积神经网络中加入残差模块得到深度残差网络，对得到的深度残差网络进行训练；

图像分割模块，使用训练完成的深度残差网络提取图像特征，通过卷积和池化堆叠的方式进行语义分割，得到不同废弃物的多个子区域；

图像识别模块，使用训练完成的深度残差网络提取图像特征，对分割后形成的子区域进行图像识别，得到图像中所有废弃物的名称；

垃圾分类模块，将通过图像识别后的得到的废弃物名称进行整理形成语料库，在语料库的基础上构建废弃物名称与垃圾类别的稀疏矩阵，对稀疏矩阵进行降维处理，提取稀疏矩阵的特征信息，通过机器学习方法训练得到垃圾分类器模型，得到垃圾分类。

优选的技术方案中，还包括图像预处理模块，对图像进行图像预处理，包括以下步骤：

对采集到的图像进行增强优化，突出图像的主体结构特征，弱化对图像明暗色彩、角度变化、局部裁剪的依赖。

优选的技术方案中，所述模型构建与训练模块中深度残差网络用卷积核进行特征提取，设定卷积核的步长，通过的最大池化层降低图像的分辨率；经过多层残差模块进行堆积和训练，所述残差模块包括至少一个卷积层，最后经过全局平均池化层将特征图像变为1*1，并添加全连接层，通过softmax函数输出分类概率。

优选的技术方案中，所述垃圾分类模块中提取稀疏矩阵的特征信息之后还包括，以稀疏矩阵中的废弃物名称作为自变量，垃圾类别依次作为因变量，采用多种机器学习算法构建多标签垃圾分类器模型，比较各个算法精度，采用最优算法进行干湿垃圾分类。

与现有技术相比，本发明的优点是：

1、在现有图像识别技术的基础上，提出了一种基于分类器技术的垃圾智能分类方法，大幅度提高了垃圾分类的准确率(全样本准确率大于90％)。

2、在同一图片上对所有废弃物进行自动识别，并在此基础上通过分类器进行干湿垃圾细化归类，细化干垃圾为废塑料、废纸张、废金属、废玻璃制品、废织物、其他干垃圾等6类，细化湿垃圾为食物、蔬菜、花卉等3类，实现了上述9类垃圾的准确分类。

3、通过摄像头采集人工分类图像后，该方法及系统可用于干湿垃圾人工分类结果的校核，免去人工校核，节约人力成本。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明基于多标签图像识别的垃圾分类方法的流程图；

图2为一实施例的深度残差网络；

图3为分类器构建技术流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

实施例：

下面结合附图，对本发明的较佳实施例作进一步说明。

本发明利用多标签图像识别技术对同一张垃圾照片上所有废弃物进行自动识别，并通过分类器的构建实现垃圾自动分类，最终得到干湿垃圾的精确分类结果。本方法涉及的垃圾类别包括废塑料、废玻璃制品、废纸张、废金属、废织物、其他干垃圾、食物、蔬菜、花卉等9类。

如图1所示，一种基于多标签图像识别的垃圾分类方法，包括以下步骤：

S01：采集废弃物图像；

S02：构建卷积神经网络和残差模块，在卷积神经网络中加入残差模块得到深度残差网络，对得到的深度残差网络进行训练；

S03：使用训练完成的深度残差网络提取图像特征，通过卷积和池化堆叠的方式进行语义分割，得到不同废弃物的多个子区域；

S04：使用训练完成的深度残差网络提取图像特征，对分割后形成的子区域进行图像识别，得到图像中所有废弃物的名称；

S05：将通过图像识别后的得到的废弃物名称进行整理形成语料库，在语料库的基础上构建废弃物名称与垃圾类别的稀疏矩阵，对稀疏矩阵进行降维处理，提取稀疏矩阵的特征信息，通过机器学习方法训练得到垃圾分类器模型，得到垃圾分类。

一较佳的实施例中，步骤S01中还包括图像预处理，所述图像预处理包括以下步骤：

对采集到的图像进行增强优化，突出图像的主体结构特征，弱化对图像明暗色彩、角度变化、局部裁剪的依赖。

图像增强优化是指对采集到的图片进行亮度、伽马、仿射变换、噪点、模糊、翻转等方面的操作。

一较佳的实施例中，步骤S02中深度残差网络用卷积核进行特征提取，设定卷积核的步长，通过的最大池化层降低图像的分辨率；经过多层残差模块进行堆积和训练，所述残差模块包括至少一个卷积层，最后经过全局平均池化层将特征图像变为1*1，并添加全连接层，通过softmax函数输出分类概率。

这里图像特征包括颜色、形状、纹理、边缘中的一种或者多种，当然也可以为其他特征，这里不做限定。

一较佳的实施例中，步骤S05中提取稀疏矩阵的特征信息之后还包括，以稀疏矩阵中的废弃物名称作为自变量，垃圾类别依次作为因变量，采用多种机器学习算法构建多标签垃圾分类器模型，比较各个算法精度，采用最优算法进行干湿垃圾分类。

稀疏矩阵以废弃物名称和9个垃圾类别作为列标识，由数字1和0组成中的二维矩阵，其中数字1和0代表废弃物名称在相应标识中是否出现。

另一实施例中，本发明还公开了一种基于多标签图像识别的垃圾分类器，包括：

图像采集模块，采集废弃物图像；

模型构建与训练模块，构建卷积神经网络和残差模块，在卷积神经网络中加入残差模块得到深度残差网络，对得到的深度残差网络进行训练；

图像分割模块，使用训练完成的深度残差网络提取图像特征，通过卷积和池化堆叠的方式进行语义分割，得到不同废弃物的多个子区域；

图像识别模块，使用训练完成的深度残差网络提取图像特征，对分割后形成的子区域进行图像识别，得到图像中所有废弃物的名称；

垃圾分类模块，将通过图像识别后的得到的废弃物名称进行整理形成语料库，在语料库的基础上构建废弃物名称与垃圾类别的稀疏矩阵，对稀疏矩阵进行降维处理，提取稀疏矩阵的特征信息，通过机器学习方法训练得到垃圾分类器模型，得到垃圾分类。

图像采集模块用于垃圾图片通过摄像头的自动获取，并上传至服务器端。

图像处理模块部署于服务器端，用于对获取的废弃物图片进行处理，包括图像的随机旋转、亮度增强、平移、缩放、剪切、归一化，以及分割等。

图像识别模块运行于服务器端。

垃圾分类用于进行干湿垃圾细化分类，将其划为废塑料、废玻璃制品、废纸张、废金属、废织物、其他干垃圾、食物、蔬菜、花卉等9种类型。

具体的实现包括如下步骤：

步骤一：垃圾图像采集

通过摄像头自动获取废弃物图片，并由无线网络上传至服务器端。

步骤二：图像增强优化

服务器端通过图像增强优化对获取的废弃物图片进行图像处理。

上述图像增强优化是指对采集到的图片进行亮度、伽马、仿射变换、噪点、模糊、翻转等方面的操作，突出图像的主体结构特征，弱化对图片明暗色彩、角度变化、局部裁剪的依赖，从而使后续图像识别模型具有更好的泛化能力。

步骤三：深度残差网络(ResNet)搭建与训练

为了解决卷积神经网络(CNN)过深造成的梯度消失问题，引入残差模块。传统的CNN假设期望输出H(x)需要网络直接拟合输出H(x)，残差模块将需要拟合的映射变为残差F(x)＝H(x)-x，优化残差相较于直接优化目标更容易实现。

具体的网络结构如图2所示，左边为Resnet残差模块，残差模块将需要拟合的映射变为残差F(x)＝H(x)-x，右边为Resnet50网络结构。首先输入7*7*64的卷积，用7*7的卷积核(conv)进行特征提取，且卷积核的步长(s)为2，通过3*3的最大池化(maxpool)，进一步降低图像的分辨率；然后经过4层(layer)共16个(即3+4+6+3＝16)残差模块(block)进行堆积和训练，最后经过全局平均池化(GAPooling)将特征图像变为1*1，并添加全连接层(FullConnection)，通过softmax函数输出分类概率。

上述残差模块，每个有3个卷积，比如在第一个层中的第一个残差块中的3个卷积分别为1*1、3*3和1*1，输出通道分别为64、64和256。

步骤四：图像分割

通过图像分割对增强优化的废弃物图片进行图像处理。

上述图像分割是指把废弃物图片分成一些互不重叠而又具有各自特征的子区域。通过步骤三搭建的ResNet框架，利用残差模块加深卷积神经网络深度，对图像的颜色、形状、纹理、边缘等特征进行提取，通过卷积和池化堆叠的方式进行语义分割，实现同一幅废弃物照片转化为不同废弃物的多个子区域。

步骤五：图像识别

通过图像特征提取和分类对分割后形成的子区域进行图像识别获得废弃物名称。

上述图像特征提取和分类是指对于给定一幅待识别图像，输入到训练好的ResNet模型中，提取图像的颜色、形状、纹理、边缘等特征信息，识别该图像中的所有物体，最后以结构化数据的形式输出图片中所有废弃物的名称(例如食物、软饮料、塑料袋、甜点、玩具等)信息。

步骤六：垃圾分类

如图3所示，整理废弃物名称信息形成语料库，构建废弃物名称与垃圾类别的稀疏矩阵。对稀疏矩阵进行数据降维及特征提取，提取文本关键特征信息；以稀疏矩阵中的废弃物名称作为自变量，9个垃圾类别依次作为因变量，采用决策树、随机森林、支持向量机、K近邻等算法构建多标签垃圾分类器模型，综合比较各个算法精度，采用最优算法进行干湿垃圾分类，最后得到每一张图片的干湿垃圾分类结果。最优模型精度示例如下：

上述稀疏矩阵是指以废弃物名称和9个垃圾类别作为列标识，由数字1和0组成中的二维矩阵，其中数字1和0代表废弃物名称在相应标识中是否出现，示例如下：

上述数据降维及特征提取是指对稀疏矩阵中的自变量进行主成分分析，从而提取出关键特征信息。当然也可以采用其他的方法提取关键特征信息，这里不做限定。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。