融合PartialConvolution和ECA_ASPP模块的Resnet-50垃圾图像分类识别方法

技术领域

本发明涉及图像技术领域，尤其涉及融合PartialConvolution和ECA_ASPP模块的Resnet-50垃圾图像分类识别方法。

背景技术

随着城市化进程的加快和人口的不断增长，生活垃圾的产量也随之不断增加，垃圾处理成为了亟待解决的问题。由于我国垃圾分类方式较为单一，且智能化水平较低，很大程度上影响了垃圾处理的效果。因此，提出一种有效的垃圾分类方式成为垃圾治理的关键。目前的垃圾分类方法常见的有人工分类、机器学习方法；人工分类方式需要投入大量的人力和设备，耗时长、成本高；长时间持续作业的情况下，人在疲劳工作时会产生工作失误，导致垃圾分类准确率降低；

现有技术中使用传统的机器学习算法，如支持向量机、随机森林等，从数据中提取特征，通过训练分类器进行垃圾分类，这种方法需要手动设计特征工程，对于不同类型的垃圾需要采用不同的特征表示方法，同时传统机器学习算法在处理高维数据时表现不佳，难以胜任大规模图片分类任务，显得极为不便。

发明内容

本发明的目的是提供融合PartialConvolution和ECA_ASPP模块的Resnet-50垃圾图像分类识别方法，解决了现有技术中要手动设计特征工程，对于不同类型的垃圾需要采用不同的特征表示方法，同时传统机器学习算法在处理高维数据时表现不佳，难以胜任大规模图片分类任务的问题。

为了实现上述目的，本发明采用了如下技术方案：

融合PartialConvolution和ECA_ASPP模块的Resnet-50垃圾图像分类识别方法，包括图像预处理模块、图像识别模块、垃圾分拣模块，其中图像识别模块，包含4个子模块，即建立数据集模块，融合Partial Convolution和ECA_ASPP模块的Resnet-50垃圾分类模型模块，模型训练模块，图像检测模块，通过摄像头捕获垃圾图像，并对其进行图像预处理，预处理包括调节图像对比度、亮度，建立数据集，对数据集中的图像进行预处理，并将预处理好的数据集按照6：2的比例划分为训练集和测试集；预处理，包括数据标注、数据分析、图像缩放裁剪、图像数据标准化、数据增广；其中，数据标注是指对数据集中每张图像进行分类和编号；数据分析是指去除掉垃圾数据集中，因图像种类、长宽差异性及拍摄环境不同导致整体数据不均匀、质量差的图像；图像数据标准化是指对图像进行归一化操作，把不同维度的特征值调整到相近的范围内；数据增广是指对数据集进行扩充，以增加数据集内图像数量。

优选的，所述构建融合Partial Convolution和ECA_ASPP模块的Resnet-50卷积神经网络并进行训练，Resnet-50卷积神经网络，由卷积层、多个layer模块、平均池化层、最大值池化层以及softmax全连接层组成，layer模块由包含多个bottleneck，融合Partial卷积Resnet-50卷积神经网络的关键，在于将原bottleneck中两个1x1的Convolution替换为Partial Convolution。

优选的，所述通过一系列具有不同扩张率的1x1和3x3卷积层提取特征，接着进行自适应平均池化操作，将输入特征图压缩成一个通道维度上的特征图。然后，通过两个1x1卷积层对通道特征进行压缩和扩张，最后通过Sigmoid函数输出一个通道注意力权重。这个通道注意力权重会与原始输入特征图进行逐元素相乘，以达到对特征通道的加权，其中GAP是全局平均池化，把一个特征图求平均值，从一个H x W x C变成1 x 1 x C，注意到ECA能够通过核为k的快速1D卷积有效实现，在融合Partial Convolution的Resnet-50网络结构中第一级卷积层中添加ECA_ASPP模块构建融合Partial Convolution和ECA_ASPP模块的Resnet-50垃圾分类模型。

优选的，所述使用训练集和测试集对上述模型进行测试，评估模型关于训练集的准确率Train_Accuracy、损失值Train_Loss，以及测试集的准确率Val_Accuracy、损失值Val_Loss，其中所述的准确率为：

所述的损失值为:

优选的，所述TP表示被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的实例数；TN表示被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的实例数；FP表示被错误地划分为正例的个数，即实际为负例但被分类器划分为正例的实例数；FN表示被错误地划分为负例的个数，即实际为正例但被分类器划分为负例的实例数，N为样本总数，i表示其中一个输出样本，y是实际值，x是预测值。

优选的，所述视觉控制垃圾分拣装置进行垃圾分拣，通过图像处理得到垃圾位置以及类型信息进行引导并通过对机械臂的控制对已分类垃圾进行抓取与放置，实现针对不同垃圾的分拣任务。

本发明至少具备以下有益效果：

本发明使用的是融合Partial Convolution和ECA_ASPP模块的Resnet-50卷积神经网络模型，传统的机器学习算法通常需要手工设计和提取特征，这过程繁琐且容易出错，而本发明采用的模型是端到端的学习模型，它可以自动从原始图像中学习特征表示，无需依赖手工特征工程，减轻了工作量并提高了分类性能，此外，本发明中的模型能够增强特征提取和表达能力，对于噪声和遮挡等干扰具有较强的鲁棒性。而传统机器学习算法在面对复杂环境和噪声时容易受到影响，分类性能可能下降。

本发明技术关键就在于选用了融合Partial Convolution和ECA_ASPP模块的Resnet-50卷积神经网络模型并且使用了优傲公司Universal Robots系列机器人UR5机械臂为本发明的分拣装置。与传统人工分拣相比，本发明还具备以下有益效果：

1.自动化和高效性：深度学习模型结合机械臂可以实现垃圾的自动化分类和处理，无需人工干预。相较于人工分拣，自动化处理具有更高的效率，可以快速、连续地处理大量的垃圾；

2.准确性和一致性：深度学习模型在垃圾分类任务中具有较高的准确性，不受疲劳、情绪等因素影响，保持一致性和稳定性。相较于人工分拣，减少了人为因素导致的分类错误，提高了垃圾分类的准确性；

3.降低人工成本：自动化垃圾分类系统可以大幅度减少人工投入，节省人工成本，机械臂可以持续工作，不需要休息和补充人力，从而降低了运营成本；

4.适应多样化垃圾：深度学习模型可以根据训练数据学习特征表示，能够适应多种类型、形状和材质的垃圾。而人工分拣需要人们熟悉不同垃圾的特点，对于新的、不常见的垃圾可能分类较为困难；

5.高度可定制：自动化垃圾分类系统可以根据实际需要进行定制和调整，深度学习模型和机械臂的参数可以根据不同的垃圾分类任务进行优化，使系统更加适应不同场景和需求；

6.安全性：自动化垃圾分类系统可以减少人与垃圾直接接触，降低了垃圾分类过程中的健康和安全风险。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的各个模块示意图；

图2为本发明的实施过程示意图；

图3为本发明的Resnet-50卷积神经网络对比示意图；

图4为本发明的ECA_ASPP模块示意图；

图5为本发明的Resnet-50垃圾分类模型示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一

参照图1-5，包括图像预处理模块、图像识别模块、垃圾分拣模块，其中图像识别模块，包含4个子模块，即建立数据集模块，融合Partial Convolution和ECA_ASPP模块的Resnet-50垃圾分类模型模块，模型训练模块，图像检测模块，通过摄像头捕获垃圾图像，并对其进行图像预处理，预处理包括调节图像对比度、亮度，建立数据集，对数据集中的图像进行预处理，并将预处理好的数据集按照8：2的比例划分为训练集和测试集；预处理，包括数据标注、数据分析、图像缩放裁剪、图像数据标准化、数据增广；其中，数据标注是指对数据集中每张图像进行分类和编号；数据分析是指去除掉垃圾数据集中，因图像种类、长宽差异性及拍摄环境不同导致整体数据不均匀、质量差的图像；图像数据标准化是指对图像进行归一化操作，把不同维度的特征值调整到相近的范围内；数据增广是指对数据集进行扩充，以增加数据集内图像数量。

实施例二

参照图1-5，所述构建融合Partial Convolution和ECA_ASPP模块的Resnet-50卷积神经网络并进行训练，Resnet-50卷积神经网络，由卷积层、多个layer模块、平均池化层、最大值池化层以及softmax全连接层组成，layer模块由包含多个bottleneck，融合Partial卷积Resnet-50卷积神经网络的关键，在于将原bottleneck中两个1x1的Convolution替换为Partial Convolution。

实施例三

参照图1-5，所述通过一系列具有不同扩张率的1x1和3x3卷积层提取特征，接着进行自适应平均池化操作，将输入特征图压缩成一个通道维度上的特征图。然后，通过两个1x1卷积层对通道特征进行压缩和扩张，最后通过Sigmoid函数输出一个通道注意力权重。这个通道注意力权重会与原始输入特征图进行逐元素相乘，以达到对特征通道的加权，其中GAP是全局平均池化，把一个特征图求平均值，从一个H x W x C变成1 x 1 x C，注意到ECA能够通过核为k的快速1D卷积有效实现，在融合Partial Convolution的Resnet-50网络结构中第一级卷积层中添加ECA_ASPP模块构建融合Partial Convolution和ECA_ASPP模块的Resnet-50垃圾分类模型。

实施例四

参照图1-5，所述使用训练集和测试集对上述模型进行测试，评估模型关于训练集的准确率Train_Accuracy、损失值Train_Loss，以及测试集的准确率Val_Accuracy、损失值Val_Loss，其中所述的准确率为：

所述的损失值为:

实施例五

参照图1-5，所述TP表示被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的实例数；TN表示被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的实例数；FP表示被错误地划分为正例的个数，即实际为负例但被分类器划分为正例的实例数；FN表示被错误地划分为负例的个数，即实际为正例但被分类器划分为负例的实例数，N为样本总数，i表示其中一个输出样本，y是实际值，x是预测值。

实施例六

参照图1-5，所述视觉控制垃圾分拣装置进行垃圾分拣，通过图像处理得到垃圾位置以及类型信息进行引导并通过对机械臂的控制对已分类垃圾进行抓取与放置，实现针对不同垃圾的分拣任务。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。