一种基于机器视觉的供车站应用的垃圾分类系统及方法

技术领域

本发明属于垃圾分类技术领域，涉及一种基于机器视觉的供车站应用的垃圾分类系统及方法。

背景技术

在高铁站、火车站和汽车站这些人流量集聚的公共场所，垃圾桶的使用较频繁，因此垃圾分类混装的现象经常发生。虽然现在垃圾分类的知识得到了广泛地普及，但因为垃圾种类繁多，大部分人对垃圾分类的种类还不太清晰。同时，也存在部分人并没有养成垃圾分类的习惯，也成为垃圾分类难的因素。

发明专利“一种智能垃圾分类系统”(公开号为CN113222186A)，其垃圾分类系统通过采集垃圾图像上传到云端服务器进行垃圾识别，得到垃圾所属分类，但是垃圾种类十分丰富，而云端服务器储存的垃圾种类是固定的，无法做到对一些冷门的垃圾种类进行实时更新，导致在垃圾分类过程中仍存在出现分类不准确、混装的现象；发明专利“智能垃圾分类方法及智能垃圾分类系统：(公开号：CN111907971A)，其垃圾分类系统通过对垃圾和人脸进行识别，并且采集到的垃圾类别信息要与数据库对应后投递门才可以打开，但是数据库的信息不能做到涵盖所有的垃圾种类，并且不能做到仅对垃圾图像进行识别分类。另外，市面上的已有产品，如芯力源科技开发的基于AI视觉的垃圾识别的垃圾样例，是仅对垃圾的图像数据集进行网络模型训练，没有考虑在实际的垃圾投递过程中，手部会对垃圾进行一定程度的遮挡，导致在识别过程中无法精确的对垃圾进行分类；翰泽物联开发生活垃圾投放驿站，仅在人们投递垃圾过程中对人进行识别和实时监控，对垃圾则是进行称重，而不是对垃圾进行图像识别分类。此外，现有的基于深度学校的检测或者分割算法，多考虑为图像中的垃圾种类识别，并没有考虑到手的因素影响，与实际垃圾回收的场景有偏差。

总体上，现有的垃圾分类系统没有对垃圾的种类进行充分地分类和及时更新，同时在垃圾识别过程中，没有考虑手部遮挡对识别分类的影响，因此导致垃圾的识别分类的准确度不够，无法做到对垃圾充分地回收利用。

发明内容

有鉴于此，本发明的目的在于提供一种基于机器视觉的供车站应用的垃圾分类系统及方法，解决了火车站等共同场所的垃圾自动分类问题，提高垃圾分类回收的准确性。

为达到上述目的，本发明提供如下技术方案：

一种基于机器视觉的供车站应用的垃圾分类系统，该系统包括前端垃圾分类装置和后端云服务平台；

所述后端云服务平台包括云数据平台和云计算平台；

所述前端垃圾分类装置用于采集和识别垃圾图像，根据识别结果进行显示和语音播报，并控制垃圾桶进行开关控制；同时，结合传感器技术，实现垃圾桶内烟雾预警、桶满检测，以及人体接近检测和灯管补光控制；

所述云数据平台用于对若干前端垃圾分类装置进行数据管理、转发和存储；所述云计算平台实现垃圾分类算法的训练，并定期针对错误投放的垃圾图像数据进行采集分析，对垃圾分类识别算法进行增量学习，并推送至前端垃圾分类装置进行算法更新。

可选的，所述前端垃圾分类装置包括AI嵌入式设备211、人体感应模块26、光强检测模块25、LED补光灯27、摄像头24、烟雾浓度模块21、超声波测距传感器22、语音模块29、显示模块210、舵机驱动模块23、通信模块和垃圾桶；

所述超声波测距传感器22和烟雾浓度模块21，将其固定在垃圾桶桶顶内部中心位置；

所述舵机驱动模块23安装在垃圾桶桶盖内侧；

所述垃圾桶上方设置有平台，所述人体感应模块26、光强检测模块25、LED补光灯27和摄像头24固定在平台的中心位置；

所述语音模块29和显示模块210固定在平台的上方中间位置；

所述AI嵌入式设备211分别与人体感应模块26、光强检测模块25、LED补光灯27、摄像头24、烟雾浓度模块21和超声波测距传感器22连接，完成数据采集、计算和控制；

所述通信模块实现前端设备与后端云服务平台数据交互。

可选的，所述摄像头24用于对准备放入垃圾桶的垃圾进行图像采集，并传送到AI嵌入式设备211进行分类识别；

所述AI嵌入式设备211实现对采集的垃圾图像进行分类识别，并对其他传感器的数据采集，分析和控制；

所述显示模块210将摄像头24实时拍摄的图像、桶满检测情况和垃圾分类结果进行实时显示；

所述语音模块29用于对垃圾分类结果和烟雾报警等进行语音播报；

所述人体感应模块26用于人体接近检测；若有人接近，则AI嵌入式设备211退出休眠模式，并开启检测流程；

所述光强检测模块25与LED补光灯27根据光照环境实现自适应补光；

所述舵机驱动模块23用于打开和闭合垃圾桶盖；

所述烟雾检测实时监测垃圾桶内烟雾情况；

所述超声波测距传感器22用于计算垃圾桶内的剩余空间容量；

所述通信模块用于桶满检测情况、烟雾报警信息以及垃圾分类识别置信度低的图像上传至云数据平台，同时用于接收云计算平台推送的算法更新。

可选的，所述云计算平台采用中心区域注意力DETR目标检测网络对垃圾分类数据集进行训练，并把所训练的最优网络训练模型推送部署至AI嵌入式设备211；同时，定期根据若干前端收集的低置信度的垃圾图像，进行增量学习，把垃圾分类的算法进行更新，并推送至前端。

一种基于机器视觉的供车站应用的垃圾分类方法，该方法包括以下步骤：

S1：云计算平台对公开垃圾数据集进行“手持垃圾”数据增强；

S2：采用中心区域注意力DETR垃圾检测分类网络对数据集进行训练；

S3：将训练好的网络模型通过通信模块载入部署至AI嵌入式设备211；

S4：人体感应模块26和光强检测模块25进行人和环境的检测，AI嵌入式设备211接收传感器检测到的数据后，根据光照情况进行LED补光操作，并启动摄像头24进行图像采集；

S5：AI嵌入式设备211实时接收摄像头24采集的图像数据，利用目标检测网络对图像进行检测识别处理，并根据识别的结果，进行语音播报、显示提醒，控制舵机实现垃圾桶盖的打开和闭合；同时，通过无线模块将低置信度的垃圾图像数据上传至云数据平台；

S6：AI嵌入式设备211实时监控桶内烟雾情况，并在每次垃圾桶盖闭合之后，接收超声波测距传感器22的数据，计算垃圾桶内垃圾容量情况，将传感器数据通过通信模块上传显示模块210和云服务平台，提醒垃圾清理和烟雾报警；

S7：云数据平台根据接收多个前端上传的分类低置信度的垃圾图像数据，在云计算平台中采用增量学习对垃圾分类网络模型进行训练更新；

S8：云计算平台将重新训练好的网络模型推送AI嵌入式设备211，AI嵌入式设备211对摄像头24采集到的图像信息进行识别分类。

可选的，所述S1中，“手持垃圾”数据增强具体包括：

S11：制作垃圾分类数据集，数据集来源包括现有公开的垃圾分类数据集、通过垃圾类别关键词收集的网络图片，以及自行拍摄的手持垃圾图像；

S12：对垃圾分类数据集内的图片进行类别标注和目标候选框标注，形成数据集的标签；

S13：在绿幕摄影条件下，使用摄像设备拍摄不同年龄、性别的参与者，在不同光照、视角下的抓、握、提和托的手形姿势，通过图像边缘检测获得的手形区域，建立手部素材库；

S14：根据数据集标签中目标候选框标注的单个垃圾在图像上的坐标信息，通过坐标信息，计算该垃圾的长宽尺寸，计算该手持垃圾图像的像素面积；将像素面积乘以一个预设的手部遮盖系数，得到手部素材的大小预估值；

S15：根据现有的手持垃圾的组合，选取不同的公开数据中的垃圾图片，在手部素材库中选择可能配备的手部素材，通过自适应对比度调整和亮度调整方法，使垃圾候选框区域和手部素材在视觉上保持统一；

S151：所述自适应对比度调整具体为：

(1)扩张候选框：使用预设的扩张比例系数对垃圾所在候选框的坐标进行扩张，得到包含垃圾和部分背景信息的局部块；

(2)灰度转换：将局部块转换为灰度图像，并统计每个灰度级的像素数量，然后进行归一化，将灰度级映射到0-1范围内，得到局部块的灰度级累积分布函数；

(3)灰度映射：将手部素材转换为灰度图像，并根据局部块的灰度级累积分布函数对每个灰度级进行映射，重新分布像素值；

(4)彩色转换：将调整后的手部素材灰度图像转换回彩色图像；

S152：所述亮度调整方法具体为：

(1)平均亮度计算：分别计算局部块和手部素材的平均亮度；通过计算红色通道、绿色通道和蓝色通道的亮度，并取平均值来得到亮度值；

(2)亮度差异计算：计算二张图像的平均亮度的差异；

(3)伽马校正调整：对第二张图像的每个像素的RGB值应用预设的伽马校正，即通过将原始像素值除以255，然后取调整因子的幂来实现伽马校正；调整因子由亮度差异乘以预设的系数来确定；

S16：将经过处理的手部素材缩放到预估的手部素材大小，并在小角度范围内的进行随机旋转、镜像、仿射变换和在小区域范围内拉伸操作，然后在要组合的垃圾图像上的将其随机粘贴到合适的目标候选框区域内；

S17：重复S11～S16，实现手部姿势与垃圾图像的匹配，建立基于手部姿势的垃圾分类数据集。

可选的，所述S2具体为：首先，将图像按照距离中心的远近切分成13块有重叠的均匀子块，即最外围区域8块，中间区域4块，中心区域1块；然后分别针对3种不同区域的子块，采用不同数目的卷积核进行特征提取，其中，中心区域的卷积核数大于中间区域大于外围区域；将图片的特征集合进行位置编码，获得加强后的有效特征层，然后对有效特征层进行解码获得预测结果；将预测结果中检测出来的垃圾种的数目范围调整为小于10。

可选的，所述S7具体为：

S71：垃圾分类共分为4大类和若干小类，采用one-hot对每个小类进行编码，大分类则根据小分类的编码归属对应分类；从n个小类别中随机选取经典样本组合共计N个为旧样本数据集X；将云数据平台收集到的低置信度垃圾图像，重新人工进行核实并进行分类标定，得到有m种新垃圾小类共计M个的新样本数据集Y；将新样本数据Y和旧样本数据X各自按照9:1划分为训练集Y

S72：网络训练分为两个阶段；第一阶段利用训练集Y

S721：将

其中，T是温度尺度超参数，用于调整分类分布情况；

S722：用分类函数L

其中，α

S723：将蒸馏损失L

S73：第二阶段中，为修正DETR目标检测网络的分类偏好，在网络后引入线性回归层作为偏差修正层；冻结中心区域注意力DETR目标检测网络，只训练偏差修正层；采用分类损失，用验证集Y

S74：将完成二个阶段训练的垃圾检测网络推送至AI嵌入式设备211；随着增量学习的不断学习，新样本数据趋于稳定，旧样本数据不断增加，模型趋于稳定。

本发明的有益效果在于：本发明设计了基于手持垃圾数据增强的方式，使得初始训练的样本数据更加符合实际情况，能提高识别算法的鲁棒性。同时，考虑到垃圾种类繁多，算法存在误判的可能性，本发明采用增量学习定期对垃圾分类算法进行更新，以保证垃圾分类结果的准确性。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明系统示意图；

图2为本发明中前端垃圾分类装置结构示意图；

图3为本发明中前端垃圾分类装置硬件构成示意图；

图4为本发明中前端垃圾分类装置上位机界面示意图；

图5为本发明方法流程图；

图6为本发明中基于增量学习的训练和损失函数计算示意图；

图7为本发明中增量学习对中心区域注意力DETR目标检测网络训练示意图。

附图标记：烟雾浓度模块21、超声波测距传感器22、舵机驱动模块23、摄像头24、光强检测模块25、人体感应模块26、LED补光灯27、喇叭28、语音模块29、显示模块210、AI嵌入式设备211。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

实施例1：

本实施例提供一种基于机器视觉的供车站应用的智能垃圾分类系统构成框图，如图1所示，主要包括：多个前端垃圾分类装置，和一个后端云数据库和云计算平台。前端与后端之间可以采用有线或者无线模块实现通信。

前端的实物布局如图2所示，包括AI嵌入式设备211、人体感应模块26、光强检测模块25、LED补光灯27、摄像头24、烟雾浓度模块21、超声波测距传感器22、语音模块29、显示模块210、舵机驱动模块23、通信模块和4个垃圾桶。超声波测距传感器22和烟雾浓度模块21，将其固定在垃圾桶桶顶内部中心位置；舵机驱动模块23安装在垃圾桶桶盖内侧；在垃圾桶上方设置一个平台，将人体感应模块26、光强检测模块25、摄像头24固定在平台的中心位置；LED补光灯27条固定在摄像头24的两边靠下位置；喇叭28和显示模块210固定在平台的上方中间位置；语音模块29和AI嵌入式设备211放置于靠近平台中间位置，AI嵌入式设备211与所有传感器模块进行连接，完成传感器的数据采集、计算和控制等；平台的四周进行封闭，只留有传感器数据采集区域。

前端垃圾分类装置的硬件构成，如图3所示，其包括：

(1)摄像头24，用于对准备放入垃圾桶的垃圾进行图像采集，并传送到AI嵌入式设备211进行分类识别；

(2)AI嵌入式设备211：主要实现对采集的垃圾图像进行分类识别，并对其他传感器的数据采集，分析和控制；

(3)显示模块210：将摄像头24实时拍摄图像、桶满检测情况和垃圾分类结果进行实时显示，如图4所示；

(4)语音模块29：用于对垃圾分类结果和烟雾报警等进行语音播报；

(5)人体感应模块26主要用于人体接近检测，若有人接近，则AI嵌入式设备211退出休眠模式，并开启检测流程；

(6)光强检测模块25与LED补光灯27，为了解决环境光照不足的影响图像采集质量，根据光照环境实现自适应补光；

(7)舵机驱动模块23：用于垃圾桶盖的打开和闭合控制；

(8)烟雾浓度模块21：用于实时监测垃圾桶内烟雾情况，预防火灾发生；

(9)超声波测距传感器22：用于计算垃圾桶内的剩余空间容量；

(10)通信模块，用于桶满检测情况、烟雾报警等信息以及垃圾分类识别置信度低的图像上传至云数据平台，同时用于接收云计算平台推送的算法更新。

智能垃圾分类系统流程图如图5所示，具体步骤为：

(1)系统开始后，云计算平台在公开或自建垃圾分类数据集上进行“手持垃圾”数据增强操作；

(2)云计算平台搭建带中心区域注意力DETR目标检测网络，并利用步骤(1)中的数据完成网络训练；

(3)云计算平台将训练好的最优权重模型，推送至AI嵌入式设备211，完成算法部署；

(4)人体感应模块26连接至AI嵌入式设备211外部中断引脚，实现对人体接近进行检测，如果有人接近，则通过外部中断退出低功耗或休眠模式；

(5)唤醒后AI嵌入式设备211启动光强检测模块25和LED自动补光；

(6)AI嵌入式设备211控制摄像头24实现图像采集；

(7)AI嵌入式设备211用部署在本地的带中心区域注意力DETR目标检测网络，对摄像头24采集的图像进行检测识别；

(8)AI嵌入式设备211唤醒后控制语音模块29对识别后的结果进行播报，并发送至显示模型进行提醒，同时控制舵机驱动模块23完成桶盖的开启；

(9)AI嵌入式设备211对垃圾识别置信度进行判断，如低于0.5则认为低置信度，并把该垃圾图像通过通信模块上传至云数据库；

(10)AI嵌入式设备211读取烟雾浓度模块21和超声波传感器数据，完成垃圾桶内烟雾检测和桶内剩余容量计算；

(11)AI嵌入式设备211把检测数据上传至显示模块210和云数据库平台；

(12)后端云计算平台采用增量学习，定期从云数据库中读取新旧垃圾分类数据完成算法更新，其中旧垃圾分类数据现模型训练时所采用的数据，新垃圾分类数据指前端收集到的低置信度的垃圾图像数据；

(13)云计算平台完成对垃圾检测网络训练，把更新后的网络模型推送至AI嵌入式设备211，并完成模型部署；

实施案例2：

本发明提供一种基于机器视觉的供车站应用的智能垃圾分类方法，主要包括基于手持垃圾分类数据集增强建立方式、带中心区域注意力DETR目标检测网络训练、基于增量学习的算法更新推送三部分。

1.基于手持垃圾分类数据集增强建立方式。

目的：因公开数据集中只有垃圾图像，与实际手持垃圾图像不符的。为了减小手形对垃圾分类识别精度的影响，提供检测分类算法的鲁棒性。

方法：设计一种基于手持垃圾分类数据集增强建立方式。

具体步骤为：

1)制作垃圾分类数据集，数据集来源包括现有公开的垃圾分类数据集、通过垃圾类别关键词收集的网络图片，以及自行拍摄的手持垃圾图像。

2)对垃圾分类数据集内的图片进行类别标注和目标候选框标注，形成数据集的标签。

3)在绿幕摄影条件下，使用摄像设备拍摄不同年龄、性别的参与者，在不同光照、视角下的抓、握、提、托等手形姿势，通过图像边缘检测可获得手形区域，建立手部素材库。

4)根据数据集标签中目标候选框标注的单个垃圾在图像上的坐标信息，通过坐标信息，可计算该垃圾的长宽尺寸，进一步可以计算该垃圾图像的像素面积。将像素面积乘以一个预设的手部遮盖系数，得到手部素材的大小预估值。

5)根据生活中常见的手持垃圾的组合，选取不同的公开数据中的垃圾图片，在手部素材库中选择可能配备的手部素材，通过自适应对比度调整和亮度调整方法，使垃圾候选框区域和手部素材在视觉上保持统一。

其中，自适应对比度调整操作包括(1)扩张候选框：使用预设的扩张比例系数对垃圾所在候选框的坐标进行扩张，得到包含垃圾和部分背景信息的局部块。(2)灰度转换：将局部块转换为灰度图像，并统计每个灰度级的像素数量，然后进行归一化，将灰度级映射到0-1范围内，得到局部块的灰度级累积分布函数。(3)灰度映射：将手部素材转换为灰度图像，并根据局部块的灰度级累积分布函数对每个灰度级进行映射，重新分布像素值。(4)彩色转换：将调整后的手部素材灰度图像转换回彩色图像。

其中，亮度调整操作包括(1)平均亮度计算：分别计算局部块和手部素材的平均亮度。通过计算红色通道、绿色通道和蓝色通道的亮度，并取平均值来得到亮度值。(2)亮度差异计算：计算二张图像的平均亮度的差异。(3)伽马校正调整：对第二张图像的每个像素的RGB值应用预设的伽马校正，即通过将原始像素值除以255，然后取调整因子的幂来实现伽马校正。调整因子由亮度差异乘以预设的系数来确定。

6)将经过处理的手部素材缩放到预估的手部素材大小，并在小角度范围内的进行随机旋转、镜像、仿射变换、在小区域范围内拉伸等操作，然后在要组合的垃圾图像上的将其随机粘贴到合适的目标候选框区域内。

7)重复以上步骤，实现手部姿势与垃圾图像的匹配，从而建立基于手部姿势的垃圾分类数据集。

2.带中心区域注意力DETR目标检测网络实现对垃圾进行检测和分类识别。

在现有的DETR目标检测网络中进行优化，引入中心区域注意力机制，并调整优化原DETR参数设置。考虑到大部分采集到的垃圾处于采集图像的较中心区域。将图像按照距离中心的远近切分成13块有重叠的均匀子块(最外围区域8块，中间区域4块，中心区域1块)，然后分别针对3种不同区域的子块，采用不同数目的卷积核进行特征提取，其中，中心区域的卷积核数大于中间区域大于外围区域。将图片的特征集合进行位置编码，获得加强后的有效特征层，然后对有效特征层进行解码获得预测结果。考虑到车载旅人当次丢垃圾的种类有限，调整预检测框的数目小于10，从而加速网络计算速度。

3.基于增量学习的算法更新。

目的：因为垃圾种类繁多，可能会出现未知的小分类垃圾情况，算法需要终生学习，来提供识别精度。

方法：定期采用增量学习，对现有的垃圾检测分类网络进行算法更新。

方法的具体步骤为：

1)采用one-hot对每个小类进行编码，大分类则根据小分类的编码归属可以直接对应分类。从n个小类别中随机选取经典样本组合共计N个为旧样本数据集X。将云数据平台收集到的低置信度垃圾图像，重新人工进行核实并进行分类标定，得到有m种新垃圾小类共计M个的新样本数据集Y；将新样本数据Y和旧样本数据X各自按照9:1划分为训练集Y

2)网络训练第一阶段利用训练集Y

将

其中，T是温度尺度超参数，用于调整分类分布情况；

用分类函数L

其中，α

将蒸馏损失L

3)网络训练阶段二，为了修正DETR目标检测网络的分类偏好，在网络后引入线性回归层作为偏差修正层。此时，冻结中心区域注意力DETR目标检测网络，只训练偏差修正层。采用分类损失，用验证集Y

4)将完成二个阶段训练的垃圾检测网络推送至AI嵌入式设备211。随着增量学习的不断学习，新样本数据趋于稳定，旧样本数据不断增加，模型越来越趋于稳定。整个网络更新流程如图7所示。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。