一种用于家居服务的垃圾分拣方法和垃圾分拣装置

技术领域

本发明涉及垃圾识别技术领域，特别是指一种用于家居服务的垃圾分拣方法和垃圾分拣装置。

背景技术

随着城市垃圾日益增加，国家开始大力倡导垃圾分类。垃圾分类，一般是指按一定规定或标准将垃圾分类储存、分类投放和分类搬运，从而转变成公共资源的一系列活动的总称。分类的目的是提高垃圾的资源价值和经济价值，力争物尽其用，减少垃圾处理量和处理设备，降低处理成本，减少土地资源的消耗，具有社会、经济、生态等几方面的效益。

目前国内垃圾分类主要还是依靠人工分拣完成，人工分拣的垃圾处理方式虽然门槛较低，但需要大量人力资源，耗费较高的人力成本。此外，垃圾分拣工人劳动强度大，效率低下，工人身心健康也会受到恶劣的分拣环境影响。而且目前国内外学者提出的方案大多是末端识别分拣回收方法的创新，在家居环境下前端垃圾分类主要依赖人们的自觉性，存在效率很低以及人们普遍分类知识不足等问题。随着人工智能和机器人技术的迅猛发展，适用于家庭环境下的服务型机器人已经成为现实，但对智能垃圾分拣机器人研究较少，市场上暂未出现该类产品，市场应用开发价值大。使用服务机器人在家居环境下进行更智能化和自动化垃圾分拣作业不但可以解放人力，而且可以极大提高垃圾分拣效率，随着机器视觉及深度学习技术的快速发展，机器人可以通过深度学习算法完成垃圾目标的识别与定位，进而可以执行抓取作业。

但是，目前用于家居服务机器人进行垃圾分类时，是默认识别的物品都是垃圾的前提之下进行的识别分类，而无法将垃圾和非垃圾物品进行识别、分拣。

发明内容

本发明要解决的技术问题是提供一种用于家居服务的垃圾分拣方法和垃圾分拣装置，从而解决将垃圾和非垃圾物品进行识别、分拣的问题。

为解决上述技术问题，本发明的技术方案如下：

根据本发明的一个方面，提供一种用于家居服务的垃圾分拣方法，包括：

采集物品图片基础数据和文本类垃圾数据、结构化垃圾数据；

根据物品图片基础数据和预设比例，得到训练数据和测试数据；

根据训练数据和YOLOv4-Tiny目标检测模型，得到模型权重文件；

根据模型权重文件和测试数据，得到图片视频类垃圾判断模型；

根据图片视频类垃圾判断模型、文本类垃圾数据和结构化垃圾数据，得到垃圾分拣知识图谱；

根据图片视频类垃圾判断模型和垃圾分拣知识图谱进行垃圾分拣。

进一步地，根据物品图片基础数据和预设比例，得到训练数据和测试数据的步骤之前，还包括以下步骤：

将物品图片基础数据进行数据筛选、数据增强和数据标注，得到优化的物品图片基础数据。

进一步地，根据训练数据和YOLOv4-Tiny目标检测模型，得到模型权重文件，具体包括以下步骤：

将训练数据输入YOLOv4-Tiny目标检测模型进行训练，直至达到预设迭代次数或者损失函数达到最小趋于平衡时，停止训练，得到模型权重文件。

进一步地，将训练数据输入YOLOv4-Tiny目标检测模型进行训练，直至损失函数达到最小趋于平衡时，停止训练，得到模型权重文件的步骤中，损失函数通过以下公式得到：

Loss＝L

其中，L

进一步地，根据图片视频类垃圾判断模型和垃圾分拣知识图谱进行垃圾分拣，具体包括以下步骤：

使用图片视频类垃圾判断模型对待识别物品进行识别检测，得到待识别物品的类别名称和位置；

使用垃圾分拣知识图谱对该类别名称和位置进行判断，得到待识别物品是否为垃圾及其分类。

本发明的另一个方面，提供一种用于家居服务的垃圾分拣装置，包括：

采集模块，用于采集物品图片基础数据和文本类垃圾数据、结构化垃圾数据；

划分模块，用于根据物品图片基础数据和预设比例，得到训练数据和测试数据；

训练模块，用于根据训练数据和YOLOv4-Tiny目标检测模型，得到模型权重文件；

测试模块，用于根据模型权重文件和测试数据，得到图片视频类垃圾判断模型；

融合模块，用于根据图片视频类垃圾判断模型、文本类垃圾数据和结构化垃圾数据，得到垃圾分拣知识图谱；

分拣模块，用于根据图片视频类垃圾判断模型和垃圾分拣知识图谱进行垃圾分拣。

进一步地，所述装置还包括：

优化模块，用于将物品图片基础数据进行数据筛选、数据增强和数据标注，得到优化的物品图片基础数据，发送至划分模块。

进一步地，训练模块具体用于：

将训练数据输入YOLOv4-Tiny目标检测模型进行训练，直至达到预设迭代次数或者损失函数达到最小趋于平衡时，停止训练，得到模型权重文件。

进一步地，损失函数通过以下公式得到：

Loss＝L

其中，L

进一步地，分拣模块具体用于：

使用图片视频类垃圾判断模型对待识别物品进行识别检测，得到待识别物品的类别名称和位置；

使用垃圾分拣知识图谱对该类别名称和位置进行判断，得到待识别物品是否为垃圾及其分类。

本发明的上述方案至少包括以下有益效果：

本发明的上述方案，通过采集的物品图片基础数据和文本类垃圾数据、结构化垃圾数据，得到图片视频类垃圾判断模型和垃圾分拣知识图谱，并根据图片视频类垃圾判断模型和垃圾分拣知识图谱实现了对垃圾和非垃圾物品的分拣，具有节约人工成本和分拣准确性高的优点。

附图说明

图1是本发明的一种用于家居服务的垃圾分拣方法的步骤图；

图2是本发明的一种用于家居服务的垃圾分拣装置的器件连接图；

图3是YOLOv4-Tiny目标检测模型的整体网络结构图；

图4是垃圾分拣知识图谱构建流程图；

图5是应用了本发明中垃圾分拣装置的机器人的工作流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

如图1所示，本发明的实施例提出一种用于家居服务的垃圾分拣方法，包括：

S100、采集物品图片基础数据和文本类垃圾数据、结构化垃圾数据；

S200、根据物品图片基础数据和预设比例，得到训练数据和测试数据；

S300、根据训练数据和YOLOv4-Tiny目标检测模型，得到模型权重文件；

S400、根据模型权重文件和测试数据，得到图片视频类垃圾判断模型；

S500、根据图片视频类垃圾判断模型、文本类垃圾数据和结构化垃圾数据，得到垃圾分拣知识图谱；

S600、根据图片视频类垃圾判断模型和垃圾分拣知识图谱进行垃圾分拣。

本发明的上述方案，通过采集的物品图片基础数据和文本类垃圾数据、结构化垃圾数据，得到图片视频类垃圾判断模型和垃圾分拣知识图谱，并根据图片视频类垃圾判断模型和垃圾分拣知识图谱实现了对垃圾和非垃圾物品的分拣，具有节约人工成本和分拣准确性高的优点。

本发明的一可选实施例中，步骤S100采集物品图片基础数据和文本类垃圾数据、结构化垃圾数据中，物品图片基础数据可以使用开源数据集COCO(Common Objects inContext,是一个可以用来进行图像识别的数据集)，也可以从互联网爬虫得到，亦或者从室内环境拍摄组成。文本类垃圾数据就是与物品图片基础数据中图片所对应的文本，比如一句描述物品属性、位置、大小等的文本。结构化数据是指以维基百科为代表的百科类网站上的结构化数据比如物品关系数据库。

本发明的一可选实施例中，步骤S200根据物品图片基础数据和预设比例，得到训练数据和测试数据的步骤，具体包括：

将物品图片基础数据通过脚本以8:2的比例划分为训练数据和测试数据。预设比例在本实施例中为8:2，根据实际情况和具体需求，也可以进行更改。

本发明的一可选实施例中，步骤S200根据物品图片基础数据和预设比例，得到训练数据和测试数据的步骤之前，还包括以下步骤：

将物品图片基础数据进行数据筛选、数据增强和数据标注，得到优化的物品图片基础数据。

其中，数据筛选是为了确保数据集质量完好，这样训练出的模型权重文件的泛化能力也更好；数据筛选的原则是避免单一性、重复性和无效性等问题，保证数据集的质量；筛选方式可以是人为设定规则进行筛选。数据增强的目的是为了扩充数据集，可以采用平移、缩放、旋转、饱和度、色调等方式。数据标注的目的是将经过筛选、增强处理的数据集以Pascal VOC数据集格式构建，可以采用Label Img工具对图像进行分类标注，生成的XML文件包含标定图像中对象的类别和位置。

本发明的一可选实施例中，步骤S300根据训练数据和YOLOv4-Tiny目标检测模型，得到模型权重文件，具体包括以下步骤：

将训练数据输入YOLOv4-Tiny目标检测模型进行训练，直至达到预设迭代次数或者损失函数达到最小趋于平衡时，停止训练，得到模型权重文件。

YOLOv4-Tiny是YOLOv4的轻量级算法，更适合在移动端、嵌入式设备上部署，增强了本方法的适用性，利于推广和使用。损失函数是用来衡量模型好坏的标准。通过预测结果与实际结果的差值来得到模型的损失函数，进一步确定模型的评价准则，准确率、召回率及模型训练时间等等，有利于提高本方法垃圾分拣的准确率。

本发明的一可选实施例中，将训练数据输入YOLOv4-Tiny目标检测模型进行训练，直至损失函数达到最小趋于平衡时，停止训练，得到模型权重文件的步骤中，损失函数通过以下公式得到：

Loss＝L

其中，Loss为损失函数，L

本发明的一可选实施例中，步骤S600根据图片视频类垃圾判断模型和垃圾分拣知识图谱进行垃圾分拣，具体包括以下步骤：

使用图片视频类垃圾判断模型对待识别物品进行识别检测，得到待识别物品的类别名称和位置；

使用垃圾分拣知识图谱对该类别名称和位置进行判断，得到待识别物品是否为垃圾及其分类。

步骤S600能够实现将垃圾从所有物品中识别出来，并能够识别出垃圾的类别(如可回收垃圾、有害垃圾等)，便于后续投放进相应的垃圾桶。

如图2所示，本发明的实施例提出一种用于家居服务的垃圾分拣装置，包括：

采集模块，用于采集物品图片基础数据和文本类垃圾数据、结构化垃圾数据；

划分模块，用于根据物品图片基础数据和预设比例，得到训练数据和测试数据；

训练模块，用于根据训练数据和YOLOv4-Tiny目标检测模型，得到模型权重文件；

测试模块，用于根据模型权重文件和测试数据，得到图片视频类垃圾判断模型；

融合模块，用于根据图片视频类垃圾判断模型、文本类垃圾数据和结构化垃圾数据，得到垃圾分拣知识图谱；

分拣模块，用于根据图片视频类垃圾判断模型和垃圾分拣知识图谱进行垃圾分拣。

本发明的上述方案，通过采集的物品图片基础数据和文本类垃圾数据、结构化垃圾数据，得到图片视频类垃圾判断模型和垃圾分拣知识图谱，并根据图片视频类垃圾判断模型和垃圾分拣知识图谱实现了对垃圾和非垃圾物品的分拣，具有节约人工成本和分拣准确性高的优点。

本发明的一可选实施例中，采集模块采集物品图片基础数据和文本类垃圾数据、结构化垃圾数据中，物品图片基础数据可以使用开源数据集COCO(Common Objects inContext,是一个可以用来进行图像识别的数据集)，也可以从互联网爬虫得到，亦或者从室内环境拍摄组成。文本类垃圾数据就是与物品图片基础数据中图片所对应的文本，比如一句描述物品属性、位置、大小等的文本。结构化数据是指以维基百科为代表的百科类网站上的结构化数据比如物品关系数据库。

本发明的一可选实施例中，所述装置还包括：

优化模块，用于将物品图片基础数据进行数据筛选、数据增强和数据标注，得到优化的物品图片基础数据，发送至划分模块。

其中，数据筛选是为了确保数据集质量完好，这样训练出的模型权重文件的泛化能力也更好；数据筛选的原则是避免单一性、重复性和无效性等问题，保证数据集的质量；筛选方式可以是人为设定规则进行筛选。数据增强的目的是为了扩充数据集，可以采用平移、缩放、旋转、饱和度、色调等方式。数据标注的目的是将经过筛选、增强处理的数据集以Pascal VOC数据集格式构建，可以采用Label Img工具对图像进行分类标注，生成的XML文件包含标定图像中对象的类别和位置。

本发明的一可选实施例中，训练模块具体用于：

将训练数据输入YOLOv4-Tiny目标检测模型进行训练，直至达到预设迭代次数或者损失函数达到最小趋于平衡时，停止训练，得到模型权重文件。YOLOv4-Tiny是YOLOv4的轻量级算法，更适合在移动端、嵌入式设备上部署，增强了本方法的适用性，利于推广和使用。损失函数是用来衡量模型好坏的标准。通过预测结果与实际结果的差值来得到模型的损失函数，进一步确定模型的评价准则，准确率、召回率及模型训练时间等等，有利于提高本方法垃圾分拣的准确率。

本发明的一可选实施例中，损失函数通过以下公式得到：

Loss＝L

其中，Loss为损失函数，L

本发明的一可选实施例中，分拣模块具体用于：

使用图片视频类垃圾判断模型对待识别物品进行识别检测，得到待识别物品的类别名称和位置；

使用垃圾分拣知识图谱对该类别名称和位置进行判断，得到待识别物品是否为垃圾及其分类。

分拣模块能够实现将垃圾从所有物品中识别出来，并能够识别出垃圾的类别(如可回收垃圾、有害垃圾等)，便于后续投放进相应的垃圾桶。

需要说明的是，该装置是与上述图1所述的方法对应的装置，所示方法中的所有实现方式均适用于该装置的实施例中，也能达到同样的技术效果。

本发明的实施例还提出一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行如图1所述的垃圾分拣方法。上述图1所示的垃圾分拣方法的所有实施例均适用于该存储介质的实施例中，也能达到相同的技术效果。

本发明实施例的一种垃圾分拣方法的一个工作流程是：

以COCO数据集为基础，编写脚本从中筛选出室内场景下较为常见的物品以及从互联网和环境中收集拍摄一些典型数据图片。将采集的数据分数据筛选、数据增强、数据标注三步进行处理、优化。将优化后的数据集通过脚本以8:2的比例划分为训练数据集和测试数据集，训练数据集输入到YOLOv4-Tiny目标检测模型中进行训练，通过设定一定的迭代次数，或者损失函数达到最小趋于平衡时，模型训练停止，最终生成一个模型权重文件去对测试集进行预测。利用YOLOv4-Tiny目标检测模型生成一个模型权重文件去对测试集进行预测的具体过程为：使用CSPdarknet53_tiny作为主干特征提取网络通过多次卷积、池化、激活函数获得26*26*256和13*13*256两个类型的有效特征层，然后使用了特征金字塔(FPN)的结构，对获得的两个有效特征层进行特征融合，得到富含更多特征的大尺寸预测特征层，融合就是将13*13*512的特征层的高和宽上采样为26*26，便于和26*26的特征层进行堆叠卷积。最后YOLOhead利用获得的两个预测特征层进行多尺寸预测。YOLOv4-Tiny整体网络结构如图3所示。

本实施例中，图像类垃圾数据具体指就是从室内环境和互联网中采集的物品图像数据，比如一个形变的塑料瓶照片，而视频类数据就是连续的图像帧，图像类垃圾数据可以采用图片视频类垃圾判断模型获得。文本类垃圾数据就是与图像数据所对应的文本，描述室内物品属性，实体名称的一些文本类数据，比如一句描述物品属性、位置、大小等的文本；采用开源工具包CoreNLP(CoreNLP是斯坦福大学为自然语言处理开发开源工具包，通过使用CoreNLP中的NER解析模块，分析语句的词法特征，可以实现对文本类数据的实体及关系的自动抽取)，通过使用CoreNLP中的NER解析模块，分析语句的词法特征，可以实现对文本类数据的实体及关系的自动抽取处理获得；结构化数据是指以维基百科为代表的百科类网站上的结构化数据比如物品关系数据库；采用D2R处理(D2R是一个能够将关系数据库中的内容转换成RDF三元组的工具，该工具可以让RDF浏览器和HTML浏览器访问数据库，并使用SPARQL查询语句查询数据库)获得。分别从室内环境及互联网中获取到的非结构化和结构化数据提取实体、属性及关系，并生成了三元组集合，由于集合中的三元组还存在一词多义和多词同义，因此，分别通过物品的文本信息，结构化知识的描述信息计算其词向量，并根据词向量的余弦相似度来确定实体语义相似程度，实现实体语义的对齐和消歧，得到垃圾分拣知识图谱。知识图谱三元组公式表示:G＝(E,P,R)，其中G表示本体，E＝{e

图片视频类垃圾判断模型可以获取环境中物品的类别及位置信息，垃圾分拣知识图谱对图片视频类垃圾判断模型做辅助决策，通过利用图片视频类垃圾判断模型获得实体名称，在垃圾分拣知识图谱中进行搜索查询，通过返回的信息去进一步做判断是否为垃圾，如果是，返回该物品属于哪一类别垃圾，应该投到相应类别的垃圾桶内；如果不是，遍历环境中其它物品。

本实施例的垃圾分拣方法和装置的优点是:一是创造性地利用垃圾分拣知识图谱对输入的多模态环境信息和互联网信息进行统一表征和存储，用节点和关系的三元组直观有效地表示场景中物品和物品间的关系，为真实室内场景直接建模，以结构化的形式存储物品信息；二是利用YOLOv4-Tiny目标检测算法对室内环境中物品进行实时检测，将视觉检测方法和垃圾分拣知识图谱相结合，达到对场景中物体视觉理解进而完成垃圾分类任务的目标，使得模型具备与人类似的联想能力，成为提高模型智能化、实现垃圾分类任务的关键。

应用了本实施例的垃圾分拣装置的机器人的工作流程如图5所示：

先开启上位机，再启动机器人的总电源开关，对系统进行上电工作完成初始化，通过激光雷达建图导航单元自动建立区域的2D平面图像；通过建图导航单元的指示导航到具有物体的区域，通过摄像头采集实时图像；分拣模块中的识别单元通过图片视频类垃圾判断模型识别该区域的物体，进而得到物体类别和位置，同时根据识别物体的位置相应调整机器人的相对位置；分拣模块中的判断单元通过垃圾分拣知识图谱去判断识别单元识别的物体是否为垃圾；如果是垃圾，根据通过垃圾分拣知识图谱获取垃圾类型及相关联的垃圾桶信息，控制单元就会控制机械手对垃圾进行抓取，然后放到相应垃圾桶；如果不是垃圾，则重新导航，遍历其它区域，直到环境区域内垃圾全部清扫完毕。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。