垃圾检测方法、装置、设备及计算机存储介质

技术领域

本申请涉及但不限于智能监控领域，尤其涉及一种垃圾检测方法、装置、设备及计算机存储介质。

背景技术

大规模的可以支撑城市级别视频流解析的垃圾检测在智慧城市管理中有非常重要的作用，可以支持城市管理者高效检测识别城市中的未处理垃圾，使得城市垃圾可以快速被响应清除，在美化市容市貌，排除卫生和安全隐患，提高市民生活水平上有着重要的作用。因此，城市级垃圾检测是一类重要问题。现有技术主要通过大量人力来对未标注数据进行标注，耗费人力以及计算资源。利用单帧图像无法有效排除与垃圾形态类似易混淆的日常物品。

发明内容

本申请提供一种垃圾检测方法、装置、设备及计算机存储介质。

第一方面，提供一种垃圾检测方法，所述方法包括：

获取第一待检测图像；在确定所述第一待检测图像中存在目标对象的情况下，获取第二待检测图像，其中，所述第一待检测图像的采集区域与所述第二待检测图像的采集区域之间的重叠比例大于预设阈值，且所述第一待检测图像与所述第二待检测图像的采集时间相距预设的时间间隔；在确定所述第二待检测图像中存在所述目标对象的情况下，确定所述目标对象为垃圾。

在一些实施方式中，所述方法还包括：分析所述第一待检测图像中的场景信息；根据所述第一待检测图像中的场景信息，确定所述目标对象。

这样，根据第一待检测图像中的场景信息来确定目标对象，可以有效提升确定目标对象的效率和准确率。

在一些实施例中，所述方法还包括：根据所述第一待检测图像的属性参数和/或所述目标对象的属性参数，确定所述时间间隔；其中，所述第一待检测图像的属性参数至少包括以下之一：所述第一待检测图像的场景信息、所述第一待检测图像的采集时间所属的时段或季节。

这样，根据第一待检测图像的属性参数和/或目标对象的属性参数，确定的时间间隔能够进一步提升垃圾检测效率，以使得疑似垃圾尽快得到确认。

在一些实施例中，所述方法还包括：利用目标垃圾检测模型对从所述在线视频流中提取的第一待检测图像进行检测，得到第一检测结果；所述在确定所述第一待检测图像中存在目标对象的情况下，获取第二待检测图像，包括：在根据所述第一检测结果确定所述第一待检测图像中存在所述目标对象的情况下，从存储的视频库中获取第二待检测图像；对应地，所述方法还包括：利用目标垃圾检测模型对从所述第二待检测图像进行检测，得到第二检测结果；所述在确定所述第二待检测图像中存在所述目标对象的情况下，确定所述目标对象为垃圾，包括：在根据所述第二检测结果确定所述第二待检测图像中存在所述目标对象的情况下，确定所述目标对象为垃圾。

这样，利用数据挖掘方法针对真实场景中的在线监控视频流和存储的视频库数据进行挖掘，快速确定目标垃圾检测模型难以检测识别的困难样本，解决传统方法无法全面收集数据的问题。

在一些实施例中，所述利用目标垃圾检测模型对从所述在线视频流中提取的第一待检测图像进行检测，得到第一检测结果，包括：利用所述目标垃圾检测模型分析所述第一待检测图像中对象的属性信息；根据所述第一待检测图像中对象的属性信息确定对应对象属于所述目标对象还是属于垃圾，得到第一检测结果；所述利用目标垃圾检测模型对从所述第二待检测图像进行检测，得到第二检测结果，包括：利用所述目标垃圾检测模型分析所述第二待检测图像中对象的属性信息；根据所述第二待检测图像中对象的属性信息，确定对应对象属于所述目标对象还是属于垃圾，得到第二检测结果。所述对象的属性信息包括以下至少之一：所述对象的形态、材质、大小、所处的位置。

这样，因为垃圾具有一些特定形态、材质、大小和所处的位置，所以可以根据对象的属性信息直接确定目标对象是否为垃圾。这样，极大提升了确定垃圾的效率和准确性。

在一些实施例中，在所述第一检测结果为所述对象属于垃圾的情况下，所述方法还包括：根据所述对象的属性信息确定所述垃圾所属的垃圾类别和所述垃圾所处的位置；根据所述垃圾类别和所述垃圾所处的位置，确定垃圾告警对应的内容；将所述垃圾告警对应的内容发送给垃圾监控平台。

这样，当确定有垃圾时，可以及时将垃圾信息(垃圾类别、所处位置)发送给垃圾监控平台，以实现及时根据垃圾类别和所处位置对垃圾进行合理的处理。

在一些实施例中，所述利用目标垃圾检测模型对从所述在线视频流中提取的第一待检测图像进行检测，得到第一检测结果，还包括：对所述第一待检测图像进行检测，确定所述第一待检测图像对应的目标对象和目标框；根据所述第一待检测图像对应的目标对象和所述目标框，确定第一交并比；对应地，在根据所述第二检测结果确定所述第二待检测图像中存在所述目标对象的情况下，确定所述目标对象为垃圾，包括：在确定所述第二待检测图像对应的目标对象的情况下，根据所述目标框和所述第二待检测图像对应的目标对象确定第二交并比；在所述第一交并比与所述第二交并比同时大于预设交并比阈值的情况下，确定所述目标对象为垃圾。

这样，采用评估不同时间帧上目标框的交并比是否连续超过某一个阈值的方法，来确定是否检测出来的垃圾在画面中一段时间内长时出现。可以有效排除形态与垃圾相似，但是不属于垃圾种类的日常物品，提升本申请实施例在真实场景中的性能。

在一些实施例中，所述目标垃圾检测模型是采用下面的步骤得到的，包括：获取至少一张目标图像；所述目标图像是将从监控视频流中截取的待检测图像输入至初始垃圾检测模型，根据所述初始垃圾检测模型输出的检测结果确定的；所述初始垃圾检测模型是采用第一数据集进行训练的；其中，所述第一数据集为至少部分样本图像具有标注信息的数据集；获取对所述至少一张目标图像的人工标注结果，将标注后的所述至少一张目标图像作为训练样本合并到所述第一数据集，得到第二数据集；利用所述第二数据集对所述初始垃圾检测模型进行训练，得到所述目标垃圾检测模型。

这样，由于采用初始垃圾检测模型从包括大量待检测图像的待检测图像集中，确定出对初始垃圾检测模型的训练具有高价值的至少一张目标图像，从而将标注后的至少一张目标图像合并到第一数据集，得到第二数据集，并采用第二数据集对初始垃圾检测模型进行训练，进而不仅使得训练后，得到的目标垃圾检测模型在检测目标时的检测结果更加准确，还能够通过有限的标注后的至少一张目标图像来有效提升目标垃圾检测模型性能，有效降低深度学习时的计算成本。

在一些实施例中，所述获取至少一张目标图像，包括：将所述待检测图像输入所述初始垃圾检测模型，得到每一帧所述待检测图像的后验概率；在确定所述后验概率大于第一概率阈值且小于第二概率阈值的情况下，将与所述后验概率对应的待检测图像确定为所述目标图像，其中，所述第一概率阈值小于所述第二概率阈值。

这样，利用第一概率阈值和第二概率阈值可以从待检测图像中筛选出困难样例。将困难样例确定为目标图像，可以使得利用困难样例训练得到的目标垃圾检测模型，有效提升对困难样例的检测准确性。

第二方面，提供一种垃圾检测装置，包括：第一获取模块，用于获取第一待检测图像；第二获取模块，用于在确定所述第一待检测图像中存在目标对象的情况下，获取第二待检测图像，其中，所述第一待检测图像的采集区域与所述第二待检测图像的采集区域之间的重叠比例大于预设阈值，且所述第一待检测图像与所述第二待检测图像的采集时间相距预设的时间间隔；第一确定模块，用于在确定所述第二待检测图像中存在所述目标对象的情况下，确定所述目标对象为垃圾。

第三方面，提供一种计算机设备，包括：存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法中的步骤。

第四方面，提供一种计算机存储介质，所述计算机存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述方法中的步骤。

在本申请实施例中，首选获取第一待检测图像，然后在确定第一待检测图像中存在目标对象的情况下，获取第二待检测图像，最后在确定第二待检测图像中存在目标对象的情况下，确定目标对象为垃圾。这样，利用多帧逻辑，可以有效排除形态与垃圾相似，但是不属于垃圾种类的日常物品，同时确定长时间位置未发生较大改变的物体为垃圾。

附图说明

图1为本申请实施例提供的一种垃圾检测方法的流程示意图；

图2A为本申请实施例提供的另一种垃圾检测方法的流程示意图；

图2B为本申请实施例提供的一张待检测图像的示意图；

图2C为本申请实施例提供的另一张待检测图像的示意图；

图3为本申请实施例提供的又一种垃圾检测方法的流程示意图；

图4A为本申请实施例提供的一种目标检测模型的架构示意图；

图4B为本申请实施例提供的一种垃圾检测方法的流程示意图；

图4C为本申请实施例提供的一种垃圾检测方法的流程示意图；

图5为本申请实施例提供的一种垃圾检测装置的组成结构示意图；

图6为本申请实施例提供的一种计算机设备硬件实体示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

应当理解，此处所描述的一些实施例仅仅用以解释本申请的技术方案，并不用于限定本申请的技术范围。

本实施例提出一种垃圾检测方法，应用于计算机设备，该方法所实现的功能可以通过计算机设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该计算机设备至少包括处理器和存储介质。

图1为本申请实施例提供的一种垃圾检测方法的实现流程示意图，如图1所示，该方法包括：

S101、获取第一待检测图像；

第一待检测图像可以是从在线视频流中获取的。在一些实施例中，可以按照设定时长从在线监控视频流中截取第一待检测图像。设定时长可以是一个固定的时长，或者，设定时长可以根据用户需求进行改变。例如，设定时长可以是1秒钟至30分钟的任一时长，例如，设定时长可以为1秒、5秒、1分钟、10分钟或30分钟等。在另一些实施例中，可以根据实际情况(例如，第一监控视频流的属性信息)确定截取时间间隔，并根据该截取时间间隔从在线监控视频流中截取第一待检测图像。

在一些实施例中，可以根据在线监控视频流的属性参数，确定截取时间间隔。在线监控视频流的属性参数可以是环境参数、位置，还可以是在线监控视频流获取图像的所属时段。例如，可以将获取在线视频流的摄像装置所在的环境参数和位置信息作为属性参数，环境参数可以是商城、幼儿园或地铁站，位置可以以经纬度描述，所属时段为获取图像的时段。在实施的过程中，一种情况是获取的在线视频流为上下班高峰期的地铁站(属于人流高峰期)，则截取时间间隔可以设置一个较小的时长，例如5分钟；另一种情况是获取的在线视频流为已经放学后的幼儿园(属于低峰期)，则截取时间间隔可以设置一个较长的时长，例如30分钟。

S102、在确定所述第一待检测图像中存在目标对象的情况下，获取第二待检测图像，其中，所述第一待检测图像的采集区域与所述第二待检测图像的采集区域之间的重叠比例大于预设阈值，且所述第一待检测图像与所述第二待检测图像的采集时间相距预设的时间间隔；

在一些实施例中，在一些特定的场景和时间段，目标对象才可以被确定为垃圾。例如，家门口放置的一个长时间不动的塑料盆、球场上的矿泉水瓶，食堂餐桌上长时间没有发生改变的实物。所以可以使用目标垃圾检测模型或者目标检测模块确定第一待检测图像中存在目标对象，这里，确定的目标对象是疑似垃圾，即，可能是长时间没有挪动的物体。

在确定第一待检测图像中存在疑似垃圾的情况下，需要再获取第二待检测图像。由于第一待检测图像与第二待检测图像需要采集到同一个目标对象，所以需要对第一待检测图像的采集区域与第二待检测图像的采集区域做限定，例如，第一待检测图像与第二待检测图像可以来自同一摄像设备采集的同一区域的图像，也可以是不同摄像设备，但第一待检测图像与第二待检测图像的采集区域之间的重叠比例大于预设阈值，即，重叠采集的区域足够覆盖到目标对象。

在一些实施例中，预设的时间间隔是可以根据实际应用场景进行设置的。例如，食堂里的食物如果30分钟还没有动，说明可能用户已经用餐结束了，需要作为垃圾进行清理；家门口的塑料盆如果几天例如2天没有动，说明可能是用户不要的塑料盆。在不同的场景下，第一待检测图像与第二待检测图像的采集时间是可以设置的，以满足不同场景下确定目标对象是否为垃圾的需求。

S103、在确定所述第二待检测图像中存在所述目标对象的情况下，确定所述目标对象为垃圾。

垃圾的定义是模糊的，取决于与周边环境的关系(例如放在路边的塑料小盆可能是被遗弃的垃圾，也可能是暂时放置的他人物品)，而这种与环境的关系往往随着地点改变而大幅变化。这种定义模糊的另一种体现方式为一个物品在一段时间内的位置与形态变化，而垃圾往往不会(例如一个拿在手中的塑料袋会随着时间推移而改变位置与形状，放置在地上的废弃塑料袋往往会在一段时间中位置固定)，这种体现方式导致识别某些垃圾往往需要关注一段时间的视频变化。

如果第一待检测图像与第二待检测图像都存在相同的目标对象，则确定为垃圾。这里，目标对象可以不在第一待检测图像与第二待检测图像同一位置，但是目标对象在一段时间内，即在第一待检测图像与第二待检测图像的画面中都出现，也可以确定为垃圾。例如，一个塑料瓶被移动了一段距离，但还是长时间出现在画面中，可以确定为垃圾。

在本申请实施例中，首选获取第一待检测图像，然后在确定第一待检测图像中存在目标对象的情况下，获取第二待检测图像，最后在确定第二待检测图像中存在目标对象的情况下，确定目标对象为垃圾。这样，利用多帧逻辑，可以有效排除形态与垃圾相似，但是不属于垃圾种类的日常物品，同时确定长时间位置未发生较大改变的物体为垃圾。

图2A为本申请实施例提供的另一种垃圾检测方法的流程示意图，如图2A所示，该方法包括：

S201、获取第一待检测图像；

S202、分析所述第一待检测图像中的场景信息；

这里的场景信息可以包括场景属性，场景信息还包括场景时间信息等至少之一。例如：场景属性可以是游乐园、车站、学校、医院、商场、工业园区、写字楼、食堂、餐厅等；场景时间信息是指当前场景所对应的时间或季节等，如果场景属性是食堂，场景时间信息可以是就餐的高峰期和非高峰期；如果场景属性是商场、游乐园，场景时间信息可以是营业时间或非营业时间等；如果场景属性是学校，场景时间信息可以是假期或学期，还可以是上学时段或放学时段。

S203、根据所述第一待检测图像中的场景信息，确定目标对象；

这里，根据所述第一待检测图像中的场景属性，确定目标对象；也可以根据所述第一待检测图像中的场景属性和场景时间信息，确定目标对象。在实施过程中，可以根据场景属性设置目标对象的列表，通过识别出第一待检测图像中的场景信息，根据场景信息查询列表，得到目标对象。

场景信息可以包括场景属性和场景时间信息，例如场景信息为白天或晚上有人运动的操场，操场上可能有篮球、足球、羽毛球、乒乓球、衣服、饮料瓶、水杯、矿泉水瓶等物品，那么可以将所有的物品都作为目标对象，也可以将其中的一部分物品例如羽毛球、乒乓球、衣服、饮料瓶、矿泉水瓶作为目标对象，还可以确定打开未喝完的矿泉水瓶或饮料瓶为目标对象，而将饮料空瓶作为垃圾；如果是晚上没有人运动的操场，那么羽毛球、乒乓球、饮料瓶或矿泉水瓶(喝剩下的或空瓶或没打开的)都可以作为目标对象。

场景信息可以仅包括场景属性，例如场景信息是餐厅，那么纸巾、报纸、使用过的一次性碗筷都可以作为目标对象。再如场景信息为高峰期的车站的情况下，可以确定地面上的物体，例如报纸、包装袋为目标对象；场景信息为食堂用餐环境的情况下，可以确定餐桌上的食物为目标对象。

S204、在确定所述第一待检测图像中存在所述目标对象的情况下，获取第二待检测图像，其中，所述第一待检测图像的采集区域与所述第二待检测图像的采集区域之间的重叠比例大于预设阈值，且所述第一待检测图像与所述第二待检测图像的采集时间相距预设的时间间隔；

在一些实施例中，该方法还包括：可以根据所述第一待检测图像的属性参数和/或所述目标对象的属性参数，确定所述时间间隔；其中，所述第一待检测图像的属性参数至少包括以下之一：所述第一待检测图像的场景信息、所述第一待检测图像的采集时间所属的时段或季节。

在实施过程中，夜晚的操场的场景下对应的时间间隔可以设置的比白天的操场的场景下对应的时间间隔更长；在放寒暑假的校园场景下对应的时间间隔可以设置的比正在上课的校园对应的时间间隔更长；非用餐时间的食堂场景下对应的时间间隔可以设置的比用餐高峰期的食堂对应的时间间隔更长。

目标对象的属性参数可以是目标对象出现的时间或目标对象出现的位置。在实施过程中，在食堂场景下，食物碗筷等位于餐桌上的场景下，时间间隔可以设置的比位于地上对应的时间间隔更长。

S205、在确定所述第二待检测图像中存在所述目标对象的情况下，确定所述目标对象为垃圾。

在一些实施例中，例如场景信息为白天有人运动的操场，操场上可能有篮球、足球、羽毛球、乒乓球、衣服、饮料瓶、水杯、矿泉水瓶等物品，将矿泉水瓶或饮料瓶为目标对象。在确定第一待检测图像(如图2B)中存在矿泉水瓶21、矿泉水瓶22和矿泉水瓶23的情况下，如果确定第二待检测图像(如图2C)中存在矿泉水瓶21和矿泉水瓶22与图2B中矿泉水瓶21和矿泉水瓶22放置的位置近似的2个矿泉水瓶，则可以确定分别在图2B和图2C中放置位置近似的矿泉水瓶21和矿泉水瓶22为垃圾。同样，可以确定图2B中新增的矿泉水瓶23可能是有人新放置在操场上的。

本申请实施例中，根据第一待检测图像中的场景信息确定目标对象，可以实现对应不同的场景信息设置确定最疑似的垃圾，提升垃圾检测效率；根据第一待检测图像的属性参数和/或所述目标对象的属性参数，确定时间间隔，这样，确定的时间间隔能够进一步提升垃圾检测效率，以使得疑似垃圾尽快得到确认。

本申请实施例提供的一种垃圾检测方法，该方法包括：

S211、获取第一待检测图像；

所述第一待检测图像是从在线视频流中获取的。在一些实施例中，可以利用摄像装置获取在线视频流，摄像装置安装在需要确定疑似垃圾的场所。

在一些实施例中，步骤S211包括：从在线视频流中提取或截取第一待检测图像。在另一实施例中，在步骤S211之前，该方法还包括：从在线视频流中截取待检测图像，将待检测图像存储至图像库或图像集合，对应地，步骤S211从图像库或图像集合中获取第一待检测图像。

S212、利用目标垃圾检测模型对所述第一待检测图像进行检测，得到第一检测结果；

在一些实施例中，目标垃圾检测模型可以是训练好的特定目标检测模型，用于检测在特定场景下的疑似垃圾。利用目标垃圾检测模型可以从在线视频流中经过判断，提取出可能包括有目标对象(疑似垃圾)的第一待检测图像，即，第一检测结果为第一待检测图像中包括目标对象或不包括目标对象。

在一些实施例中，步骤S212包括：利用目标垃圾检测模型对从所述在线视频流中提取的第一待检测图像进行检测，得到第一检测结果。

S213、在根据所述第一检测结果确定所述第一待检测图像中存在所述目标对象的情况下，从存储的视频库中获取第二待检测图像；

这里，所述第一待检测图像是从在线视频流中获取的，所述第二待检测图像的采集时间早于所述第一待检测图像的采集时间。

利用目标垃圾检测模型确定第一待检测图像中存在目标对象的情况下，需要从存储的视频库中获取第二检测对象。这里是因为在线视频流中检测到的是当前拍摄到的图像，如果当前图像中有疑似垃圾，那么就需要确定该疑似垃圾出现在同一拍摄位置中的时间。例如，在线视频流中检测到门口有一个塑料盆，那么就需要从存储的视频库中再获取第二待检测图像，以确定这个塑料盆放置在门口多长时间。

S214、利用所述目标垃圾检测模型对从所述第二待检测图像进行检测，得到第二检测结果；

S215、在根据所述第二检测结果确定所述第二待检测图像中存在所述目标对象的情况下，确定所述目标对象为垃圾。

这里，根据第二检测结果确定第二待检测图像中存在目标对象，目标对象在两个检测图像中可以是同一位置，也可以是满足距离要求的同一疑似对象，还可以不考虑位置限制，只要目标对象在两个检测图像中存在即可。在实施过程中，因为饮料瓶或易拉罐会存在被人踢了一小段距离，或者纸袋、包装袋被风吹发生了位置变化的场景，所以只需要确定第二待检测图像中也存在与第一待检测图像中存在的目标即可。

本申请实施例中，首先从在线视频流中获取第一待检测图像，在确定第一待检测图像中存在目标对象的情况下，再从存储的视频库中获取第二待检测图像，在确定第二待检测图像中也存在目标对象的情况下，确定目标对象为垃圾。这样，利用数据挖掘方法针对真实场景中的在线监控视频流和存储的视频库数据进行挖掘，快速确定目标垃圾检测模型难以检测识别的困难样本，解决传统方法无法全面收集数据的问题。

本申请实施例提供的一种垃圾检测方法，该方法包括：

S301、获取第一待检测图像；

所述第一待检测图像是从在线视频流中获取的。

S302、利用目标垃圾检测模型分析所述第一待检测图像中对象的属性信息；

S303、根据所述第一待检测图像中对象的属性信息确定对应对象属于目标对象还是属于垃圾，得到第一检测结果；

所述对象的属性信息包括以下至少之一：所述对象的形态、材质、大小、所处的位置。

在一些实施例中，可以根据第一待检测图像中对象的形态直接确定对应对象属于目标对象还是属于垃圾。例如，对象为塑料盆，如果塑料盆的形态显示塑料盆是一个已经变形的塑料盆，则可以确定对象为垃圾；对象为踩扁了的饮料瓶，可以确定对象为垃圾。在其他情况下，可将对象确定为目标对象。

在一些实施例中，可以根据第一待检测图像中对象的材质确定对应对象属于目标对象还是属于垃圾。例如：对象的材质为变质或脏了的食物，可以确定对象为垃圾。在其他情况下，可将对象确定为目标对象。

在一些实施例中，可以根据第一待检测图像中对象的大小确定对应对象属于目标对象还是属于垃圾。例如：对象为剩下一半的水果或者不完整的纸制品，都可以确定对象为垃圾。在其他情况下，可将对象确定为目标对象。

在一些实施例中，可以根据第一待检测图像中对象的所处的位置确定对应对象属于目标对象还是属于垃圾。例如：目标对象为食材，食材放置在食堂的地面，可以确定对象为垃圾。在其他情况下，可将对象确定为目标对象。

S304、在根据所述第一检测结果确定所述第一待检测图像中存在所述目标对象的情况下，从存储的视频库中获取第二待检测图像；

所述第一待检测图像是从在线视频流中获取的，所述第二待检测图像的采集时间早于所述第一待检测图像的采集时间。

S305、利用所述目标垃圾检测模型分析所述第二待检测图像中对象的属性信息；

S306、根据所述第二待检测图像中对象的属性信息，确定对应对象属于所述目标对象还是属于垃圾，得到第二检测结果；

这里，第二待检测图像中对象的属性信息可以是与第一待检测图像中的属性信息相同的，即，第二待检测图像中对象的属性信息可以是所述对象的形态、材质、大小、所处的位置。利用目标垃圾检测模型分析从存储的视频库中获取第二待检测图像，第二待检测图像中也有存在垃圾的可能，如步骤S303确定垃圾的方法，根据第二待检测图像中对象的属性信息，确定对应对象属于目标对象还是属于垃圾，得到第二检测结果。

S307、在根据所述第二检测结果确定所述第二待检测图像中存在所述目标对象的情况下，确定所述目标对象为垃圾。

在一些实施例中，第二检测结果表征述第二待检测图像中存在与第一待检测图像中相同的目标对象，即，在同一视角范围内，一段时间存在了相同的对象，可以确定该对象无人管理，即，为垃圾。

本申请实施例中，因为垃圾具有一些特定形态、材质、大小和所处的位置，所以可以根据对象的属性信息直接确定目标对象是否为垃圾。这样，极大提升了确定垃圾的效率和准确性。

本申请实施例提供的一种垃圾检测方法，该方法包括：

S311、获取第一待检测图像；

所述第一待检测图像是从在线视频流中获取的。

S312、利用目标垃圾检测模型分析所述第一待检测图像中对象的属性信息；根据所述第一待检测图像中对象的属性信息确定对应对象属于目标对象还是属于垃圾，得到第一检测结果；

所述对象的属性信息包括以下至少之一：所述对象的形态、材质、大小、所处的位置。

S313、在所述第一检测结果为所述对象属于垃圾的情况下，根据所述对象的属性信息确定所述垃圾所属的垃圾类别和所述垃圾所处的位置；

垃圾类别包括可回收物、其他垃圾、厨余垃圾和有害垃圾。其中，可回收物主要包括废纸、塑料、玻璃、金属和布料五大类；其他垃圾(干垃圾)包括除上述几类垃圾之外的砖瓦陶瓷、渣土、卫生间废纸、纸巾等难以回收的废弃物及尘土、食品袋(盒)；厨余垃圾(湿垃圾)包括剩菜剩饭、骨头、菜根菜叶、果皮等食品类废物；有害垃圾指含有对人体健康有害的重金属、有毒的物质或者对环境造成现实危害或者潜在危害的废弃物。

在一些实施例中，可以根据对象的形态确定对应对象属于的垃圾类别。例如：对象的形态为电池可以确定对象为有害垃圾。

在一些实施例中，可以根据对象的材质确定对应对象属于的垃圾类别。例如：对象的材质为变质的食物、剩菜剩饭、骨头、菜根菜叶或果皮，可以确定对象为厨余垃圾。

在一些实施例中，可以根据对象的大小和材质确定对应对象属于的垃圾类别。例如：对象为不完整的纸制品，可以确定对象为可回收垃圾。

根据对象所处的位置可以确定垃圾所处的位置。

S314、根据所述垃圾类别和所述垃圾所处的位置，确定垃圾告警对应的内容；

在一些实施例中，垃圾告警的内容可以包括垃圾的类别和垃圾所处的位置。例如，告警内容可以为在食堂地面发现厨余垃圾，或在学校操场发现可回收垃圾。这样，用户可以根据垃圾的类别和垃圾所处的位置确定处理垃圾的紧急程度。

S315、将所述垃圾告警对应的内容发送给垃圾监控平台；

垃圾监控平台连接了管理垃圾的终端和拍摄垃圾的摄像装置，用于接收摄像装置的处理系统发送的垃圾告警，并将告警发送给管理垃圾的终端，这里，管理垃圾的终端可以是保洁员使用的终端设备，也可以是清洁机器人。

S316、在确定所述第一待检测图像中存在目标对象的情况下，获取第二待检测图像，其中，所述第一待检测图像的采集区域与所述第二待检测图像的采集区域之间的重叠比例大于预设阈值，且所述第一待检测图像与所述第二待检测图像的采集时间相距预设的时间间隔；

S317、在确定所述第二待检测图像中存在所述目标对象的情况下，确定所述目标对象为垃圾。

本申请实施例，首先根据对象的属性信息确定垃圾所属的垃圾类别和垃圾所处的位置；然后，根据垃圾类别和垃圾所处的位置，确定垃圾告警对应的内容；最后，将垃圾告警对应的内容发送给垃圾监控平台。这样，当确定有垃圾时，可以及时将垃圾信息(垃圾类别、所处位置)发送给垃圾监控平台，以实现及时根据垃圾类别和所处位置对垃圾进行合理的处理。

图3为本申请实施例提供的又一种垃圾检测方法，如图3所示，该方法包括：

S321、获取第一待检测图像；

S322、对所述第一待检测图像进行检测，确定所述第一待检测图像对应的目标对象和目标框；根据所述第一待检测图像对应的目标对象和所述目标框，确定第一交并比；

S322可以通过目标垃圾检测模型来实现，目标垃圾检测模型可以实现在图像中识别出物体，也可以实现标出物体的位置。利用目标垃圾检测模型可以确定第一待检测图像对应的目标对象和目标框。这里，目标对象即识别出的物体，目标框即标出的物体位置。

交并比(Intersection-over-Union，IoU)是目标检测中使用的一个概念，计算的是预测边框和真实边框的交集和并集的比值，即它们的交集与并集的比值。最理想情况是完全重叠，即比值为1。这里，真实边框可以是每次大检测图像输入目标垃圾检测模型，经过检测后确定的目标框，而预测边框可以是第一待检测图像出入目标垃圾检测模型，经过检测后确定的目标框，也就是说根据垃圾在第一待检测图像中出现的位置标注出的预测边框。

S323、在确定所述第一待检测图像中存在所述目标对象的情况下，从存储的视频库中获取第二待检测图像；

所述第一待检测图像是从在线视频流中获取的，所述第二待检测图像的采集时间早于所述第一待检测图像的采集时间。

S324、利用所述目标垃圾检测模型分析所述第二待检测图像中对象的属性信息；根据所述第二待检测图像中对象的属性信息，确定对应对象属于所述目标对象还是属于垃圾，得到第二检测结果；

S325、在确定所述第二待检测图像对应的目标对象的情况下，根据所述目标框和所述第二待检测图像对应的目标对象确定第二交并比；在所述第一交并比与所述第二交并比同时大于预设交并比阈值的情况下，确定所述目标对象为垃圾；

在一些实施例中，因为第二交并比计算时使用的预测边框可以是第一待检测图像对象的目标框，所以第二交并比为第二待检测图像的目标框与第一待检测图像的目标框的交集和并集的比值。

在第一交并比与第二交并比同时大于预设交并比阈值的情况下，即，目标对象在第一待检测图像中的位置与目标对象在第二待检测图像中的位置距离满足阈值要求的情况下，确定所述目标对象为垃圾。

S326、在确定所述目标对象为垃圾的情况下，根据所述第一待检测图像和/或所述第二待检测图像确定所述垃圾所处的位置；

这里，因为拍摄目标对象的摄像装置的位置为固定的，可以将摄像装置的位置作为垃圾所处的位置。

S327、根据所述垃圾所处的位置确定对应的终端或清洁机器人；

这里，因为区域的垃圾清理可以对应管理该区域的终端或机器人，在实施过程中，可以将垃圾所处的位置和该位置对象的终端或清洁机器人建立映射关系，根据该映射关系和垃圾所处的位置确定对应的终端或清洁机器人。

S328、将所述垃圾告警发送给所述终端或所述机器人，以使得持有所述终端的保洁员清理所述垃圾或者所述清洁机器人处理所述垃圾。

本申请实施例中，采用评估不同时间帧上目标框的交并比是否连续超过某一个阈值的方法，来确定是否检测出来的垃圾在画面中一段时间内长时出现。这样，可以有效排除形态与垃圾相似，但是不属于垃圾种类的日常物品，提升本申请实施例在真实场景中的性能。

本申请实施例中，首先，根据所述垃圾所处的位置确定对应的终端或清洁机器人，然后将所述垃圾告警发送给终端或机器人，可以使得持有所述终端的保洁员及时清理垃圾或者清洁机器人及时处理垃圾。

支撑城市级别视频流解析的垃圾检测在智慧城市管理中有非常重要的作用，可以支持城市管理者高效检测识别城市中的未处理垃圾，使得城市垃圾可以快速被响应清除；在美化市容市貌，排除卫生和安全隐患，提高市民生活水平上有着重要的作用。因此，城市级垃圾检测是一类重要问题。

城市级垃圾检测的难点包括两方面：

一方面，垃圾本身形态非常多样，定义相对模糊并且持续变化。垃圾的形态多样，其在城市中的种类非常繁多(易拉罐，废弃塑料袋，废弃纸箱…)，并且不同种类的垃圾大小不一，形状不一，颜色不一，距离城市监控摄像头的距离不一。这导致垃圾检测任务中目标对象的大小形态的多样性非常巨大，并且难以被完全收集。

另一方面，垃圾的定义模糊并且持续变化。垃圾的种类可能随着政策，经济建设与市民文化的发展儿而变化(例如新种类的饮料可能产生新种类的塑料瓶垃圾)。同时垃圾的定义是模糊的，取决于与周边环境的关系(例如放在路边的塑料小盆可能是被遗弃的垃圾，也可能是暂时放置的他人物品)，而这种与环境的关系往往随着地点改变而大幅变化。这种定义模糊的另一种体现方式为一个物品在一段时间内的位置与形态变化，而垃圾往往不会(例如一个拿在手中的塑料袋会随着时间推移而改变位置与形状，放置在地上的废弃塑料袋往往会在一段时间中位置固定)，这种体现方式导致识别某些垃圾往往需要关注一段时间的视频变化，而只进行单帧图像的垃圾检测则可能产生误报。

这两方面的难点导致垃圾检测需要识别的目标形态种类是广大的，并且是变化的。这使得传统的基于深度学习的单帧垃圾检测方法，即收集大量数据并训练深度学习网络进行单帧图像检测的方法，不可行。因为收集的数据往往无法包含在城市真实场景中所能遇到的真实数据，同时基于单帧图像的垃圾检测无视物体在一段时间内的变化从而将正常物品识别为垃圾。因此传统深度学习方法得到的目标检测模型在真实环境中往往出现性能较低的问题。

图4A为本申请实施例提供的一种目标检测模型的架构示意图，如图4A所示，本申请实施例中的目标检测模型可以为RetinaNet网络模型，RetinaNet网络模型可以包括一个骨干网(深度残差网络401和特征金字塔网络402)和N个包括分类子网和回归子网的网络403，其中，分类子网和回归子网可以简称为分类和回归子网。骨干网用于计算和输出整个输入图像的卷积特征图。分类子网对骨干网的输出进行分类，回归子网用于对骨干网的输出执行卷积边框回归任务。

特征金字塔网络(Feature Pyramid Net，FPN)402作为骨干网，建立在标准的深度残差网络(ResNet)401之上。FPN通过自顶向下和横向连接扩展ResNet，生成丰富的多尺度卷积特征金字塔。ResNet的思想在于引入深度残差来解决梯度消失问题，即令卷积网络去学习残差映射。ResNet可以有2个最基本块(block)，其中一个基本块是标识块(IdentityBlock)，其输入和输出的维度保持相同，因此可以对该结构多次串联；另外一个基本块为卷积块(Conv Block)，其输入和输出的维度是不相同的，因此不能进行连续串联，卷积块的目的是为了改变输出特征向量的维度。

自下而上的路径(例如ResNet)可以用于特征提取，无论输入图像的大小如何，该路径会以不同的比例来计算特征图。自上而下的路径可以从较高的金字塔等级对空间上较粗糙的特征图进行上采样，并且横向连接将具有相同空间大小的自上而下的层和自下而上的层合并在一起。

分类子网是附加到FPN的每个层的小型全卷积网络。回归子网可以与分类子网络并行处理，其网络结构与分类子网几乎相同，但不共享参数。

回归子网能够获取图像中不同的检测框，分类子网能够获取不同的检测框中的物体类别，在分类子网确定某一检测框中的物体类别为目标对象的情况下，可以将该检测框作为该图像中目标对象的边界框。

图4B本申请实施例提供的一种垃圾检测方法的流程示意图，如图4B所示，该方法包括：

步骤S401、对城市监控视频流进行截帧，得到至少一张图像；

需要监控场景下的小部分垃圾检测冷启动数据，通常通过手动在城市监控视频流中截图并标注来采集得到，数据量级在千张即可。

在对城市监控视频流进行截帧的实施过程中，城市监控视频流通常包含几百至几千路监控摄像头点位的实时视频，需要对其进行截帧操作，即每隔T时间从城市监控视频流中抽取一个视频帧。通常T设置为10分钟，也可按照实际需求设置。利用这种截帧操作可以从城市监控视频流得到至少一张图像数据供后续挖掘。

步骤S402、将图像输入目标检测模型，得到图像的后验概率；

在一些实施例中，目标检测模型可以是如图4A所示的目标检测网络，所述目标检测模型可以为RetinaNet网络模型，RetinaNet网络模型可以包括一个骨干网和N个包括分类子网和回归子网的网络。将图像输入目标检测模型，可以得到图像的后验概率。这里，后验概率指的是，目标检测模型每输出一个感兴趣区域框，也会输出一个概率值，代表这个感兴趣区域框中是目标样本的概率。

步骤S403、根据图像的后验概率确定挖掘数据；

挖掘时，在获得的大量图像上运行垃圾监测模型并得到模型判断的后验概率，当后验概率大于阈值t

步骤S404、将挖掘数据合并到冷启动数据集；

对所有的需要挖掘标注的数据进行人工标注，并且合并到冷启动数据集中。

此过程会采集较多真实场景正样例图像，也可能产生较多负样例误报，负样例误报加入模型训练有助于优化模型在真实场景下对误报的抑制，正样例有助于模型快速适应目前场景的垃圾形态与种类。

步骤S405、利用冷启动数据集训练目标检测模型。

每隔一段时间，累积了足够的挖掘合并图像后，如图4A所示，将冷启动数据集输入目标检测模型来进行目标检测模型训练，经过训练的目标检测模型会更加适应目前真实场景中的垃圾种类与形态，并快速提高性能。

本申请实施例中，利用数据挖掘方法针对真实场景中的在线监控视频流进行挖掘，快速得到现阶段模型难以检测识别的困难样本，通过挖掘出的数据评估模型现阶段在真实环境中的能力边界，解决传统方法无法全面收集数据的问题。引入人工标注对于上一步得到的困难样本进行标注并加入训练集进行重新训练，从而通过人类的先验知识来纠正模型的错误，扩展模型的能力边界，使得模型适应现阶段真实环境中垃圾形态，解决传统方法模型在真实场景中性能较低的问题。利用数据挖掘方法，可在巨量城市监控视频流中挖掘对于模型提升有帮助的潜在高价值样本，可在有限的标注与计算资源环境下有效提升模型性能，大量节省深度学习模型应用新的业务上所需的人力以及计算成本。用户可以使用本框架在有限的人工以及计算资源下，在线上对于智慧城市管理系统中潜在的垃圾检测应用进行快速迭代提升，用较小的人力和计算成本快速达到业务所需的性能要求，并能在之后继续持续提升模型性能。解决了现有技术主要通过大量人力来对未标注数据进行标注，比较耗费人力以及计算资源的问题。

本申请实施例提供一种垃圾检测方法，由垃圾检测系统完成，垃圾检测系统包括采集模块、检测模块和告警模块。图4C为本申请实施例提供的一种垃圾检测方法的流程示意图，如图4C示，工作流程描述如下：

步骤S410、采集模块获取同一摄像头的N帧图像；

同一摄像头获取到的图像可以是拍摄的同一角度范围内的图像，也可以使用可以拍摄同一范围图像的两个摄像头。这里，主要是获取同一角度范围内的图像，对摄像头不做限制。

步骤S411、检测模块对输入图像运行垃圾检测；

将所述同一摄像头的N帧图像输入目标检测模型，确定每一图像中是否存在疑似垃圾。

在一些实施例中，可以使用如图4A所示的目标检测模型，确定每一图像中是否存在疑似垃圾。

步骤S412、检测模块确定是否检测到疑似垃圾；

这里，如果使用步骤S412的方法检测到疑似垃圾，则流转到步骤S413，如果没有检测到疑似垃圾则返回步骤S411再次进行疑似垃圾检测。

步骤S413、检测模块确定是否在过去连续S帧中同一位置检测到垃圾；

首先，需要获取S帧图像，其中，所述S帧图像的采集时间需要早于检测到垃圾的图像的采集时间；然后，可以利用不同时间帧上目标框的交并比是否连续超过某一个阈值的方法，来判断是否检测出来的垃圾在画面中一段时间内长时出现，即，确定是否在过去连续S帧中同一位置检测到垃圾。这样，如果垃圾检测结果和目标框的交并比小于阈值，则认为新的目标加入了图像；如果交并比大于阈值，则认为在相同的预测边框连续出现了相同的目标(垃圾)。

这里，如果使用步骤S413的方法检测到疑似垃圾，则确定为垃圾，流转到步骤S414，如果没有检测到垃圾则返回步骤S411再次进行疑似垃圾检测。

步骤S414、告警模块对外报警。

在确定所述S帧图像中每一图像的相同位置均存在垃圾的情况下，输出警告。

本申请实施例中，利用多帧逻辑，来有效排除形态与垃圾相似，但是不属于垃圾种类的日常物品，提升目标垃圾检测模型在真实场景中的性能，解决了现有技术仅利用单帧图像检测的局限性问题，以及针对与垃圾形态类似易混淆的日常物品一般无法有效排除的问题。同时在真实场景检测中加入多帧垃圾确认逻辑，来排除容易混淆的物品，进一步提升垃圾检测框架的性能。从用户的角度来看，用户可以使用本垃圾检测方法，在有限的人工以及计算资源下，在线上对于智能视频分析或者智能监控中潜在的目标检测应用进行快速迭代提升，用较小的人力和计算成本快速达到业务所需的性能要求，并能在之后继续持续提升模型性能。

基于前述的实施例，本申请实施例提供一种垃圾检测装置，该装置包括所包括的各模块，以及各模块包括的各子模块，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现。

图5为本申请实施例提供的一种垃圾检测装置的组成结构示意图，如图5所示，垃圾检测装置500包括：

第一获取模块501，用于获取第一待检测图像；

第二获取模块502，用于在确定所述第一待检测图像中存在目标对象的情况下，获取第二待检测图像，其中，所述第一待检测图像的采集区域与所述第二待检测图像的采集区域之间的重叠比例大于预设阈值，且所述第一待检测图像与所述第二待检测图像的采集时间相距预设的时间间隔；

第一确定模块503，用于在确定所述第二待检测图像中存在所述目标对象的情况下，确定所述目标对象为垃圾。

在一些实施例中，所述装置还包括分析模块和第二确定模块，其中，所述分析模块用于分析所述第一待检测图像中的场景信息；所述第二确定模块，用于根据所述第一待检测图像中的场景信息，确定所述目标对象。

在一些实施例中，所述装置还包括第三确定模块，用于根据所述第一待检测图像的属性参数和/或所述目标对象的属性参数，确定所述时间间隔；其中，所述第一待检测图像的属性参数至少包括以下之一：所述第一待检测图像的场景信息、所述第一待检测图像的采集时间所属的时段或季节。

在一些实施例中，所述第一待检测图像是从在线视频流中获取的，所述第二待检测图像的采集时间早于所述第一待检测图像的采集时间。

在一些实施例中，所述装置还包括第一检测模块和第二检测模块，其中，所述第一检测模块用于利用目标垃圾检测模型对从所述在线视频流中提取的第一待检测图像进行检测，得到第一检测结果；所述第二获取模块，还用于在根据所述第一检测结果确定所述第一待检测图像中存在所述目标对象的情况下，从存储的视频库中获取第二待检测图像；所述第二检测模块，还用于利用所述目标垃圾检测模型对从所述第二待检测图像进行检测，得到第二检测结果；所述第一确定模块还用于在根据所述第二检测结果确定所述第二待检测图像中存在所述目标对象的情况下，确定所述目标对象为垃圾。

在一些实施例中，所述第一检测模块，还用于利用所述目标垃圾检测模型分析所述第一待检测图像中对象的属性信息；根据所述第一待检测图像中对象的属性信息确定对应对象属于所述目标对象还是属于垃圾，得到第一检测结果；所述第二检测模块，用于利用所述目标垃圾检测模型分析所述第二待检测图像中对象的属性信息；根据所述第二待检测图像中对象的属性信息，确定对应对象属于所述目标对象还是属于垃圾，得到第二检测结果；

在一些实施例中，所述对象的属性信息包括以下至少之一：所述对象的形态、材质、大小、所处的位置。

在一些实施例中，在所述第一检测结果为所述对象属于垃圾的情况下，所述装置还包括第四确定模块、第五确定模块和发送模块，其中，所述第四确定模块，用于根据所述对象的属性信息确定所述垃圾所属的垃圾类别和所述垃圾所处的位置；所述第五确定模块，用于根据所述垃圾类别和所述垃圾所处的位置，确定垃圾告警对应的内容；所述发送模块，用于将所述垃圾告警对应的内容发送给垃圾监控平台。

在一些实施例中，所述第一检测模块，还用于对所述第一待检测图像进行检测，确定所述第一待检测图像对应的目标对象和目标框；根据所述第一待检测图像对应的目标对象和所述目标框，确定第一交并比；第一确定模块，还用于在确定所述第二待检测图像对应的目标对象的情况下，根据所述目标框和所述第一待检测图像对应的目标框确定第二交并比；在所述第一交并比与所述第二交并比同时大于预设交并比阈值的情况下，确定所述目标对象为垃圾。

在一些实施例中，所述装置还包括第三获取模块、第四获取模块和训练模块，其中，所述第三获取模块用于获取至少一张目标图像；所述目标图像是将从监控视频流中截取的待检测图像输入至初始垃圾检测模型，根据所述初始的目标垃圾检测模型输出的检测结果确定的；所述初始垃圾检测模型是采用第一数据集进行训练的；其中，所述第一数据集为至少部分样本图像具有标注信息的数据集；所述第四获取模块，用于获取对所述至少一张目标图像的人工标注结果，将标注后的所述至少一张目标图像作为训练样本合并到所述第一数据集，得到第二数据集；所述训练模块，用于利用所述第二数据集对所述初始垃圾检测模型进行训练，得到所述目标垃圾检测模型。

在一些实施例中，所述第三获取模块包括输入子模块和确定子模块，所述输入子模块用于将所述至少一帧待检测图像输入所述初始垃圾检测模型，得到每一帧所述待检测图像的后验概率；所述确定子模块用于在确定所述后验概率大于第一概率阈值且小于第二概率阈值的情况下，将与所述后验概率对应的待检测图像确定为所述目标图像，其中，所述第一概率阈值小于所述第二概率阈值。

以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的垃圾检测方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得计算机设备(可以是手机、平板电脑、笔记本电脑、台式计算机、机器人、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

对应地，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的垃圾检测方法中的步骤。

对应地，本申请实施例提供一种计算机设备，图6为本申请实施例的一种计算机硬件实体示意图，如图6所示，该设备600的硬件实体包括：包括存储器601和处理器602，所述存储器601存储有可在处理器602上运行的计算机程序，所述处理器602执行所述程序时实现上述实施例中提供的方法中的步骤。

存储器601配置为存储由处理器602可执行的指令和应用，还可以缓存待处理器602以及计算机设备600中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。

这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得计算机设备(可以是手机、平板电脑、笔记本电脑、台式计算机、机器人、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。