面向垃圾分类的智能督导方法及系统

技术领域

本发明涉及垃圾分类领域，尤其是涉及面向垃圾分类的智能督导方法及系统。

背景技术

为提高垃圾分类的质量，现有技术中提出了不同的方法，包括建立对单个居民或者单户居民垃圾分类质量的评价体系，根据评分情况对相应的居民进行宣导，这种属于事后宣导，无法快速的改善现状；同时还包括通过在居民投放垃圾时进行干预，即在垃圾回收的地方设置人工指导员，负责检查人们投放的垃圾分类是否正确，并对错误分类的行为进行纠正指导，这种方法效率低下，在同一时间如果有多人需要进行垃圾分类投放时，会耗费人们很多时间。随着人工智能的发展，也有提出一些智能的垃圾回收方案，即先对投放垃圾的个人先进行某种身份认证，然后通过图像识别的方式，对投放进垃圾回收系统的垃圾进行分类识别，再把识别的结果信息记录到后台的系统，方便对垃圾分类投放的行为进行事后的监督纠正，相关的督导员也无法获取实时的投放情况。

当现场发现有不合规的投放时，位于云端的督导员无法及时查看到相关的实时视频，尤其是在垃圾投放时间内，有多人同时投放时，督导员的工作量非常大；且通常每个投放点需要服务300～500户居民，需要配备至少一个督导员，对于单个街道而言，需要大量的人员投入。

发明内容

为解决上述问题，本发明提出了面向垃圾分类的智能督导方法及系统。

本发明的主要内容包括：

面向垃圾分类的智能督导方法，用于智能垃圾房，所述智能垃圾房包括周边区域以及投放区域，其中，所述周边区域设置有至少一个人体检测摄像头，所述投放区域包括若干垃圾桶以及与位于若干所述垃圾桶前方的至少一个橱窗，单个垃圾桶上方设置有至少一个垃圾检测摄像头，垃圾桶后方正对所述橱窗处设置有至少一个人脸检测摄像头，所述智能督导方法包括：

当人体检测摄像头检测到人体时，获取人体检测摄像头采集到的人体图像，根据环境参数以及人体参数，调整所述人脸检测摄像头的配置；

当所述人脸检测摄像头检测到人脸时，所述垃圾检测摄像头实时获取并缓存垃圾桶内以及垃圾桶周边相应的视频流；

根据垃圾桶内区域以及垃圾桶周边区域的变动情况，判定某次投放是否为不合规投放；

当某次投放为不合规投放时，将缓存的视频流、相应的实时视频以及相应投放人的身份信息推送给云端的督导员；

所述督导员选择保存相应帧图像，通过智能垃圾房现场语音设备播放相应语音，和/或向相应投放人使用的移动终端发送远程提醒；

其中，所述环境参数包括环境亮度；所述人体参数包括人体身高。

优选的，根据垃圾桶内区域以及垃圾桶周边区域的变动情况，判定某次投放是否为不合规投放，包括：

当垃圾桶内区域发生变动时，获取垃圾检测摄像头采集到的相应的缓存的视频流，经目标检测处理后输出分类结果；

根据垃圾桶的类型以及分类结果，评价垃圾分类质量；

根据垃圾分类质量的评价结果以及预先设定的评价标准，判定是否为不合规投放。

优选的，当垃圾桶内区域发生变动时，获取垃圾检测摄像头采集到的相应的缓存的视频流；

对垃圾桶内区域的图像经目标检测处理后输出分类结果；根据垃圾桶的类型以及分类结果，评价垃圾分类质量；包括：

获取变动发生前的至少一帧图片以及变动发生后至少一帧图像；

通过孪生网络对比相应两帧图片中垃圾桶内区域的变动情况，生成变动区域的掩码；

根据掩码位置裁切出投入的垃圾的图像，利用目标检测算法，识别出投入垃圾的分类结果；

将垃圾分类结果与垃圾桶的类型比较，若与垃圾桶类型不符，则判定为一次不合规投放。

优选的，当垃圾桶内区域未发生变动的图像帧数超过预设值，获取垃圾检测摄像头采集到的相应的缓存的视频流；

对垃圾桶周边区域的图像经目标检测后输出投放动作分类结果，所述投放动作分类结果包括包含手部的图像帧以及不包含手部的图像帧；

根据投放方向识别算法，获取包含手部的图像帧中的手部的投放方向；

比较识别出的手部的投放方向与预设方向不符时，标记为相应类型的不合规投放；

当识别出的手部的投放方向与预设方向相符时，根据预设方向的垃圾桶内的变动情况，判定相应的投放是否为不合规投放。

优选的，当判定为一次不合规投放时，获取与相应垃圾分类摄像头关联的人脸识别摄像头采集到的相应的缓存视频流以及实时的视频流；

对人脸识别摄像头采集到的相应的缓存视频流中的人脸进行人脸特征码提取；

将提取出的人脸特征码与预先存储的人脸库进行比对，识别垃圾投放人的身份。

优选的，在对人脸识别摄像头采集到的相应的缓存视频流中的人脸进行人脸特征码提取之前还包括由多个人脸中选择最可能投放人的步骤。

优选的，所述由多个人脸中选择最可能投放人的步骤包括：

获取人脸识别摄像头采集到的相应的缓存视频流中包含人脸的多帧人脸图像；

对每帧人脸图像中多个人脸的人脸大小、人脸位置以及投放方向的分数，分别加权计算得到其相应的人脸等级分数，选择人脸等级分数最大值的人脸作为最可能投放人。

优选的，对人脸识别摄像头采集到的相应的缓存视频流中的人脸进行人脸特征码提取，包括：

获取人脸识别摄像头采集到的相应的缓存视频流中包含人脸的多帧人脸图像；

将多帧人脸图像输入到人脸识别算法中，对每帧人脸图像的最可能投放人的人脸框的大小、人脸角度、人脸清晰度进行评价，获取相应的评价等级；

分别对每帧人脸图像的最可能投放人的人脸框的大小、人脸角度以及人脸清晰度的评价等级进行加权计算；

选择加权值最大的人脸图像帧作为待提取人脸图像帧；

将待提取人脸图像帧进行人脸特征码提取。

优选的，根据环境参数以及人体参数，调整所述人脸检测摄像头的配置，包括：

在所述周边区域内，向着所述投放区域由远及近的预先设置多个身高参照杆；

获取所述人体检测摄像头采集到的包含人体的实时视频流，以所述身高参照杆为参照物，计算出人体的身高；

根据环境亮度以及人体的身高，调整所述人脸识别摄像头的拍摄参数以及拍摄角度。

本发明还提出了面向垃圾分类的智能督导系统，包括：

获取单元，包括若干人体检测摄像头、若干人脸检测摄像头以及若干垃圾检测摄像头，所述人体检测摄像头用于获取周边区域的监控视频；所述人脸检测摄像头和垃圾检测摄像头用于获取投放区域的监控视频；

调整单元，根据所述人体检测摄像头获取的周边区域的监控视频得到的环境参数以及人体参数，调整所述人脸检测摄像头的配置；

处理单元，根据人脸检测摄像头以及垃圾检测摄像头获取的投放区域的监控视频流，

执行所述的智能督导方法；

存储单元，用于缓存相应的视频流以及预先配置的目标检测模型；

通讯单元，与云端通讯，将缓存的视频流、相应的实时视频以及相应投放人的身份信息推送给云端的督导员，并接收云端发送的督导语音。

本发明的有益效果在于：本发明提出的面向垃圾分类的智能督导方法及系统，通过在智能垃圾房的周边区域和投放区域设置若干摄像头，根据垃圾桶内区域以及垃圾桶周边区域的变动情况，判定某次投放是否不合规，并能够将不合规投放的缓存视频以及相应的实时视频、相应的投放人的身份信息直接推送给云端的督导员，无需督导员一直盯着监控画面，且一个督导员就可以监管多个投放点，节约了人力。

具体实施方式

本发明公开了面向垃圾分类的智能督导方法，用于智能垃圾房，一个智能垃圾房视作一个投放点，通过本发明的督导方法，一个督导员能够同时监管多个垃圾投放点，当出现不合规投放时，能够自动向督导员展示相应的视频画面以及缓存的投放视频画面，同时还能够展示投放人的身份信息，督导员能够根据需要选择播放相应的督导语音，还能够向相应的投放人的移动终端发送具体的督导信息。其中，不合规投放可以包括垃圾分类错误，如向厨余垃圾桶内投入了可回收垃圾；还包括未投入桶内的行为，此外，还可以包括未在指定时间内进行投放。

所述智能垃圾房包括周边区域以及投放区域，所述周边区域设置有至少一个人体检测摄像头，所述投放区域包括若干垃圾桶以及与若干垃圾桶一一对应的橱窗，单个垃圾桶上方设置有至少一个垃圾检测摄像头，单个橱窗处设置有至少一个人脸检测摄像头。

其中，所述人体检测摄像头用于获取智能垃圾房周围的环境参数以及垃圾投放人的身体数据，环境参数主要是指环境的亮度，根据环境的亮度相应调节人脸检测摄像头的配置参数，如光圈等参数；同时，在本实施例中，通过在所述周边区域内，沿着向着智能垃圾房的方向由远到近的间隔设置有若干身高参照杆，通过获取人体检测摄像头采集到的包含人体的实时视频流，通过比较人体的身高与身高参照杆来计算出视频内人员的身高，当出现多个人员时，可以通过识别出是否携带垃圾来确定是否将其作为调节人脸检测摄像头的参考数据。具体地，在本实施例中，可以通过提取人体检测摄像头采集到的视频帧的特征点，判断所述特征点是否为人体特征，以确定视频帧是否为含有人体的视频帧。其中，该特征点为眼睛、脸、手、脚等图像特征。例如，当从视频流的任一视频帧中提取出含有眼睛的特征点时，则可确定该视频帧为含有人体的视频帧，然后再由其中进一步选择出包含脚的特征点的视频帧，作为用于获取人体身高数据的候选帧。

人脸检测摄像头用于识别出投放人的身份；而垃圾检测摄像头能够获取到垃圾桶内区域以及垃圾桶周边区域的视频，用于识别出垃圾桶内的变化情况以及投放人的手部的投放方向，具体地，在垃圾检测摄像头的取景框体内，以各个垃圾桶的桶口为界，桶口内部区域为垃圾桶内区域，而其他区域则为垃圾桶周边区域。

本发明提出的智能督导方法包括：

当人体检测摄像头检测到人体时，获取人体检测摄像头采集到的人体图像，根据环境参数以及人体参数，调整所述人脸检测摄像头的配置，即根据环境的亮度以及投放人的身高来调整人脸检测摄像头的拍摄参数和拍摄角度，以为了更好的获取到质量更好的人脸照片，辅助后续人脸识别的质量。

当人体检测摄像头检测到人体时，所述人脸检测摄像头即可启动，也可以通过在橱窗外一定距离位置放置感应装置，当有人员靠近时，即启动人脸检测摄像头，同时获取人体检测摄像头采集的视频流，对人脸检测摄像头进行调整；而当所述人脸检测摄像头检测到人脸时，所述垃圾检测摄像头实时获取并缓存垃圾桶内区域以及垃圾桶周边区域相应的视频流，并缓存的垃圾检测摄像头采集到的每一帧图像进行图像分类，以分别发现垃圾桶内区域和垃圾桶周边区域的变动。

在本实施例中，监控垃圾桶内区域是否发生变动，当垃圾桶内区域发生变动时，即定义为一次投放动作，无需一定要在垃圾桶周边区域发现手部等变动情况后才监控垃圾桶内区域的变动情况，这是因为存在距离垃圾桶的周边区域较远而作出投放动作的情况，或者投放垃圾的动作很快而导致未能获得较好的垃圾桶区域的图像帧，使得无法判断出投放的方向。

因此，当人体检测摄像头检测到有人员进入后，即可开始缓存人脸检测摄像头和垃圾检测摄像头的视频，先对到缓存的垃圾检测摄像头的视频流的每一帧图像进行图像分类，一旦发现垃圾桶内区域发生了变动，通过对相应的帧图像进行目标检测处理后输出分类结果，以评价垃圾分类的质量，即评价识别出的垃圾的种类与相应垃圾桶的匹配度，相应的匹配度评价的方法可以预先设置，对识别出的每种垃圾的匹配度赋予一定的权重，经计算处理后得到对本次投放的整体评价，根据垃圾分类质量的评价结果以及预先设定的评价标准，判定是否为不合规投放。

更具体，当垃圾桶内区域发生变动时，获取变动发生前的至少一帧图片以及变动发生后至少一帧图像；

通过孪生网络对比相应两帧图片中垃圾桶内区域的变动情况，生成变动区域的掩码；

根据掩码位置裁切出投入的垃圾的图像，利用目标检测算法，识别出投入垃圾的分类结果；

将垃圾分类结果与垃圾桶的类型比较，若与垃圾桶类型不符，则判定为一次不合规投放。

在其他实施例中，还存在着投放人未将垃圾准确投入垃圾桶内或者垃圾桶内满溢而无法投入的情况，则导致垃圾桶内区域未发生变化，但却确实存在投放行为的情况，所以还需要同时监控垃圾桶周边区域的变动情况，当垃圾桶内区域未发生变动的图像帧数超过预设值，获取垃圾检测摄像头采集到的相应的缓存的视频流；

对垃圾桶周边区域的图像经目标检测后输出投放动作分类结果，所述投放动作分类结果包括包含手部的图像帧以及不包含手部的图像帧；

根据投放方向识别算法，获取包含手部的图像帧中的手部的投放方向；

比较识别出的手部的投放方向与预设方向，标记为相应类型的不合规投放行为，如当手部的投放方向与预设方向相符时，则判定可能为一次满溢，也不允许再次投放，也可以定位为一次违规投放；而当手部的投放方向与预设方向相反，则可以认为一次故意的未入桶投放行为，其中，预设方向为根据投放人在人脸识别框中的位置，或者手部在垃圾桶周边区域的位置，预判出其可能的投放方向，如当手部出现在垃圾桶周边区域的最左侧，则其可能的投放方向只能是向着正对其的垃圾桶投放或者向着其右侧的垃圾桶的方向，而当其手部投放方向向着其他方向时，则可以判定为一次不合规投放。

而当手部的投放方向与预设方向相同时，则获取一定时间内与投放方向相对应的垃圾桶内的变动情况，若垃圾桶内区域发生变动，则根据识别出的垃圾的种类与相应垃圾桶的匹配度，判定是否为一次不合规投放；而若垃圾桶内区域未发生变动，则可认为是未投入桶内或者垃圾桶满溢等异常情况，此时也可标记为一次不合规投放。

当判定为一次不合规投放时，获取与相应垃圾检测摄像头关联的人脸检测摄像头缓存的相应时间的视频流，以确定投放人的身份。

具体地，当判定为一次不合规投放时，获取与相应垃圾分类摄像头关联的人脸识别摄像头采集到的相应的缓存视频流以及实时的视频流；首先使用人脸识别算法获取到相应帧图像中的人脸，通过对每帧人脸图像中多个人脸的人脸大小、人脸位置以及投放方向的分数，分别加权计算得到其相应的人脸等级分数，选择人脸等级分数最大值的人脸作为最可能投放人；当确认了最可能投放人后，对该人脸进行人脸特征码提取，通过将提取出的人脸特征码与预先存储的人脸库进行比对，识别垃圾投放人的身份。

更进一步地，对人脸识别摄像头采集到的相应的缓存视频流中的人脸进行人脸特征码提取，包括：

获取人脸识别摄像头采集到的相应的缓存视频流中包含人脸的多帧人脸图像；

将多帧人脸图像输入到人脸识别算法中，对每帧人脸图像的最可能投放人的人脸框的大小、人脸角度、人脸清晰度进行评价，获取相应的评价等级；

分别对每帧人脸图像的最可能投放人的人脸框的大小、人脸角度以及人脸清晰度的评价等级进行加权计算；

选择加权值最大的人脸图像帧作为待提取人脸图像帧；

将待提取人脸图像帧进行人脸特征码提取。

待确认了投放人的身份信息后，将缓存的视频流、相应的实时视频以及相应投放人的身份信息推送给云端的督导员，即一旦发现异常，即可标记并自动推送相应的视频画面给督导员，如当发生不合规投放时，将缓存的视频流自动调取至监控画面的中心位置，以特别提示督导员，同时在画面上标记投放人的身份信息，并使用特殊色框示出追踪投放人离开的实时视频，督导员可以根据实际情况，远程控制智能垃圾房周边的语音设备播放相应的语音提示，还可以根据选择保存相应帧图像，并向相应投放人使用的移动终端发送远程提醒。

此外，本发明还提出了面向垃圾分类的智能督导系统，包括：

获取单元，包括若干人体检测摄像头、若干人脸检测摄像头以及若干垃圾检测摄像头，所述人体检测摄像头用于获取周边区域的监控视频；所述人脸检测摄像头和垃圾检测摄像头用于获取投放区域的监控视频；

调整单元，根据所述人体检测摄像头获取的周边区域的监控视频得到的环境参数以及人体参数，调整所述人脸检测摄像头的配置；

处理单元，根据人脸检测摄像头以及垃圾检测摄像头获取的投放区域的监控视频流，执行所述的智能督导方法；

存储单元，用于缓存相应的视频流以及预先配置的目标检测模型；

通讯单元，与云端通讯，将缓存的视频流、相应的实时视频以及相应投放人的身份信息推送给云端的督导员，并接收云端发送的督导语音。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。