一种基于视觉感知的清扫车垃圾清扫方法及系统

技术领域

本公开涉及图像数据处理技术领域，具体涉及一种基于视觉感知的清扫车垃圾清扫方法及系统。

背景技术

垃圾清扫对环境清洁至关重要。目前，在进行垃圾清扫时，通常采用的方式为：在预设路况下，通过人工驾驶清扫车采用同一个扫盘档位进行垃圾清理。

然而，当采用上述方式时，经常会存在如下技术问题：

由于驾驶人员往往需要时刻观察道路路况，专心开车，保障驾驶安全，往往不能实时监控路面垃圾情况，往往导致路面垃圾识别的准确度低下，从而导致垃圾清理有遗漏，进而导致路面垃圾处理的准确度低下。其中，路面垃圾处理可以是对路面垃圾的清理。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开提出了一种基于视觉感知的清扫车垃圾清扫方法，来解决以上背景技术部分提到的技术问题中的一项或多项。

第一方面，本公开提供了一种基于视觉感知的清扫车垃圾清扫的方法，该方法包括：通过第一相机获取目标图像序列，对目标图像序列中的每个目标图像进行预处理，确定上述目标图像对应的垃圾轮廓图像，得到垃圾轮廓图像序列；根据垃圾轮廓图像序列，确定垃圾轮廓图像序列中的垃圾轮廓图像中的每个垃圾轮廓对应的运动矢量，得到运动矢量集合序列；根据运动矢量集合序列中的最后一个运动矢量集合、垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓对应的位置和垃圾轮廓图像序列中的最后一帧垃圾轮廓图像的时间与预设的第二相机采集图像的时间之间的目标时间间隔，预测目标时间间隔后各个垃圾轮廓对应的位置；对垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓进行聚类，得到类别垃圾组集合；根据类别垃圾组集合和目标时间间隔后各个垃圾轮廓对应的位置，确定第二相机所需移动的位移，作为第二相机位移；根据第二相机位移，移动第二相机，通过第二相机采集垃圾图像；根据上述垃圾图像，调节目标清扫车的扫盘档位，清扫上述类别垃圾集合中各个类别垃圾。

第二方面，本公开提供了一种基于视觉感知的清扫车垃圾清扫系统，包括处理器和存储器，上述处理器用于处理存储在上述存储器中的指令以实现上述的基于视觉感知的清扫车垃圾清扫方法。

本公开具有如下有益效果：通过本公开的基于视觉感知的清扫车垃圾清扫方法，提高了路面垃圾识别和处理的准确度。具体来说，导致路面垃圾识别的准确度低下，从而导致垃圾清理有遗漏，进而导致路面垃圾处理的准确度低下的原因在于：由于驾驶人员往往需要时刻观察道路路况，专心开车，保障驾驶安全，往往不能实时监控路面垃圾情况，往往导致路面垃圾识别的准确度低下，从而导致垃圾清理有遗漏，进而导致路面垃圾处理的准确度低下。因此，当人工驾驶清扫车采用同一个扫盘档位进行垃圾清理时，往往导致路面垃圾识别的准确度低下，从而导致垃圾清理有遗漏，进而导致路面垃圾处理的准确度低下。基于此，本公开的基于视觉感知的清扫车垃圾清扫方法，采用图像数据处理的方式，进行相关的图像数据处理，解决了路面垃圾识别和处理的准确度低下的技术问题，产生了提高了路面垃圾识别和处理的准确度的技术效果。首先，通过第一相机获取目标图像序列，对目标图像序列中的每个目标图像进行预处理，确定上述目标图像对应的垃圾轮廓图像，得到垃圾轮廓图像序列。由于驾驶人员往往需要时刻观察道路路况，专心开车，保障驾驶安全，往往不能实时监控路面垃圾情况，通过实时拍摄目标图像可以实现对路况的实时监控，可以实时监控路面垃圾情况。其次，根据垃圾轮廓图像序列，确定垃圾轮廓图像序列中的垃圾轮廓图像中的每个垃圾轮廓对应的运动矢量，得到运动矢量集合序列。接着，根据运动矢量集合序列中的最后一个运动矢量集合、垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓对应的位置和垃圾轮廓图像序列中的最后一帧垃圾轮廓图像的时间与预设的第二相机采集图像的时间之间的目标时间间隔，预测目标时间间隔后各个垃圾轮廓对应的位置。通过运动矢量预测目标时间间隔后各个垃圾轮廓对应的位置，提高了位置预测的准确性。然后，对垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓进行聚类，得到类别垃圾组集合。对垃圾进行聚类，可以明确垃圾种类。之后，根据类别垃圾组集合和目标时间间隔后各个垃圾轮廓对应的位置，确定第二相机所需移动的位移，作为第二相机位移。通过移动第二相机，可以改变拍摄的垃圾轮廓的大小。比如，第二相机向左移动时，拍摄物体左边的轮廓会变大，而拍摄的右侧的轮廓会变小。相反的，第二相机右移时，拍摄物体左边的轮廓会变小，右边的轮廓变大。而后，根据第二相机位移，移动第二相机，通过第二相机采集垃圾图像。通过移动第二相机可以采集包括的垃圾信息比较全面的垃圾图像。最后，根据上述垃圾图像，调节目标清扫车的扫盘档位，清扫上述类别垃圾集合中各个类别垃圾。可以实时监控路面垃圾情况，提高了路面垃圾识别和处理的准确度。

进一步的，上述对目标图像序列中的每个目标图像进行预处理，确定上述目标图像对应的垃圾轮廓图像，包括：

标记分割上述目标图像中的各个垃圾区域，得到上述目标图像对应的垃圾区域图像；

对上述目标图像对应的垃圾区域图像中的各个垃圾区域进行边缘检测，得到上述目标图像对应的垃圾轮廓图像。

进一步的，上述根据垃圾轮廓图像序列，确定垃圾轮廓图像序列中的垃圾轮廓图像中的每个垃圾轮廓对应的运动矢量，得到运动矢量集合序列，包括：

根据目标清扫车的运动速度，确定第一运动矢量准确性；

对垃圾轮廓图像序列中的每个垃圾轮廓图像中的各个垃圾轮廓进行腐蚀操作，确定上述垃圾轮廓图像对应的垃圾腐蚀轮廓图像，得到垃圾腐蚀轮廓图像序列；

对垃圾腐蚀轮廓图像序列中的每个垃圾腐蚀轮廓图像包含的各个垃圾腐蚀轮廓划分成多个预设大小的像素块，确定上述垃圾腐蚀轮廓图像对应的像素块组集合；

通过合并相似性公式，确定上述像素块组集合中相邻两个像素块的合并相似性，上述合并相似性公式为：

其中，

响应于上述像素块组集合中相邻两个像素块的合并相似性大于预设合并阈值，将上述像素块组集合中相邻两个像素块进行合并，其中，进行合并的像素块对应的运动矢量一样；

从垃圾腐蚀轮廓图像序列中的每个垃圾腐蚀轮廓图像对应的像素块组集合中筛选出满足目标筛选条件的像素块，确定上述垃圾腐蚀轮廓图像对应的目标像素块组集合，其中，上述目标筛选条件是像素块组集合中的像素块对应的运动矢量不同，目标像素块组集合是像素块组集合中去除了进行合并的像素块；

根据高斯模板，确定垃圾腐蚀轮廓图像序列中的垃圾腐蚀轮廓图像对应的目标像素块组集合中的每个目标像素块对应的高斯模板窗口，上述高斯模板为：

其中，上述高斯模板是

根据垃圾腐蚀轮廓图像序列中的垃圾腐蚀轮廓图像对应的目标像素块组集合中的每个目标像素块对应的高斯模板窗口，通过第二运动矢量公式，确定上述目标像素块对应的第二运动矢量准确性，上述第二运动矢量公式为：

其中，

根据垃圾腐蚀轮廓图像序列中的垃圾腐蚀轮廓图像对应的目标像素块组集合中的每个目标像素块对应的高斯模板窗口和第二运动矢量准确性，确定上述目标像素块对应的预测运动矢量；

根据上述第一运动矢量准确性和垃圾轮廓图像序列中的垃圾轮廓图像对应的目标像素块组集合中的每个目标像素块对应的第二运动矢量准确性，确定上述目标像素块对应的运动矢量总准确性；

根据垃圾轮廓图像序列中的垃圾轮廓图像对应的目标像素块组集合中的每个目标像素块对应的运动矢量总准确性，确定上述目标像素块所在的搜索窗口的大小；

根据垃圾轮廓图像序列中的垃圾轮廓图像内每个目标像素块所在的搜索窗口的大小，确定上述目标像素块对应的运动矢量。

进一步的，上述确定上述目标像素块对应的预测运动矢量对应的公式为：

其中，

进一步的，上述确定上述目标像素块对应的运动矢量总准确性对应的公式为：

其中，

进一步的，上述确定上述目标像素块所在的搜索窗口的大小对应的公式为：

其中，

进一步的，上述根据运动矢量集合序列中的最后一个运动矢量集合、垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓对应的位置和垃圾轮廓图像序列中的最后一帧垃圾轮廓图像的时间与预设的第二相机采集图像的时间之间的目标时间间隔，预测目标时间间隔后各个垃圾轮廓对应的位置，包括：

根据目标时间间隔、垃圾轮廓图像序列中的最后一帧垃圾轮廓图像内每个目标像素块对应的运动矢量和位置，通过预测位置公式，预测上述目标像素块在目标时间间隔后对应的位置，上述预测位置公式为：

其中，

进一步的，上述根据类别垃圾组集合和目标时间间隔后各个垃圾轮廓对应的位置，确定第二相机所需移动的位移，作为第二相机位移，包括：

确定类别垃圾组集合中每个类别垃圾组中各个类别垃圾的总面积，得到总面积集合；

从上述总面积集合中筛选出总面积最小的总面积，作为待放大垃圾轮廓面积；

根据上述待放大垃圾轮廓面积和目标时间间隔后各个垃圾轮廓对应的位置，确定第二相机位移。

进一步的，上述确定第二相机位移对应的公式为：

其中，

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为根据本公开的基于视觉感知的清扫车垃圾清扫方法的一些实施例的流程图。

具体实施方式

为了更进一步阐述本公开为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本公开提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一个实施例。此外，一个或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。

本实施例提供了一种基于视觉感知的清扫车垃圾清扫方法，该方法包括以下步骤：

通过第一相机获取目标图像序列，对目标图像序列中的每个目标图像进行预处理，确定上述目标图像对应的垃圾轮廓图像，得到垃圾轮廓图像序列；

根据垃圾轮廓图像序列，确定垃圾轮廓图像序列中的垃圾轮廓图像中的每个垃圾轮廓对应的运动矢量，得到运动矢量集合序列；

根据运动矢量集合序列中的最后一个运动矢量集合、垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓对应的位置和垃圾轮廓图像序列中的最后一帧垃圾轮廓图像的时间与预设的第二相机采集图像的时间之间的目标时间间隔，预测目标时间间隔后各个垃圾轮廓对应的位置；

对垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓进行聚类，得到类别垃圾组集合；

根据类别垃圾组集合和目标时间间隔后各个垃圾轮廓对应的位置，确定第二相机所需移动的位移，作为第二相机位移；

根据第二相机位移，移动第二相机，通过第二相机采集垃圾图像；

根据上述垃圾图像，调节目标清扫车的扫盘档位，清扫上述类别垃圾集合中各个类别垃圾。

下面对上述各个步骤进行详细展开：

参考图1，示出了根据本公开的基于视觉感知的清扫车垃圾清扫方法的一些实施例的流程。该基于视觉感知的清扫车垃圾清扫方法，包括以下步骤：

步骤S1，通过第一相机获取目标图像序列，对目标图像序列中的每个目标图像进行预处理，确定目标图像对应的垃圾轮廓图像，得到垃圾轮廓图像序列。

在一些实施例中，基于视觉感知的清扫车垃圾清扫方法的执行主体（例如计算设备）可以通过第一相机获取目标图像序列，对目标图像序列中的每个目标图像进行预处理，确定上述目标图像对应的垃圾轮廓图像，得到垃圾轮廓图像序列。

需要说明的是，上述计算设备可以是硬件，也可以是软件。当计算设备为硬件时，可以实现成多个服务器或终端设备组成的分布式集群，也可以实现成单个服务器或单个终端设备。当计算设备体现为软件时，可以安装在上述所列举的硬件设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。

其中，第一相机可以是固定在目标清扫车的前方的摄像机。第一相机可以用于拍摄目标清扫车的前方道路垃圾状况的相机。目标清扫车可以是固定有第一相机和第二相机，用于清扫垃圾的车辆。第二相机可以是在目标清扫车的前方可以左右移动的摄像机。第二相机的初始位置可以是在第一相机的上方。目标图像序列中的目标图像可以是第一相机拍摄的目标清扫车的前方道路垃圾状况的图像。第一相机采集目标图像序列中每相邻的两个目标图像之间的时间间隔可以相同。

作为示例，本步骤可以包括以下步骤：

第一步，通过第一相机获取目标图像序列。

第二步，对目标图像序列中的每个目标图像进行预处理，确定上述目标图像对应的垃圾轮廓图像，得到垃圾轮廓图像序列。

例如，本步骤可以包括以下子步骤：

第一子步骤，标记分割上述目标图像中的各个垃圾区域，得到上述目标图像对应的垃圾区域图像。

比如，上述执行主体可以通过语义分割方法，将上述目标图像中的各个垃圾区域识别出来，得到上述目标图像对应的垃圾区域图像。

第二子步骤，对上述目标图像对应的垃圾区域图像中的各个垃圾区域进行边缘检测，得到上述目标图像对应的垃圾轮廓图像。

比如，上述执行主体可以通过边缘检测算法，对上述目标图像对应的垃圾区域图像中的各个垃圾区域进行边缘检测，得到上述目标图像对应的垃圾轮廓图像。

步骤S2，根据垃圾轮廓图像序列，确定垃圾轮廓图像序列中的垃圾轮廓图像中的每个垃圾轮廓对应的运动矢量，得到运动矢量集合序列。

在一些实施例中，上述执行主体可以根据垃圾轮廓图像序列，确定垃圾轮廓图像序列中的垃圾轮廓图像中的每个垃圾轮廓对应的运动矢量，得到运动矢量集合序列。

其中，垃圾轮廓可以是垃圾区域的边缘。垃圾轮廓图像序列中的第一帧垃圾轮廓图像中的垃圾轮廓没有对应的运动矢量。可以根据第一帧垃圾轮廓图像，确定垃圾轮廓图像序列中的第二帧垃圾轮廓图像中的垃圾轮廓对应的运动矢量。垃圾轮廓图像序列中的第三帧及第三帧以后的垃圾轮廓图像中的垃圾轮廓对应的运动矢量，可以通过以下方式确定。

作为示例，本步骤可以包括以下步骤：

第一步，根据目标清扫车的运动速度，确定第一运动矢量准确性。

其中，上述第一运动矢量准确性可以表征运动矢量计算的准确性。

例如，上述执行主体可以根据目标清扫车的运动速度，通过以下公式，确定第一运动矢量准确性：

其中，

目标清扫车的运动速度越慢，计算的运动矢量往往越准确。

第二步，对垃圾轮廓图像序列中的每个垃圾轮廓图像中的各个垃圾轮廓进行腐蚀操作，确定上述垃圾轮廓图像对应的垃圾腐蚀轮廓图像，得到垃圾腐蚀轮廓图像序列。

其中，上述腐蚀操作可以包括预设次数的图像腐蚀操作。上述预设次数可以是5次。

第三步，对垃圾腐蚀轮廓图像序列中的每个垃圾腐蚀轮廓图像包含的各个垃圾腐蚀轮廓划分成多个预设大小的像素块，确定上述垃圾腐蚀轮廓图像对应的像素块组集合。

其中，像素块的形状可以是正方形。上述预设大小可以是预先设置的大小。垃圾腐蚀轮廓图像对应的像素块组集合中的像素块组可以由垃圾腐蚀轮廓图像中的一个垃圾腐蚀轮廓上的所有的像素块组成。垃圾腐蚀轮廓可以是腐蚀后的垃圾轮廓。

第四步，通过合并相似性公式，确定上述像素块组集合中相邻两个像素块的合并相似性，上述合并相似性公式为：

其中，

第五步，响应于上述像素块组集合中相邻两个像素块的合并相似性大于预设合并阈值，将上述像素块组集合中相邻两个像素块进行合并。

其中，可以进行合并的像素块对应的运动矢量一样。上述预设合并阈值可以是0.5。

由于像素块的运动矢量可能是一样的，所以可以先对运动矢量可能相同的像素块进行合并，对于运动矢量相同的像素块只需进行一次运动矢量的计算，减少了计算量。

第六步，从垃圾腐蚀轮廓图像序列中的每个垃圾腐蚀轮廓图像对应的像素块组集合中筛选出满足目标筛选条件的像素块，确定上述垃圾腐蚀轮廓图像对应的目标像素块组集合。

其中，上述目标筛选条件可以是像素块组集合中的像素块对应的运动矢量不同。目标像素块组集合可以是像素块组集合中去除了进行合并的像素块。如，像素块组集合中的像素块可以包括：像素块1，像素块2和像素块3。其中，像素块1和像素块2可以合并。则目标像素块组集合中的目标像素块可以包括：像素块1和像素块3。

第七步，根据高斯模板，确定垃圾腐蚀轮廓图像序列中的垃圾腐蚀轮廓图像对应的目标像素块组集合中的每个目标像素块对应的高斯模板窗口，上述高斯模板为：

其中，上述高斯模板可以是

第八步，根据垃圾腐蚀轮廓图像序列中的垃圾腐蚀轮廓图像对应的目标像素块组集合中的每个目标像素块对应的高斯模板窗口，通过第二运动矢量公式，确定上述目标像素块对应的第二运动矢量准确性，上述第二运动矢量公式为：

其中，

像素块周围像素块的运动往往与中心像素块的运动趋势是一致的，所以分析当前帧垃圾轮廓图像上像素块的运动矢量时，不仅可以参考上一帧垃圾轮廓图像上的高斯模板窗口的中心像素块的运动矢量，还可以参考上一帧垃圾轮廓图像上的高斯模板窗口的中心像素块的周围像素块的运动矢量，且参考越多，得到的运动矢量的预测值越准确。

第九步，根据垃圾腐蚀轮廓图像序列中的垃圾腐蚀轮廓图像对应的目标像素块组集合中的每个目标像素块对应的高斯模板窗口和第二运动矢量准确性，确定上述目标像素块对应的预测运动矢量。

其中，预测运动矢量可以是预测的运动矢量的可能值。

例如，上述执行主体可以确定上述目标像素块对应的预测运动矢量对应的公式为：

其中，

第十步，根据上述第一运动矢量准确性和垃圾轮廓图像序列中的垃圾轮廓图像对应的目标像素块组集合中的每个目标像素块对应的第二运动矢量准确性，确定上述目标像素块对应的运动矢量总准确性。

例如，上述确定上述目标像素块对应的运动矢量总准确性对应的公式为：

其中，

第十一步，根据垃圾轮廓图像序列中的垃圾轮廓图像对应的目标像素块组集合中的每个目标像素块对应的运动矢量总准确性，确定上述目标像素块所在的搜索窗口的大小。

其中，搜索窗口可以表征目标像素块可能所在的区域。搜索窗口可以是正方形窗口。

例如，上述确定上述目标像素块所在的搜索窗口的大小对应的公式为：

其中，

第十二步，根据垃圾轮廓图像序列中的垃圾轮廓图像内每个目标像素块所在的搜索窗口的大小，确定上述目标像素块对应的运动矢量。

例如，本步骤可以包括以下子步骤：

第一子步骤，对垃圾轮廓图像序列中的每帧垃圾轮廓图像进行灰度化处理，得到上述垃圾轮廓图像对应的灰度直方图。

第二子步骤，对垃圾轮廓图像序列中的每帧垃圾轮廓图像对应的灰度直方图进行聚类，得到上述垃圾轮廓图像对应的灰度直方图对应的八个灰度级范围。

比如，上述执行主体可以k-means聚类算法，对垃圾轮廓图像对应的灰度直方图中的灰度级进行聚类，得到上述灰度直方图对应的八个灰度级范围。其中，k值为8。

第三子步骤，确定垃圾轮廓图像序列中的相邻两帧垃圾轮廓图像中的前一帧垃圾轮廓图像内每个目标像素块与上述目标像素块对应的在上述相邻两帧垃圾轮廓图像中的后一帧垃圾轮廓图像内的搜索窗口内的各个目标像素块的相似性。

比如，上述执行主体可以通过以下公式，确定垃圾轮廓图像序列中的相邻两帧垃圾轮廓图像中的前一帧垃圾轮廓图像内每个目标像素块与上述目标像素块对应的在上述相邻两帧垃圾轮廓图像中的后一帧垃圾轮廓图像内的搜索窗口内的各个目标像素块的相似性：

其中，

第四子步骤，将垃圾轮廓图像序列中的相邻两帧垃圾轮廓图像中的前一帧垃圾轮廓图像内每个目标像素块与上述目标像素块对应的在上述相邻两帧垃圾轮廓图像中的后一帧垃圾轮廓图像内的搜索窗口内的各个目标像素块的相似性中最大的相似性，确定为上述目标像素块对应的最大相似性。

第五子步骤，对于垃圾轮廓图像序列中的相邻两帧垃圾轮廓图像中的前一帧垃圾轮廓图像内每个目标像素块，根据上述目标像素块对应的最大相似性，确定上述目标像素块对应的在上述相邻两帧垃圾轮廓图像中的后一帧垃圾轮廓图像内目标像素块的运动矢量。

比如，垃圾轮廓图像序列中的相邻两帧垃圾轮廓图像中的前一帧垃圾轮廓图像内的像素块A在上述相邻两帧垃圾轮廓图像中的后一帧垃圾轮廓图像内的搜索窗口内有像素块B和像素块C。其中，像素块A与像素块B之间的相似性大于像素块A与像素块C之间的相似性。则可以认为像素块A与像素块B最相似。可以将像素块A与像素块B之间的运动矢量作为像素块B的运动矢量。

步骤S3，根据运动矢量集合序列中的最后一个运动矢量集合、垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓对应的位置和垃圾轮廓图像序列中的最后一帧垃圾轮廓图像的时间与预设的第二相机采集图像的时间之间的目标时间间隔，预测目标时间间隔后各个垃圾轮廓对应的位置。

在一些实施例中，上述执行主体可以根据运动矢量集合序列中的最后一个运动矢量集合、垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓对应的位置和垃圾轮廓图像序列中的最后一帧垃圾轮廓图像的时间与预设的第二相机采集图像的时间之间的目标时间间隔，预测目标时间间隔后各个垃圾轮廓对应的位置。

其中，位置可以用坐标表征。

作为示例，上述执行主体可以根据目标时间间隔、垃圾轮廓图像序列中的最后一帧垃圾轮廓图像内每个目标像素块对应的运动矢量和位置，通过预测位置公式，预测上述目标像素块在目标时间间隔后对应的位置，上述预测位置公式为：

其中，

步骤S4，对垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓进行聚类，得到类别垃圾组集合。

在一些实施例中，上述执行主体可以对垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓进行聚类，得到类别垃圾组集合。

其中，类别垃圾组集合中的每个类别垃圾组中的各个类别垃圾可以是同一类垃圾。

作为示例，上述执行主体可以通过均值漂移算法对垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓进行聚类，得到类别垃圾组集合。其中，聚类的考虑因素可以是灰度值以及纹理。

步骤S5，根据类别垃圾组集合和目标时间间隔后各个垃圾轮廓对应的位置，确定第二相机所需移动的位移，作为第二相机位移。

在一些实施例中，上述执行主体可以根据类别垃圾组集合和目标时间间隔后各个垃圾轮廓对应的位置，确定第二相机所需移动的位移，作为第二相机位移。

作为示例，本步骤可以包括以下步骤：

第一步，确定类别垃圾组集合中每个类别垃圾组中各个类别垃圾的总面积，得到总面积集合。

第二步，从上述总面积集合中筛选出总面积最小的总面积，作为待放大垃圾轮廓面积。

第三步，根据上述待放大垃圾轮廓面积和目标时间间隔后各个垃圾轮廓对应的位置，确定第二相机位移。

上述确定第二相机位移对应的公式为：

其中，

步骤S6，根据第二相机位移，移动第二相机，通过第二相机采集垃圾图像。

在一些实施例中，上述执行主体可以根据第二相机位移，移动第二相机，通过第二相机采集垃圾图像。

其中，上述垃圾图像可以是第二相机采集目标清扫车的前方道路垃圾状况的图像。

作为示例，首先，上述执行主体可以根据第二相机位移，移动第二相机到第二相机位移处。接着，在预设时刻，上述执行主体可以通过第二相机采集垃圾图像。其中，上述预设时刻与采集最后一帧垃圾轮廓图像的时刻之间的时长可以是目标时间间隔。

步骤S7，根据垃圾图像，调节目标清扫车的扫盘档位，清扫类别垃圾集合中各个类别垃圾。

在一些实施例中，上述执行主体可以根据上述垃圾图像，调节目标清扫车的扫盘档位，清扫上述类别垃圾集合中各个类别垃圾。

作为示例，首先，上述执行主体可以将上述垃圾图像输入至神经网络中，得到上述垃圾图像包括的垃圾类别。接着，上述执行主体可以根据垃圾类别，调节目标清扫车的扫盘档位，清扫上述类别垃圾集合中各个类别垃圾。例如，神经网络识别的垃圾是树叶或者烟头这些比较轻的垃圾种类，目标清扫车的扫盘一个很小的功率就可以把它们扫起来，即需要一个较小的扫盘档位。神经网络识别的垃圾是玻璃渣或小铁块可以就需要一个较大的扫盘档位。

基于与上述方法实施例相同的发明构思，本实施例提供了一种基于视觉感知的清扫车垃圾清扫系统，该系统包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，上述计算机程序被处理器执行时实现一种基于视觉感知的清扫车垃圾清扫方法的步骤。

本公开的上述各个实施例中具有如下有益效果：通过本公开的一些实施例的基于视觉感知的清扫车垃圾清扫方法，提高了路面垃圾识别和处理的准确度。具体来说，导致路面垃圾识别的准确度低下，从而导致垃圾清理有遗漏，进而导致路面垃圾处理的准确度低下的原因在于：由于驾驶人员往往需要时刻观察道路路况，专心开车，保障驾驶安全，往往不能实时监控路面垃圾情况，往往导致路面垃圾识别的准确度低下，从而导致垃圾清理有遗漏，进而导致路面垃圾处理的准确度低下。因此，当人工驾驶清扫车采用同一个扫盘档位进行垃圾清理时，往往导致路面垃圾识别的准确度低下，从而导致垃圾清理有遗漏，进而导致路面垃圾处理的准确度低下。基于此，本公开的一些实施例的基于视觉感知的清扫车垃圾清扫方法，采用图像数据处理的方式，进行相关的图像数据处理，解决了路面垃圾识别和处理的准确度低下的技术问题，产生了提高了路面垃圾识别和处理的准确度的技术效果。首先，通过第一相机获取目标图像序列，对目标图像序列中的每个目标图像进行预处理，确定上述目标图像对应的垃圾轮廓图像，得到垃圾轮廓图像序列。由于驾驶人员往往需要时刻观察道路路况，专心开车，保障驾驶安全，往往不能实时监控路面垃圾情况，通过实时拍摄目标图像可以实现对路况的实时监控，可以实时监控路面垃圾情况。其次，根据垃圾轮廓图像序列，确定垃圾轮廓图像序列中的垃圾轮廓图像中的每个垃圾轮廓对应的运动矢量，得到运动矢量集合序列。接着，根据运动矢量集合序列中的最后一个运动矢量集合、垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓对应的位置和垃圾轮廓图像序列中的最后一帧垃圾轮廓图像的时间与预设的第二相机采集图像的时间之间的目标时间间隔，预测目标时间间隔后各个垃圾轮廓对应的位置。通过运动矢量预测目标时间间隔后各个垃圾轮廓对应的位置，提高了位置预测的准确性。然后，对垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓进行聚类，得到类别垃圾组集合。对垃圾进行聚类，可以明确垃圾种类。之后，根据类别垃圾组集合和目标时间间隔后各个垃圾轮廓对应的位置，确定第二相机所需移动的位移，作为第二相机位移。通过移动第二相机，可以改变拍摄的垃圾轮廓的大小。比如，第二相机向左移动时，拍摄物体左边的轮廓会变大，而拍摄的右侧的轮廓会变小。相反的，第二相机右移时，拍摄物体左边的轮廓会变小，右边的轮廓变大。而后，根据第二相机位移，移动第二相机，通过第二相机采集垃圾图像。通过移动第二相机可以采集包括的垃圾信息比较全面的垃圾图像。最后，根据上述垃圾图像，调节目标清扫车的扫盘档位，清扫上述类别垃圾集合中各个类别垃圾。可以实时监控路面垃圾情况，提高了路面垃圾识别和处理的准确度。

需要说明的是：上述本公开实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。