抛洒物识别、车辆抛洒滴漏识别方法和装置

技术领域

本申请涉及图像处理及机器学习技术领域，特别是涉及抛洒物识别、车辆抛洒滴漏识别方法和装置。

背景技术

城市的发展离不开基础设施的建设，随着我国经济社会的快速发展，政府对于城市治理的要求也越来越高，野蛮式的工程车运输方式已经成为当今城市管理中亟待解决的问题；抛洒滴漏是工程车运输过程中最常发生的现象，由于渣土和泥浆装载不规范造成运输过程中意外抛洒滴漏，不仅造成了城市道路不洁、扬尘的问题，而且大规模的抛洒物更容易造成交通事故，危害行车人员的生命财产安全；抛洒滴漏已经给交通管理和城市管理人员造成了极大的挑战。

目前解决抛洒滴漏的问题主要有两种常见策略，人工检查和智能监控监测。人工检查需要经验丰富的城市管理人员根据渣土运输路线排查常发生抛洒滴漏的路段，随着城市化的发展，需要排查的路段越来越多，排查工作的难度也越来越大；智能监控监测就是对交通流数据进行分析，利用智能检测算法及时地对疑似抛洒物进行告警，这种策略可以极大的提高抛洒物发现的效率。

其中智能检测算法得益于图像处理和机器学习技术的发展，是当下计算机技术研究的一个重要课题方向，通过利用相关的技术方法对图像进行建模运算，利用获取的特征，高效的解决了实际生产、生活中的问题。运动目标检测是一种常见的机器学习算法，通过提取视频或图像序列中的空间位置发生变化的物体，把它们作为前景标识出来，可以高效的构建前景和背景，使得它在智能交通等领域有着广泛的应用。

尽管智能检测算法已经得到了快速的进展，但是在工程车抛洒滴漏识别任务的实际设计和使用中仍面临许多问题，主要体现在以下两个方面：

（1）在交通环境背景下，场景应用较为复杂，存在光照变化、天气变化、相机抖动等诸多问题，导致场景中的噪声较多，造成抛洒物识别的误报较高，直接影响了实际应用的效果；如何降低抛洒滴漏识别的误报仍然是一个问题；

（2）抛洒滴漏大多数情况下都是较小的目标且数据较难以收集，没有足量的数据，无法发挥深度学习的优势，工程车抛洒的渣土与周边环境极为相似，提升抛洒物的准确率的问题仍然是较大的挑战；

（3）传统运动目标检测算法中，提取的抛洒物在前景中存在时间较短，不利于提高提取抛洒物的识别能力，如何延长抛洒物在前景中的滞留时间也是提升抛洒物识别准确率的关键。

发明内容

本申请实施例提供了抛洒物识别、车辆抛洒滴漏识别方法和装置，能够在视频帧序列中经多次筛选得到抛洒物，提高对抛洒物识别的准确性；并基于车辆运动方向过滤不合理位置的抛洒物，得到正确的车和抛洒物的匹配结果。

第一方面，本申请实施例提供了一种抛洒物识别方法，包括以下步骤：获取视频帧序列，在所述视频帧序列中提取出运动目标；对所述运动目标进行处理，得到疑似抛洒物；获取抛洒物样本数据，对所述抛洒物样本数据的像素进行聚类，得到聚类结果；获取所述疑似抛洒物的像素值，对所述像素值在所述聚类结果内的所述疑似抛洒物进行识别，得到抛洒物。

本实施例从图像中提取疑似抛洒物，通过像素点聚类、识别模型对疑似抛洒物进行粗分和细分定位得到抛洒物，通过多次筛选保证了对抛洒物识别的准确性。

在其中一个实施例中，“在所述视频帧序列中提取出运动目标”包括：将所述视频帧序列输入高斯混合模型中，计算像素与所述像素对应高斯分布之间的均值；将所述均值与初始背景阈值进行比对，若所述均值小于所述初始背景阈值，对运动目标的前景和背景进行初步划分；若所述均值大于所述初始背景阈值，设置背景变化率对所述初始背景阈值进行更新，将所述均值与更新后的初始背景阈值进行比对，若所述均值小于所述更新后的初始背景阈值，对运动目标的前景和背景进行再次划分。

在其中一个实施例中，“对所述运动目标进行处理，得到疑似抛洒物”包括：对提取出所述运动目标的图像帧序列进行灰度化处理，对得到的灰度化图像进行二值化处理，得到所述图像帧序列的二值图像；对所述二值图像进行形态学膨胀操作，对形态学膨胀操作后的所述二值图像进行连通域检测，将检测到的连通域的内部进行填充，得到运动目标增强后图像；对所述运动目标增强后图像进行去噪，提取出疑似抛洒物。

在本实施例中，通过对运动目标进行形态学处理，对运动目标增强和去噪，突出有用信息的细节、减少图像中干扰信息从而提高了疑似抛洒物的识别效率。

在其中一个实施例中，所述聚类的方法为Kmeans算法，“对所述抛洒物样本数据的像素进行聚类”包括：获取抛洒物样本数据中的抛洒物类型；根据所述抛洒物样本数据聚类出与所述抛洒物类型对应的抛洒物像素值的分布范围，其结果表示为[

在本实施例中通过Kemeans算法聚类出N个抛洒物像素值的分布结果，利用聚类出的分布结果对获取到的疑似抛洒物进行前处理，筛选过滤掉像素范围不在分布结果内的疑似抛洒物。

在其中一个实施例中，“对所述像素值在所述聚类结果内的所述疑似抛洒物进行识别，得到抛洒物”包括：将所述像素值在所述聚类结果内的所述疑似抛洒物输入抛洒物识别模型中，其中所述抛洒物识别模型包括特征增强网络、预测网络，所述特征增强网络的其中一支路上采用1x1卷积、3x3 depth-wise卷积和1x1卷积对输入特征进行特征增强，另一支路上采用全局池化层、1x1卷积和sigmoid门控制单元将所述输入特征在深度上加权成新的特征；将特征增加后的特征和深度上加权后的特征进行元素级相加，输出目标特征；所述目标特征被输入至所述预测网络中预测出抛洒物位置从而识别到所述抛洒物。

在本实施例中，抛洒物识别模型增加了特征选择能力，提高了重要特征的关注度，通过提高模型的识别能力增加了抛洒物的检测精度。

第二方面，本申请实施例提供了一种车辆抛洒滴漏方法，包括以下步骤：在视频帧中提取抛洒物和车辆，其中，所述视频帧从视频帧序列中获得；识别所述视频帧中车辆的运动方向，基于所述运动方向设置阈值；获取所述抛洒物和所述车辆位置接近的时刻，计算该时刻下二者的距离，若距离小于所述阈值，则判断所述车辆为涉案车辆。

在本实施例中，基于车辆的运动方向将车辆与抛洒物进行关联匹配，将关联程度符合阈值的车辆和抛洒物输出。通过关联匹配筛除出现在不合理位置的抛洒物，最终得到准确的匹配结果，提高了对于抛洒滴漏的涉案车辆的判断效率。

在其中一个实施例中，“在视频帧中提取车辆”包括：将包含有所述抛洒物的视频帧输入车辆检测模型中，得到所述车辆检测模型输出的车辆包围框从而识别到车辆。

在其中一个实施例中，“获取所述抛洒物和所述车辆位置接近的时刻，计算该时刻下二者的距离”包括：获取所述抛洒物的抛洒物包围框、所述车辆的车辆包围框；判断所述视频帧序列中所述抛洒物包围框、所述车辆包围框之间的位置变化，获取位置接近的时刻；计算该时刻下二者的距离，其中，所述距离包括欧氏距离。

在本实施例中，以抛洒物包围框与车辆包围框的欧式距离衡量抛洒物与车辆的关系，起到量化抛洒物与车辆的关联程度的有益效果。

在其中一个实施例中，包括：获取抛洒物样本数据中的每帧图像内的车辆样本与抛洒物样本间的距离；所述阈值与每一运动方向下的车辆样本与抛洒物样本间的距离相关联。

在本实施例中，所述阈值用于过滤掉与抛洒物样本数据相比，在车辆运动方向上处于不合理位置的所述抛洒物，阈值与抛洒物样本数据中的车辆样本与抛洒物样本间的距离相关，避免人为设置阈值存在的主观性和偶然性。

在其中一个实施例中，所述方法还包括：保存涉案车辆在该时刻下的视频帧。

在本实施例中，保存视频帧以方便后续对涉案车辆的管理。

在其中一个实施例中，在“在视频帧中提取抛洒物和车辆”之前，所述方法包括：在视频帧序列中查找同时出现车辆和抛洒物的视频帧。

在本实施例中，先对视频帧序列做前处理，查找出同时出现车辆和抛洒物的视频帧，在后续的提取步骤中只需对同时出现车辆和抛洒物的视频帧进行处理，提高了处理效率。

在其中一个实施例中，基于视频帧序列中车辆的运动轨迹确定视频帧中车辆的运动方向。

在本实施例中，运动轨迹能反映车辆的实际运动方向，能避免获取单帧图像中的车辆方向造成的运动方向的识别错误。

第三方面，本申请实施例提供了一种抛洒物识别装置，包括：运动目标提取模块，用于获取视频帧序列，在所述视频帧序列中提取出运动目标；处理模块，用于对所述运动目标进行处理，得到疑似抛洒物；聚类模块，用于获取抛洒物样本数据，对所述抛洒物样本数据的像素进行聚类，得到聚类结果；抛洒物识别模块，用于获取所述疑似抛洒物的像素值，对所述像素值在所述聚类结果内的所述疑似抛洒物进行识别，得到抛洒物。

第四方面，本申请实施例提供了一种车辆抛洒滴漏识别装置，包括：抛洒物及车辆提取模块，用于应用抛洒物识别方法对视频帧序列进行处理，得到抛洒物；在视频帧中提取车辆，其中，所述视频帧从所述视频帧序列中获得；运动方向识别模块，用于识别所述视频帧中车辆的运动方向，基于所述运动方向设置阈值；计算模块，用于获取所述抛洒物和所述车辆位置接近的时刻，计算该时刻下二者的距离，若距离小于所述阈值，则判断所述车辆为涉案车辆。

第五方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行第一方面所述的抛洒物识别方法或第二方面所述的车辆抛洒滴漏识别方法。

第六方面，本申请实施例提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为由处理器运行时执行第一方面所述的抛洒物识别方法或第二方面所述的车辆抛洒滴漏识别方法。

本发明的主要贡献和创新点如下：

本申请实施例提出了一种抛洒物识别方法，能够在视频帧序列中先提取出运动目标，对运动目标的图像进行形态学的加强和去噪操作，提高疑似抛洒物的识别精度，进一步通过像素点聚类、识别模型对疑似抛洒物进行粗分和细分定位得到抛洒物，通过多次筛选保证了对抛洒物识别的准确性。

本申请实施例提出了一种车辆抛洒滴漏识别方法，引入车辆运动方向过滤不合理位置的抛洒物，得到正确的车和抛洒物的匹配结果，减少误判。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的抛洒物识别方法的流程图；

图2是根据本申请实施例的改进的混合高斯滤波效果图；

图3是根据本申请实施例的特征增强网络的网络结构示意图；

图4是根据本申请实施例的获取抛洒物与涉案车辆的流程图；

图5是根据本申请实施例的车辆抛洒滴漏识别方法的流程图；

图6是根据本申请实施例的疑似抛洒物不合理位置示意图；

图7是根据本申请实施例的抛洒物识别装置的结构框图；

图8是根据本申请实施例的车辆抛洒滴漏识别装置的结构框图；

图9是根据本申请实施例的电子装置的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

实施例一

图1是根据本申请实施例的抛洒物识别方法的流程图，如图1所述，所述方法包括以下步骤S101至S104：

步骤S101、获取视频帧序列，在所述视频帧序列中提取出运动目标；

步骤S102、对所述运动目标进行处理，得到疑似抛洒物；

步骤S103、获取抛洒物样本数据，对所述抛洒物样本数据的像素进行聚类，得到聚类结果；

步骤S104、获取所述疑似抛洒物的像素值，对所述像素值在所述聚类结果内的所述疑似抛洒物进行识别，得到抛洒物。

在步骤S101中，可以设置监控摄像头对目标路段的车辆进行拍摄，获取其拍摄到的视频。视频帧序列是视频逐帧分解成的有序图像集合。在视频帧序列中通过混合高斯模型提取出运动目标，混合高斯模型可以从现有技术中的OpenCV的video module中直接获取并使用。

在本步骤中，为了提高对运动目标的提取精度，本方案提出了一种改进的混合高斯模型对运动目标进行提取。“在所述视频帧序列中提取出运动目标”包括：将所述视频帧序列输入高斯混合模型中，计算像素与像素对应高斯分布之间的均值；将所述均值与初始背景阈值进行比对，若所述均值小于所述初始背景阈值，对运动目标的前景和背景进行初步划分；若所述均值大于所述初始背景阈值，设置背景变化率对所述初始背景阈值进行更新，将所述均值与更新后的初始背景阈值进行比对，若所述均值小于所述更新后的初始背景阈值，对运动目标的前景和背景进行再次划分。

具体地，先使用算法本身默认的背景阈值T区分大致的运动抛洒物的前景和背景模型，再通过额外设置的背景变化率c，重新更新背景阈值T,变化后的背景阈值T为K个高斯分布的混合高斯模型权值和归一化后的均值乘以背景变化率c；只有当背景模型中的权值和小于变化后的背景阈值T时,才认为背景发生变化，开始重新更新背景模型；与原先的混合高斯模型相比，延长了抛洒物在前景中的滞留时长，提高了抛洒物识别的准确率；此外，在混合高斯模型初始化时，设置了较低的学习率，以降低高斯模型更新的速度；

高斯混合模型的公式如下：

其中

在像素

其中

整个高斯混合模型的具体更新步骤如下：

（1）计算像素

（2）像素

（3）利用设置的背景变化率c和统计的K个高斯分布的权重之和的均值，更新背景阈值T；

（4）接下来统计像素

改进的混合高斯滤波效果如图2所示，GMM为混合高斯模型，图中大的白色图块表示车辆，小的白色图块表示抛洒物，Frame275至Frame350表示了在车辆运动过程中抛洒物与车辆逐渐分离的过程。从图2中可以看到，对于列出的Frame275、Frame308、Frame320、Frame329、Frame350，改进的混合高斯模型对运动目标（车辆、抛洒物）的检测效果均优于混合高斯模型，尤其是Frame350中，混合高斯模型只提取到了车辆的图像，而没有抛洒物的图像，这会对后续判断车辆是否抛洒滴漏的准确性造成影响，而改进的混合高斯模型通过延长抛洒物在前景中的滞留时长，提高了对frame350中抛洒物识别的准确率。

针对上述步骤S101，本步骤提出了一种改进的混合高斯模型，与现有的混合高斯模型相比，具有提高对视频帧序列中的运动目标，特别是抛洒物的识别准确率的有益效果。

在步骤S102中，通过对运动目标进行形态学处理，对运动目标增强和去噪，突出有用信息的细节、减少图像中干扰信息从而提高了疑似抛洒物的识别效率。

具体地，“对所述运动目标进行形态学处理，得到疑似抛洒物”包括：

对提取出所述运动目标的图像帧序列进行灰度化处理，对得到的灰度化图像进行二值化处理，得到所述图像帧序列的二值图像；

对所述二值图像进行形态学膨胀操作，对形态学膨胀操作后的所述二值图像进行连通域检测，将检测到的连通域的内部进行填充，得到运动目标增强后图像；

对所述运动目标增强后图像进行去噪，提取出疑似抛洒物。

针对上述步骤S102，本步骤先将图像帧序列处理为二值图像，其中每一帧图像帧都处理为一张二值图像，在二值图像上利用腐蚀和膨胀操作进行形态学处理来获取的较大的连通域，再去除二值图像上的部分噪声数据点来减少干扰信息。最后利用Opencv图像处理库中FindContours找出疑似抛洒物的位置。通过形态学处理提高了对疑似抛洒物的识别效率。

在步骤S103中，采用像素点聚类的策略对标注的抛洒物数据进行像素范围的聚类，具体的，在该步骤中需要先获取抛洒物样本数据，该数据中包含了可能来自于运动车辆上的多类抛洒物，通过像素点聚类得到多类抛洒物的像素值分布范围，后续可以基于像素值分布范围筛选出在像素值范围内的抛洒物。

在本步骤中采用的是机器学习 Kmeans算法，通过Kemeans算法聚类出N个抛洒物像素值的分布结果，利用聚类出的分布结果对获取到的疑似抛洒物进行前处理，筛选过滤掉像素范围不在分布结果内的疑似抛洒物。

针对上述步骤S103，本步骤先获取样本数据，将样本中的抛洒物进行像素点聚类，得到分布结果，利用聚类出的分布结果在后续操作中对疑似抛洒物进行筛选，通过筛除不在分布结果内的疑似抛洒物提高抛洒物的识别准确度。

在步骤S104中，将疑似抛洒物的像素值与

[

进行比对，若像素值落入该范围内，则保留，若像素值在范围外，则剔除。进一步对保留下来的疑似抛洒物进行识别。

在本步骤中，“对所述像素值在所述聚类结果内的所述疑似抛洒物进行识别，得到抛洒物”包括：

将所述像素值在所述聚类结果内的所述疑似抛洒物输入抛洒物识别模型中，其中所述抛洒物识别模型包括特征增强网络、预测网络，所述特征增强网络的其中一支路上采用1x1卷积、3x3 depth-wise卷积和1x1卷积对输入特征进行特征增强，另一支路上采用全局池化层、1x1卷积和sigmoid门控制单元将所述输入特征在深度上加权成新的特征；将特征增加后的特征和深度上加权后的特征进行元素级相加，输出目标特征；

所述目标特征被输入至所述预测网络中预测出抛洒物位置从而识别到所述抛洒物。

针对上述步骤S104，本步骤提出了一种新的抛洒物识别模型，该模型包括一个改进的特征增强网络，参考图3，特征增强网络在restNet18结构基础上进行了改进，重新构建了一个新的特征增强的模块，左支路中使用了深度可分离卷积(depthwise-conv)，在结构上采用1x1卷积、3x3 depth-wise卷积和1x1卷积，每层卷积之间使用BatchNorm归一化特征，激活函数使用常见的ReLu，增加模型的非线性表达能力，该结构可以增强模型对于特征表示能力的同时，不引入额外的计算量；右支路则使用全局池化层（avg-pooling）、1x1卷积和sigmoid门控制单元提取的特征A与经过1x1的卷积处理的特征B进行按位乘运算，以获得加权后的特征C，最后与左支路的特征进行相加；右支路中利用sigmoid函数作为控制门单元目的在于获得前一层特征的重要性的得分权值，再与原先经过1x1的卷积处理的特征进行利用按位乘运算获得加权后的特征，通过这种操作增加了特征选择的能力，提高了重要特征的关注度，提高了模型的识别的能力。

综上，本实施例提供了一种抛洒物识别方法，参考图4中的抛洒物提取过程，需要说明的是，在图4中的粗筛选、细筛选只是为了区分两次筛选步骤，在本实施例中的细筛选是指在粗筛选基础上又做了一次筛选来提高筛选识别率。

如图4所示，本实施例采用运动目标检测算法对监控视频流数据进行检测，获取到运动目标，对运动目标进行形态学处理及轮廓提取，得到疑似抛洒物。通过Kmeans聚类获取抛洒物样本数据集的抛洒物像素分布范围，基于像素分布范围对疑似抛洒物进行粗筛选，再通过抛洒物识别算法对抛洒物像素在像素分布范围内的疑似抛洒物进行细筛选，最终得到抛洒物。

在该识别方法中，本方案提供了改进的混合高斯模型来替代现有的运动目标检测模型，通过额外设置背景衰减阈值延长抛洒物在前景中的滞留时长，从而提高抛洒物识别的准确率。

此外，在该识别方法中，本方案还提供了改进的抛洒物识别模型，通过重新构建的特征增强模型增加了特征选择的能力，提高了重要特征的关注度，从而提高了模型对抛洒物的识别能力。

实施例二

本申请实施例提供了一种车辆抛洒滴漏识别方法，参考图5，所述方法包括步骤S501至步骤S503：

步骤S501、应用抛洒物识别方法对视频帧序列进行处理，得到抛洒物；在视频帧中提取车辆，其中，所述视频帧从所述视频帧序列中获得；

步骤S502、识别所述视频帧中车辆的运动方向，基于所述运动方向设置阈值；

步骤S503、获取所述抛洒物和所述车辆位置接近的时刻，计算该时刻下二者的距离，若距离小于所述阈值，则判断所述车辆为涉案车辆。

在步骤S501中，视频帧指的是图像，在本方案中视频帧可以是从视频帧序列中获取的一帧图像或者连续多帧图像。此外，视频帧序列也可以是一段时间内设置时间间隔从待检测视频中截取单帧图像组成的单帧图像的集合，从视频帧序列中获取视频帧。

在步骤S501中，可以采用标记有抛洒物和车辆的样本对目标检测模型进行训练，从而得到抛洒物和车辆。

在本方案中涉及的车辆类型可以是轿车、汽车、客车、挂车、摩托车、工程车的任意一种或多种。在本步骤中以工程车为例，工程车主要用于建筑过程中的运载，挖掘，抢修等，对工程车的识别可以直接采用现有的yolov5工程车检测器以减少训练车辆识别模型的成本。

在步骤S501中，在“在视频帧中提取抛洒物和车辆”之前，所述方法包括：在视频帧序列中查找同时出现车辆和抛洒物的视频帧。

在本实施例中，先对视频帧序列做前处理，查找出同时出现车辆和抛洒物的视频帧，在后续的提取步骤中只需对同时出现车辆和抛洒物的视频帧进行处理，提高了处理效率。

针对上述步骤S501，本方案先在视频帧序列中查找同时出现车辆和抛洒物的视频帧，确保输入至目标检测模型中的视频帧中包含有车辆、抛洒物两类运动目标；再将视频帧输入至目标检测模型中，得到目标检测模型输出的抛洒物和车辆，其中目标检测模型可以是采用标记有抛洒物和车辆的样本自行训练的模型；也可以是现有的yolov5工程车检测器，后者为现阶段较为先进的通用目标检测器，能够对工程车进行识别。

在本方案中通过实施例一所述的抛洒物识别方法来提取抛洒物，具体地，“在视频帧中提取抛洒物和车辆”包括：

在所述视频帧序列中提取出运动目标；

对所述运动目标进行处理，得到疑似抛洒物；

获取抛洒物样本数据，对所述抛洒物样本数据的像素进行聚类，得到聚类结果；

获取所述疑似抛洒物的像素值，对所述像素值在所述聚类结果内的所述疑似抛洒物进行识别，得到抛洒物；

将包含有所述抛洒物的视频帧输入车辆检测模型中，得到所述车辆检测模型输出的车辆包围框从而识别到车辆。

在本实施例中通过多次筛选保证了对抛洒物识别的准确性，为后续的车辆抛洒滴漏识别提供基础。

在步骤S502中，基于车辆的运动方向将车辆与抛洒物进行关联匹配。具体地，本步骤中车辆的运动方向指的是车辆在视频帧中的运动方向。通过不同角度的摄像头对同一车辆进行拍摄，获取到的车辆的运动方向不同。如图6所示，车辆的运动方向依次为上、下、右、左。根据上、下、右、左这四类运动方向来分别设置阈值过滤运动方向上存在不合理位置的抛洒物。需要说明的是，不合理位置指的是图像上车辆与抛洒物的距离超过阈值的位置，即，根据正常的行车速度抛洒物不会从该车辆中被抛出。

在步骤S502中通过步骤S104所述的抛洒物识别模型，训练一个车辆方向识别模型，利用该模型获取车辆在视频帧中的运动方向。关于抛洒物识别模型的结构已在实施例一中详细介绍，在本步骤中不进行累赘说明。

在本步骤中，基于视频帧序列中车辆的运动轨迹确定视频帧中车辆的运动方向。运动轨迹能反映车辆的实际运动方向，能避免获取单帧图像中的车辆方向造成的运动方向的识别错误。

针对上述步骤S502，本方案通过车辆方向识别模型确定车辆的运动方向，所述运动方向基于视频帧序列中车辆的运动轨迹进行判断，防止对倒车车辆的运动方向造成误判。并基于识别出的运动方向设置阈值。

在步骤S503中，建立车辆与抛洒物的关联关系，分别将不同运动方向的车辆与抛洒物进行关联匹配。

在其中一个实施例中，“获取所述抛洒物和所述车辆位置接近的时刻，计算该时刻下二者的距离”包括：

获取所述抛洒物的抛洒物包围框、所述车辆的车辆包围框；

判断所述视频帧序列中所述抛洒物包围框、所述车辆包围框之间的位置变化，获取位置接近的时刻；

计算该时刻下二者的距离，其中，所述距离包括欧氏距离。

在本实施例中，二者关联关系指的是车辆与抛洒物的位置关系。以抛洒物包围框与车辆包围框的欧式距离衡量抛洒物与车辆的位置关系，可以起到量化抛洒物与车辆的关联程度的有益效果。

具体地，在本步骤中，抛洒物

|

|

针对左方向的车辆控制抛洒物位置范围在车辆左边界的左下方，右方向的车辆控制抛洒物位置范围在车辆右边界的右下方，合理性度量判断公式为：

其中，rate为车辆检测框的宽高比。

也就是说，在本步骤中，根据运动方向的不同设置了不同的合理性度量判断公式，其中，针对上和下方向的抛洒物合理性度量判断公式为式（3）和式（4），设置阈值为0.1，在0.1范围内的目标作为最终的车辆与抛洒物匹配的结果。同理，对左和右方向的抛洒物合理性度量判断公式为式（5），在阈值范围内的目标作为最终的车辆与抛洒物匹配的结果。

再次参考图6，在图6中，边框内为抛洒物，图6分别列出了在上、下、右、左的运动方向上位置关系不满足阈值的情况。通过上述公式，可以将图6所示的上述视频帧中的出现在不合理位置的抛洒物剔除。

在其中一个实施例中，阈值与抛洒物样本数据相关。具体地，该实施例包括：获取抛洒物样本数据中的每帧图像内的车辆样本与抛洒物样本间的距离；

基于所述车辆样本与抛洒物样本间的距离设置阈值，其中，所述阈值用于过滤掉与抛洒物样本数据相比，在车辆运动方向上处于不合理位置的所述抛洒物。

在本实施例中，抛洒物样本数据指的是来自于抛洒物样本集中的一或多个抛洒物样本。设置阈值与抛洒物样本数据中的车辆样本与抛洒物样本间的距离相关，避免人为设置阈值存在的主观性和偶然性。

针对上述步骤S503，基于车辆的运动方向将车辆与抛洒物进行关联匹配，将关联程度符合阈值的车辆和抛洒物输出。通过关联匹配筛除出现在不合理位置的抛洒物，最终得到准确的匹配结果，提高了对于抛洒滴漏的涉案车辆的判断效率。

在步骤S503之后，所述方法还包括：保存涉案车辆在该时刻下的视频帧。

在本实施例中，保存视频帧以方便后续对涉案车辆的管理。

综上，本实施例提供了一种车辆抛洒滴漏识别方法，再次参考图4中，图4中展示了车辆抛洒滴漏识别过程，需要说明的是，在图4中的抛洒物通过实施例一中的抛洒物识别方法识别得到，车辆采用yolov5工程车检测算法识别得到，在其他实施例中，抛洒物、车辆也可以通过如步骤S501所述的常规目标检测模型检测得到。

如图4所示，本实施例采用yolov5工程车检测算法对车辆进行识别，并基于车辆方向识别模型检测出车辆方向，设置不同车辆方向的抛洒物与车辆的关联关系，以位置关系表示二者关联关系，通过抛洒物位置合理性分析得到工程车与抛洒物相关性，剔除不同车辆方向上的抛洒物与车辆的位置较远（不合理）的抛洒滴漏识别情况，最终精确定位到抛洒物与工程车，对抛洒物进行标注。

该方法基于车辆的运动方向将车辆与抛洒物进行关联匹配，将关联程度符合阈值的车辆和抛洒物输出。通过关联匹配筛除出现在不合理位置的抛洒物，最终得到准确的匹配结果，提高了对于抛洒滴漏的涉案车辆的判断效率。

实施例三

基于相同的技术构思，图7示例性的示出了本申请实施例提供的一种抛洒物识别装置，包括：

运动目标提取模块701，用于获取视频帧序列，在所述视频帧序列中提取出运动目标；

处理模块702，用于对所述运动目标进行处理，得到疑似抛洒物；

聚类模块703，用于获取抛洒物样本数据，对所述抛洒物样本数据的像素进行聚类，得到聚类结果；

抛洒物识别模块704，用于获取所述疑似抛洒物的像素值，对所述像素值在所述聚类结果内的所述疑似抛洒物进行识别，得到抛洒物。

其中，运动目标提取模块701中内置有改进的混合高斯模型，抛洒物识别模块704中内置有抛洒物识别模型，关于模型的架构如实施例一所述。另，该装置采用以上介绍的方法进行运行，因此重复的内容也不进行累赘说明。

实施例四

基于相同的构思，图8示例性的示出了本申请实施例提供的一种车辆抛洒滴漏识别装置，包括：

抛洒物及车辆提取模块801，用于应用抛洒物识别方法对视频帧序列进行处理，得到抛洒物；在视频帧中提取车辆，其中，所述视频帧从所述视频帧序列中获得；

运动方向识别模块802，用于识别所述视频帧中车辆的运动方向，基于所述运动方向设置阈值；

计算模块803，用于获取所述抛洒物和所述车辆位置接近的时刻，计算该时刻下二者的距离，若距离小于所述阈值，则判断所述车辆为涉案车辆。

同理，在抛洒物及车辆提取模块801中内置了目标检测模型，在运动方向识别模块802中内置了车辆方向识别模型，关于模型的架构如实施例二所述。另，该装置采用以上介绍的方法进行运行，因此重复的内容也不进行累赘说明。

实施例五

本实施例还提供了一种电子装置，参考图9，包括存储器904和处理器902，该存储器904中存储有计算机程序，该处理器902被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

具体地，上述处理器902可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecificIntegratedCircuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器904可以包括用于数据或指令的大容量存储器904。举例来说而非限制，存储器904可包括硬盘驱动器（HardDiskDrive，简称为HDD）、软盘驱动器、固态驱动器（SolidStateDrive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（UniversalSerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器904可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器904可在数据处理装置的内部或外部。在特定实施例中，存储器904是非易失性（Non-Volatile）存储器。在特定实施例中，存储器904包括只读存储器（Read-OnlyMemory，简称为ROM）和随机存取存储器（RandomAccessMemory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（ProgrammableRead-OnlyMemory，简称为PROM）、可擦除PROM（ErasableProgrammableRead-OnlyMemory，简称为EPROM）、电可擦除PROM（ElectricallyErasableProgrammableRead-OnlyMemory，简称为EEPROM）、电可改写ROM（ElectricallyAlterableRead-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（StaticRandom-AccessMemory，简称为SRAM）或动态随机存取存储器（DynamicRandomAccessMemory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器904（FastPageModeDynamicRandomAccessMemory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（ExtendedDateOutDynamicRandomAccessMemory，简称为EDODRAM）、同步动态随机存取内存（SynchronousDynamicRandom-AccessMemory，简称SDRAM）等。

存储器904可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器902所执行的可能的计算机程序指令。

处理器902通过读取并执行存储器904中存储的计算机程序指令，以实现上述实施例中的任意一种抛洒物识别方法、车辆抛洒滴漏识别方法。

可选地，上述电子装置还可以包括传输设备906以及输入输出设备908，其中，该传输设备906和上述处理器902连接，该输入输出设备908和上述处理器902连接。

传输设备906可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备906可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

输入输出设备908用于输入或输出信息。例如，上述输入输出设备可以是移动终端、显示屏、音箱、麦克、鼠标、键盘或其他设备。在本实施例中，输入的信息可以是待处理视频、视频帧序列、视频帧等，输出的信息可以是抛洒物识别结果、车辆识别结果、车辆抛洒滴漏识别结果等等。

可选地，在本实施例中，上述处理器902可以被设置为通过计算机程序执行以下步骤：

步骤S101、获取视频帧序列，在所述视频帧序列中提取出运动目标。

步骤S102、对所述运动目标进行处理，得到疑似抛洒物。

步骤S103、获取抛洒物样本数据，对所述抛洒物样本数据的像素进行聚类，得到聚类结果。

步骤S104、获取所述疑似抛洒物的像素值，对所述像素值在所述聚类结果内的所述疑似抛洒物进行识别，得到抛洒物。

步骤S501、应用实施例一所述的抛洒物识别方法对视频帧序列进行处理，得到抛洒物；在视频帧中提取车辆，其中，所述视频帧从所述视频帧序列中获得。

步骤S502、识别所述视频帧中车辆的运动方向，基于所述运动方向设置阈值。

步骤S503、获取所述抛洒物和所述车辆位置接近的时刻，计算该时刻下二者的距离，若距离小于所述阈值，则判断所述车辆为涉案车辆。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例中的一种抛洒物识别方法、车辆抛洒滴漏识别方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种抛洒物识别方法、车辆抛洒滴漏识别方法。

本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。