道路的撒散物识别方法、装置、设备、介质及产品

技术领域

本公开涉及人工智能技术领域中的自动驾驶、智能交通、车联网和智能座舱等领域，尤其涉及一种道路的撒散物识别方法、装置、设备、介质及产品。

背景技术

随着车辆越来越多，道路行驶安全问题被日益关注。为了确保车辆或行人的正常行驶，需要保证道路上不存在障碍物，特别是撒散物，例如运输车辆掉落的物品等，可能会引发道路行驶障碍。目前，存在一些道路撒散物的识别方法，较为常见的识别方法是通过对某个道路在不同时刻的两个图像进行比较，判断两个图像各自的道路中是否存在撒散物差异。

但是，目前的撒散物检测方法需要使用到不同时刻的图像，若两个图像的时差把控不准确，可能会导致撒散物检测不够及时，准确度不高的问题。

发明内容

本公开提供了一种用于提高道路的撒散物识别效率的道路的撒散物识别方法、装置、设备、介质及产品。

根据本公开的第一方面，提供了一种道路的撒散物识别方法，包括：

响应于目标道路的撒散物识别请求，从所述目标道路对应待视频视频中获取待识别图像；

通过两个不同学习率对应的背景提取算法，分别提取所述待识别图像对应的第一背景图像和第二背景图像；

通过多尺度编码器和自注意力网络，分别提取所述第一背景图像对应的第一图像特征和所述第二背景图像对应的第二图像特征；

基于所述第一图像特征和所述第二图像特征的相似度计算结果，确定所述待识别图像中存在撒散物的目标区域。

根据本公开的第二方面，提供了一种道路的撒散物识别装置，包括：

请求响应单元，用于响应于目标道路的撒散物识别请求，从所述目标道路对应待视频视频中获取待识别图像；

背景提取单元，用于通过两个不同学习率对应的背景提取算法，分别提取所述待识别图像对应的第一背景图像和第二背景图像；

特征提取单元，用于通过多尺度编码器和自注意力网络，分别提取所述第一背景图像对应的第一图像特征和所述第二背景图像对应的第二图像特征；

区域识别单元，用于基于所述第一图像特征和所述第二图像特征的相似度计算结果，确定所述待识别图像中存在撒散物的目标区域。根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的方法。

根据本公开的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。

根据本公开的技术，对于目标道路的撒散物识别请求，可以从目标道路的待识别视频中获取待识别图像。之后可以通过两个不同学习率对应的背景提取算法，提取待识别图像的第一背景图像和第二背景图像，不同学习率的背景提取算法收敛速度不同，可以达到对待识别图像从两个收敛速度上实现的背景图像的获取。之后，通过多尺度编码器可以从多个尺度对第一背景图像和第二背景图像进行深层特征的提取，而自注意力网络可以学习背景图像中抛洒物之间的特征关联，因而，通过通过多尺度编码器和自注意力网络，可以分别提取第一背景图像对应的第一图像特征和第二背景图像对应的第二图像特征，获得更准确的第一图像特征和第二图像特征。之后，利用第一图像特征和第二图像特征的相似度计算结果，确定待识别图像中存在撒散物的目标区域。通过对两个图像特征进行相似度计算以比较两个图像特征的差异，实现准确的撒散物的目标区域检测，可以提高撒散物的检测效率和准确性，使得撒散物可以基于单个待识别图像的识别提取，可以解决了道路的撒散物识别效率较低及准确度不高的问题。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开的道路的撒散物识别方法的系统架构图；

图2是根据本公开实施例提供的道路的撒散物识别方法的流程示意图；

图3是根据本公开实施例提供的道路的撒散物识别方法的又一流程示意图；

图4是根据本公开实施例提供的道路的撒散物识别方法的又一流程示意图；

图5是根据本公开的多尺度编码器的计算网络的示例图；

图6是根据本公开的自注意力网络的处理流程示例图；

图7是根据本公开实施例提供的道路的撒散物识别装置的结构示意图；

图8是用来实现本公开实施例的道路的撒散物识别方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开提供一种道路的撒散物识别方法、装置、设备、介质及产品，应用于人工智能领域中的自动驾驶、智能交通、车联网和智能座舱等领域，以达到从单个待识别图像切入撒散物识别分析，提高撒散物识别准确性且提高获取到撒散物识别的多样性的效果。

需要说明的是，本公开提供的道路的撒散物识别方法、装置、设备、介质及产品可以运用在对各种道路撒散物识别的场景。

现有的撒散物识别方法，一般是，对道路的采集的视频，获取视频中前后两个图像帧的区别，通过图像帧区别的识别可以获取撒散物区域。但是，采用上述方法进行撒散物识别时，经常出现撒散物识别延迟现象，存在区别的两个图像之间的时差并不好把控，需要执行一次或多次两个图像的区别检测，导致模型的识别时效性较低。

为了解决上述技术问题，经研究发现，为了解决撒散物的检测，一般需要存在时间间隔的两个图像进行差异检测，识别准确性不高也不能解决识别时效性问题。而对于单一图像的撒散物识别而言，直接进行撒散物识别时，考虑到撒散物物品类型较多，识别准确度不高，而单一图像又需要与前后图像比较，以进行撒散物的识别。因而，为了提高单一图像进行撒散物识别的准确度，考虑对图像前后图像进行特征融合，为了获得两个存在差异的图像，可以考虑对图像采用两个不同学习率对应的背景提取算法进行背景分析，学习率的不同表示背景提取算法的收敛速度不同，收敛速度不同代表对前后图像间的特征分析间隔不同。因而，利用两个学习率不同的背景提取算法可以提取两个背景图像，实现对图像的扩展分析。之后，利用扩展的图像进行特征分析时，为了获得图像的深层特征并对特征间的撒散物关联进行提取，可以采用多尺度编码器和自注意力网络进行背景图像的特征提取，使得提取到的第一图像特征和第二图像特征进行相似度分析，以对两个背景图像进行差异分析，提高撒散物的识别准确性，并通过单一的图像分析快速得到图像的撒散物区域，扩展撒散物识别方法的多样性效果。

图1为本公开基于的系统架构图，如图1所示，基于本公开的系统架构至少包括：终端设备11以及服务器12。终端设备11和服务器12建立通信连接。其中，服务器12中配置有道路的撒散物识别装置，该撒散物识别装置可采用C/C++、Java、Shell或Python等语言编写；终端设备11则可例如台式电脑、平板电脑等。

基于上述系统架构，服务器12能够获取终端设备11发送目标道路的撒散物识别请求。响应于撒散物识别请求，从目标道路的对应待识别视频中获取待识别图像。通过两个不同学习率对应的背景提取算法分别提取待识别图像对应的第一背景图像和第二背景图像。通过多尺度编码器和自注意力网络，分别提取第一背景图像对应的第一图像特征和第二背景图像对应的第二图像特征。通过对第一图像特征和第二图像特征的相似度计算结果，确定待识别图像中存在撒散物的目标区域。实现撒散物的目标区域的实时而准确的检测。

图2为本公开实施例提供的道路的撒散物识别方法的流程示意图，如图2所示，该方法包括：

步骤201：响应于目标道路的撒散物识别请求，从目标道路对应待识别视频中获取待识别图像。

本实施例的执行主体为道路的撒散物识别装置，该装置可以耦合于电子设备中。电子设备例如可以包括服务器、计算机等设备。其中，服务器可以与终端设备建立通信连接，从而能够与终端设备进行信息交互。

本实施例方式中，撒散物识别请求可以由终端设备发送至电子设备。目标道路附近可以配置摄像头，通过摄像头对目标道路进行视频采集，获得待识别视频。

可选地，可以从待识别视频采样获得待识别图像，图像的采样频率可以根据使用需求设置。

步骤202：通过两个不同学习率对应的背景提取算法，分别提取待识别图像对应的第一背景图像和第二背景图像。

其中，学习率可以监督学习和深度学习中的超参数，可以决定目标函数能否收敛到最小值以及何时收敛到最小值，学习率的大小可以指示目标的收敛速度的高低。学习率设置较大时，需要多次迭代才能达到目标函数的收敛，学习率设置较小时，需要较少的次数即可以达到目标函数的收敛。因此，通过两个不同学习率对应的背景提取算法是在不同收敛速度获得的背景提取算法。

可选地，背景提取算法可以对图像的像素点进行特征融合计算，通过背景提取算法提取的背景图像可以综合当前待识别图像中各像素点的特征值，使得背景图像中能够表征其分布信息，分布信息可以综合表达像素点前后的信息，例如之前得图像的撒散物信息等。

第一背景图像和第二背景图像均可以是待识别图像中除运动目标之外的其他区域对应的图像。第一背景图像和第二背景图像的图像尺寸可以和待识别图像的图像尺寸相同。例如，待识别图像为640*640时，第一背景图像和第二背景图像的图像尺寸均可以为640*640。

步骤203：通过多尺度编码器和自注意力网络，分别提取第一背景图像对应的第一图像特征和第二背景图像对应的第二图像特征。

多尺度编码器可以包括多层计算节点，每层计算节点的尺寸不同，每层计算节点为上一层计算节点的下采样节点，采样步长可以根据使用需求设置。例如，第一层节点的尺寸为640*640时，第二层节点可以为第一层节点的下采样，假设采样步长为2，则第二层节点的尺寸可以为320*320。

多尺度编码器例如可以包括SNUNet-CD(A Densely Connected Siamese Networkfor Change Detection of VHR Images，基于孪生网络的图像变化检测网络)、siamesenetwork(孪生网络)等任一网络。多尺度编码器中包括两个相同的子网络，两个子网络的架构、参数和权重相同。可以将第一背景图像输入到第一个子网络，将第二背景图像输入到第二个子网络。通过第一个子网络和第二个子网络对多尺度编码器进行网络计算，得到至少一个第一特征图和至少一个第二特征图。

本实施例中，自注意力网络(Transform)可以用于提取上下文和领域信息，撒散物通常呈现离散特性，采用自注意力网络可以提取撒散物之间的特征关系，也即，在撒散物数量较多时，可以通过自注意力网络对多个撒散物之间的特征关系进行提取，使得提取获得的图像特征能够包含各撒散物之间的关联关系，实现更全面更准确的特征提取。

步骤204：基于第一图像特征和第二图像特征的相似度计算结果，确定待识别图像中存在撒散物的目标区域。

可选地，基于第一图像特征和第二图像特征的相似度计算结果，可以确定第一图像特征和第二图像特征之间的差异，以通过第一图像特征和第二图像特征之间的特征差异，确定存在撒散物的目标区域。

撒散物可以指撒散到目标道路上的物品，例如土石、蔬菜等等。撒散物所在的目标区域可以指目标道路在图像中的位置所对应的区域，例如矩形区域。在获得待识别图像中存在撒散物的目标区域之后，可以根据目标道路的地理位置确定撒散物所在的地理位置，根据撒散物的地理位置生成撒散物的位置提示信息，并输出撒散物的位置提示信息，以提示在撒散物的地理位置处出现异常。

本实施例提供的道路的撒散物识别方法，对于目标道路的撒散物识别请求，可以从目标道路的待识别视频中获取待识别图像。之后可以通过两个不同学习率对应的背景提取算法，提取待识别图像的第一背景图像和第二背景图像，不同学习率的背景提取算法收敛速度不同，可以达到对待识别图像从两个收敛速度上实现的背景图像的获取。之后，通过多尺度编码器可以从多个尺度对第一背景图像和第二背景图像进行深层特征的提取，而自注意力网络可以学习背景图像中抛洒物之间的特征关联，因而，通过通过多尺度编码器和自注意力网络，可以分别提取第一背景图像对应的第一图像特征和第二背景图像对应的第二图像特征，获得更准确的第一图像特征和第二图像特征。之后，利用第一图像特征和第二图像特征的相似度计算结果，确定待识别图像中存在撒散物的目标区域。通过对两个图像特征进行相似度计算以比较两个图像特征的差异，实现准确的撒散物的目标区域检测，可以提高撒散物的检测速度和准确性，使得撒散物可以基于单个待识别图像的识别提取，实现扩展撒散物识别方法的多样性效果。

为使读者更深刻地理解本公开的实现原理，现结合以下图3-图6对图2所示的实施例进行进一步细化。

进一步地，在上述实施例的基础上，多尺度编码器和自注意力网络可以设置的。多尺度编码器和自注意力网络的训练步骤可以包括：

获取第一训练图像和第二训练图像；

对第一训练图像添加噪声，获得第一对比图像，将第一训练图像和第一对比图像作为非变化样本；

对第二训练图像粘贴撒散物，获得第二对比图像，将第二训练图像和第二对比图像作为变化样本；

利用非变化样本对和变化样本对，对多多尺度编码器和自注意力网络进行网络训练，直至满足网络收敛条件，获得训练结束时的多尺度编码器和自注意力网络。

在对多尺度编码器和自注意力网络进行网络训练的过程中，可以将多尺度编码器和自注意力网络输出的特征进行分类，获得各样本对的类别判断结果，类别判断结果包括变化类型和非变化类型。并利用各样本的类别判断结果进行网络损失计算，获得损失值，通过损失值更新多尺度编码器和自注意力网络，以实现多尺度编码器和自注意力网络的迭代更新，直至满足网络收敛条件。

本实施例中，采用针对第一训练图像增加噪声的方式，获得非变化样本，非变化样本可以使网络学习不存在撒散物的特征，采样针对第二训练图像增加撒散物的方式，获得变化样本，变化样本可以使网络学习存在撒散物的特征。通过非变化样本和变化样本可以对多尺度编码器和自注意力网络进行训练，获得多尺度编码器和自注意力网络，提高多尺度编码器和自注意力网络的训练效率和准确性。

进一步地，在上述任一实施例的基础上，通过两个不同学习率对应的背景提取算法，分别提取待识别图像对应的第一背景图像和第二背景图像，包括：

从待识别图像中提取除运动目标之外的背景图像；

通过两个不同学习率对应的背景提取算法，分别提取背景图像对应的第一背景图像和第二背景图像。

可选地，可以采用目标检测算法从待识别图像中检测获得运动对象，获得运动对象在待识别图像中的位置点，将运动对象在待识别图像中的位置点标记为非背景点，将待识别图像中的其他位置点标记为背景点。背景图像可以包括被标记的背景点和非背景点。在实际应用中，为了减少运动目标的影响，可以将运动对象在待识别图像中的位置点的像素值均设置为常数，例如可以设置为0或1。当然，背景图像的位置点和非位置点也可以分别使用1和0两个常数进行标记。通过提取背景图像可以初步减少运动目标对后续撒散物识别的影响，可以提高撒散物识别的准确度。

其中，运动目标例如可以包括行人、车辆、电动车、自行车等可移动对象。

可以将背景图像分别输入到两个学习率不同的背景提取算法中，计算获得第一背景图像和第二背景图像。第一背景图像和第二背景图像由于通过两个学习率不同的背景提取算法获得，可以表征不同时间跨度的背景变化程度，因此，可以通过第一背景图像和第二背景图像的差异来获取待识别图像中的撒散物。

本实施例中，通过从待识别图像中提取除运动目标之外的背景图像，可以去除待识别图像中的运行目标，初步实现背景图像的获取。之后，可以通过两个不同学习率对应的背景提取算法，分别提取背景图像的第一背景图像和第二背景图像。背景提取算法可以对背景图像进行进一步的背景提取，使得第一背景图像和第二背景图像包含整体背景特征，由于学习率不同即为收敛速度不同，收敛速度不同时，图像的分析过程可以学习到不同时间间隔内的特性，获得两个存在特性差异的第一背景图像和第二背景图像，使得后续的撒散物检测准确性更高。

进一步地，在上述任一实施例的基础上，背景提取算法可以包括高斯模型，通过两个不同学习率对应的背景提取算法，提取背景图像对应的第一背景图像和第二背景图像，包括：

获取通过第一学习率获得的至少一个第一高斯模型和通过第二学习率设置的至少一个第二高斯模型，第一学习率和第二学习率大小不同；

通过至少一个第一高斯模型，对背景图像中的多个像素点分别进行背景点检测，获得多个像素点分别对应的第一检测结果，第一检测结果包括属于背景点或属于非背景点；

根据多个像素点分别对应的第一检测结果，对背景图像进行背景点和非背景点分类，获得第一背景图像；

通过至少一个第二高斯模型，对背景图像中的多个像素点分别进行背景点检测，获得多个像素点分别对应的第二检测结果，第二检测结果包括属于背景点或属于非背景点；

根据多个像素点分别对应的第二检测结果，对背景图像进行背景点和非背景点分类，获得第二背景图像。

可选地，第一背景图像或第二背景图像中，背景点属于至少一个背景类型中的任意一种。至少一个背景类型可以与至少一个高斯模型的数量相同。对背景图像的多个像素点进行背景点和非背景点分类，具体可以是确定背景图像的多个像素点中的背景点和非背景点，以及各背景点分别所属的背景类型。

可选地，一个高斯模型可以代表一个背景类型，例如道路可以作为一种背景类型，对应一个高斯模型，建筑物可以作为一种背景类型，对应一个高斯模型。在实际应用中，背景图像中可能包含多种背景类型，因此设置至少一个高斯模型，可以实习对背景图像中各像素点进行一个或多个背景的建模，使得像素点匹配到高斯模型的概率更高，因此，通过设置至少一个高斯模型可以提高背景匹配的准确度。

当然，在实际应用中，学习率不同，高斯模型的收敛速度不同，因而两个学习率不同的高斯模型在迭代时的时间跨度不同。学习率越大，高斯模型的收敛速度更快，迭代的时间跨度越大，因此，对于两个不同学习率对应的至少一个第一高斯模型和至少一个第二高斯模型，可以分别代表两个不同时间跨度的背景图像分布。通过第一高斯模型和第二高斯模型可以对背景图像在不同时间跨度下进行概率计算，使得第一高斯模型和第二高斯模型能够体现不同时间跨度的图像特性，因而，通过第一高斯模型获得的第一背景图像和通过第二高斯模型获得的第二背景图像可以存在时间跨度上的背景差异，进而可以使用第一背景图像和第二背景图像之间的背景差异进行撒散物提取。

本实施例中，提取背景图像对应的第一背景图像和第二背景图像时，可以确定两个不同学习率对应的至少一个第一高斯模型和至少一个第二高斯模型，因此，第一高斯模型的收敛速度和第二高斯模型的收敛速度不同，可以利用至少一个第一高斯模型和至少一个第二高斯模型对背景图像在不同时间跨度上进行背景建模，使得获得的第一背景图像和第二背景图像之间存在背景差异，进而通过第一背景图像和第二背景图像进行撒散物分析时，可以准确识别撒散物所在区域，提高撒散物识别效率和准确性。

进一步地，在上述任一实施例的基础上，通过至少一个第一高斯模型，对背景图像中的多个像素点分别进行背景点检测，获得多个像素点分别对应的第一检测结果，包括：

基于混合高斯算法，利用至少一个第一高斯模型，对背景图像中的多个像素点分别进行背景点检测，获得多个像素点分别对应的第一检测结果；

通过至少一个第二高斯模型，对背景图像中的多个像素点分别进行背景点检测，获得多个像素点分别对应的第二检测结果，包括：

基于混合高斯算法，利用至少一个第二高斯模型，对背景图像中的多个像素点分别进行背景点检测，获得多个像素点分别对应的第二检测结果。

关于混合高斯算法的具体执行步骤，可以参考下述实施例的描述，在此不再赘述。

本实施例中，可以利用混合高斯算法，在至少一个第一高斯模型的基础上对背景图像进行背景建模，获得准确的第一背景图像，在至少一个第二高斯模型的基础上对背景图像进行背景建模，获得准确的第二背景图像。通过混合高斯算法可以实现对背景图像的多个模型匹配，使得背景图像的模型匹配更准确。

作为一个实施例，基于混合高斯算法，利用至少一个第一高斯模型，对背景图像中的多个像素点分别进行背景点检测，获得多个像素点分别对应的第一检测结果，可以包括：

从背景图像中的第一个像素点开始，获取目标像素点；

从至少一个第一高斯模型中，为目标像素点的像素值进行模型匹配，获得第一检测结果，第一检测结果包括匹配或者未匹配；

若第一检测结果为匹配，则确定目标像素点属于背景点为目标像素点的第一检测结果，利用目标像素点的像素值更新与其匹配的第一高斯模型的模型参数，以更新至少一个第一高斯模型；

若第一检测结果为未匹配，则确定目标像素点属于非背景点为目标像素点的第一检测结果，利用目标像素点的像素值生成新的第一高斯模型，以更新至少一个第一高斯模型；

更新至少一个第一高斯模型之后，获取将目标像素点的下个像素点作为新的目标像素点，返回至根据至少一个第一高斯模型，对目标像素点的像素值进行模型匹配的步骤继续执行，直至背景图像的多个像素点遍历结束；

若背景图像的多个像素点遍历结束，获得多个像素点分别对应的第一检测结果。

本实施例中，采用高斯混合算法的具体步骤对目标像素点进行背景点检测和模型更新，使得至少一个第一高斯模型随着目标像素点的检测结果和像素值不断更新，使得至少一个第一高斯模型与背景图像中实际包含的背景模型相匹配，提高背景图像的建模精度，获得准确的各像素点的第一检测结果。

作为又一个实施例，基于混合高斯算法，利用至少一个第二高斯模型，对背景图像中的多个像素点分别进行背景点检测，获得多个像素点分别对应的第二检测结果，可以包括：

从背景图像中的第一个像素点开始，获取目标像素点；

从至少一个第二高斯模型中，为目标像素点的像素值进行模型匹配，获得第二检测结果，第二检测结果包括匹配或者未匹配；

若第二检测结果为匹配，则确定目标像素点属于背景点为目标像素点的第二检测结果，利用目标像素点的像素值更新与其匹配的第二高斯模型的模型参数，以更新至少一个第二高斯模型；

若第二检测结果为未匹配，则确定目标像素点属于非背景点为目标像素点的第二检测结果，利用目标像素点的像素值生成新的第二高斯模型，以更新至少一个第二高斯模型；

更新至少一个第二高斯模型之后，获取将目标像素点的下个像素点作为新的目标像素点，返回至根据至少一个第二高斯模型，对目标像素点的像素值进行模型匹配的步骤继续执行，直至背景图像的多个像素点遍历结束；

若背景图像的多个像素点遍历结束，获得多个像素点分别对应的第二检测结果。

本实施例中，采用高斯混合算法的具体步骤对目标像素点进行背景点检测和模型更新，使得至少一个第二高斯模型随着目标像素点的检测结果和像素值不断更新，使得至少一个第二高斯模型与背景图像中实际包含的背景模型相匹配，提高背景图像的建模精度，获得准确的各像素点的第二检测结果。

进一步，可选地，第一高斯模型或者第二高斯模型可以通过下列的公式表示：

其中，Xt为目标像素点，x为目标像素点的像素值。

ηi(X

k为至少一个第一高斯模型的数量或者至少一个第二高斯模型的数量。

ω

利用目标像素点的像素值更新与其匹配的高斯模型的模型参数，以更新至少一个高斯模型，可以包括：利用目标像素点的像素值更新与其匹配的高斯模型的模型参数，并同时更新至少一个高斯模型各自的权重。

利用目标像素点的像素值生成新的高斯模型，以更新至少一个高斯模型，可以包括：利用目标像素点的像素值生成新的高斯模型，并将新的高斯模型替代与目标像素点匹配度最低的高斯模型，获得更新后的高斯模型。

进一步，可选地，为目标像素点的像素值进行模型匹配的步骤可以包括：获取各高斯模型的均值和方差，将目标像素点的像素值与各高斯模型的均值和方差代入数值判断公式，目标像素点的像素值满足任意高斯模型对应的数值判断公式时，则确定目标像素点的像素值与该高斯模型相匹配，否则，确定目标像素点的像素值与高斯模型不匹配。对于至少至少一个高斯模型，若目标像素点与任一个高斯模型匹配，则确定该目标像素点的检测结果为匹配，若目标像素点与至少一个高斯模型均未匹配，则确定该目标像素点的检测结果为未匹配。其中，高斯模型可以包括第一高斯模型或第二高斯模型。

具体地，数值判断公式可以表示为：

X

其中，σ

各高斯模型的权重更新公式为：

ω

其中，对于首次匹配的模型，O

对高斯模型更新，具体可以是对高斯模型的均值和方差的更新。

高斯模型的均值和方差的更新公式可以为：

μ

其中，μ

图3为本公开实施例提供的道路的撒散物识别方法的流程示意图，如图3所示，上述实施例的步骤：基于第一图像特征和第二图像特征的相似度计算结果，确定待识别图像中存在撒散物的目标区域，包括：

步骤301：对第一图像特征和第二图像特征进行特征相似度计算，获得相似度矩阵。

可选地，步骤301具体可以是：采用第一图像特征和第二图像特征在同一位置点的像素值，对该位置点进行特征值相似度计算，获得各位置点的相似度值构成的相似度矩阵。

步骤302：根据相似度矩阵中各位置点的相似度值，确定小于相似度阈值的目标位置点，相似度矩阵的位置点映射待识别图像的像素区域。

由于对图像进行下采样的特征计算，因此，相似度矩阵的位置带你可以映射至待识别图像的像素区域。也即，在下采样时，一个像素区域采样一个像素点，该像素点的像素值参与到特征计算值。例如，以32倍下采样进行相似性度量时，像素度矩阵中的一个位置点可以对应待识别图像中的32*32的像素区域。

步骤303：将目标位置点对应的像素区域在待识别图中执行区域拼接，获得存在撒散物的目标区域。

可选地，步骤303具体可以包括，将目标位置点对应的像素区域在待识别图像中执行区域拼接，可以获得拼接后的区域，将拼接后的区域所对应的边界像素点连接形成的区域作为目标区域。

本实施例中，对第一图像特征和第二图像特征进行特征相似度计算，可以获得第一图像特征和第二图像特征自检的相似度矩阵，相似度矩阵可以对第一图像特征和第二图像特征中各位置点的相似度值，因而可以利用各位置点的相似度值，对目标位置点进去选择，以获得目标位置点映射的像素区域，实现撒散物所在像素区域的获取，通过将目标位置点映射的像素区域进行拼接，可以获得存在撒散物的目标区域，实现撒散物的目标区域的准确获取，提高目标区域的准确度。

图4为本公开实施例提供的道路的撒散物识别方法的又一个流程示意图，如图4所示，通过多尺度编码器和自注意力网络，分别提取第一背景图像对应的第一图像特征和第二背景图像对应的第二图像特征，包括：

步骤401：通过多尺度编码器，分别提取第一背景图像对应的第一特征图和第二背景图像对应的第二特征图。

可选地，第一特征图可以包括多个维度的第一子特征图，每个第一子特征图的尺寸相等。第二特征图可以包括多个维度的第二子特征图像，每个第二子特征图的尺寸相等。

步骤402：将第一特征图和第二特征图输入自注意力网络，获得第一特征图对应的第一图像特征和第二特征图对应的第二图像特征。

本实施例中，在背景图像的特征提取过程中，可以通过多尺度编码器，分别提取第一背景图像对应的第一特征图和第二背景图像对应的第二特征图。将第一特征图和第二特征图输入自注意力网络，可以提取第一图像特征和第二图像特征。通过自注意力网络可以对特征图之间的关联特性和特征图自身的关联特性进行提取，可以获得表征特征图关联关系更准确的第一图像特征和第二图像特征，提高第一图像特征和第二图像特征的获取效率。

进一步地，在上述任一实施例的基础上，通过多尺度编码器，提取第一背景图像对应的第一特征图和第二背景图像对应的第二特征图，包括：

通过多尺度编码器，对第一背景图像和第二背景图像进行特征提取，得到多个特征图，多个特征图的尺度相同；

将多个特征图按照通道划分为第一特征图和第二特征图，第一特征图和第二特征图的通道数量相等。

可选地，多尺度编码器可以为孪生编码器网络，可以将第一背景图像和第二背景图像输入到多尺度编码器，通过多尺度编码器对第一背景图像和第二背景图像进行特征计算，获得多个特征图。

多尺度编码器可以包括SNUNet-CD网络，关于该网络的具体计算结构可以参考相关技术的描述，在此不再赘述。

可选地，多尺度编码器可以进行下采样的特征计算。假设第一背景图像和第二背景图像的大小为640*640，经过多尺度编码器的网络计算，得到的特征图的尺寸可以为20*20。特征图中各位置点可以与背景图像中的像素区域。可以理解为，特征图中的位置点上的元素可以通过背景图像中的像素区域执行步长为32的下采样获得。通过多尺度编码器可以得到多个特征图，由于在多尺度网络计算过程中将第一背景图像和第二背景图像按通道拼接，因此可以直接将多个特征图按通道直接拆分为第一特征图和第二特征图。例如，得到的多个特征图为20*20*2048，其中，20*20为特征图的尺寸，2048为特征图的通路数量。可以直接将前1024个通道的特征图划分为第一特征图，将后1024个通道的特征图划分为第二特征图。

其中，多尺度编码器可以包括多个卷积计算节点，每个卷积计算节点的计算公式可以表示为：

其中，H表示卷积块的操作，P表示用于下采样的池化操作，U表示转置卷积的上采样，[.]指的是通道维度的拼接来进行特征融合。

图5为多尺度编码器的计算网络的示例图，如图5所示，可以将第一背景图像输入到X

本实施例中，可以通过多尺度编码器，对第一背景图像和第二背景图像进行特征提取，得到尺寸相同的多个特征图。通过多尺度编码器可以对第一背景图像和第二背景图像进行特征分析和提取，可以实现第一特征图和第二特征图的准确获取，提高特征图的提取效率和准确性。

进一步，可选地，得到X

CAM(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))

M

F

M

其中，CAM指代通道注意力机制的计算公式，F为输入CAM公式的图像特征。指的是sigmoid激活函数，MLP指的是多层感知机，AvgPool指的是平均值池化，MaxPool指的是最大值池化。ECAM为自注意力网络计算获得的图像特征，该图像特征可以划分为第一图像特征和第二图像特征。

其中，M

可选地，自注意力网络可以包括第一自注意力网络和第二自注意力网络。第一自注意力网络和第二自注意力网络的网络结构可以相同，参数可以不同。图6为自注意力网络的处理流程示例图。对于第一特征图可以输入到第一自注意力网络61，获得第一图像特征，对于第二特征图可以输入到第二自注意力网络62，获得第二图像特征。之后，第一图像特征和第二图像特征可以通过相似性度计算，获得相似度计算结果。第一特征图和第二特征图可以为多通道特征图，每个通道对应的特征图的计算方式或者多个通道的特征图的计算方式可以参考上述实施例的描述。

自注意力网络可以对输入的特征图进行自注意力机制的计算，提取特征图间的特征矩阵。自注意力网络，可以对多个特征图之间的通道注意力来捕获不同阶段特征之间的关系，之后对每个特征图计算通道注意力来捕获特征图内部的关系，最后对二者进行融合得到最终变化检测的结果。

进一步地，在基于第一图像特征和第二图像特征的相似度计算结果，确定待识别图像中存在撒散物的目标区域之后，还包括：

提取目标区域在待识别图像对应的区域图像；

通过纹理分析算法，提取区域图像的纹理特征；

根据纹理特征对区域图像中的物体是否为撒散物进行验证，获得验证结果；

若确定验证结果为验证成功，则输出目标道路存在撒散物的提示信息。

可选地，纹理分析算法可以为对区域图像的纹理特征进行提取的计算网络。纹理特征可以包括区域图像的各像素点对应的纹理特征值。纹理分析算法例如可以包括灰度共生矩阵的算法，K近邻分类算法等。

本实施例中，可以提取目标区域在待识别图像对应的区域图像，通过纹理分析算法，可以提取区域图像的纹理特征，通过纹理特征对区域图像是否存在撒散物进行提取。通过纹理特征可以实现对撒散物的准确提取，提高撒散物的识别精度。

进一步地，在上述任一实施例的基础上，纹理特征包括灰度共生矩阵，根据纹理特征对区域图像中的物体是否为撒散物进行验证，获得验证结果，包括：

根据灰度共生矩阵，计算区域图像中多个元素分别对应的自相关量，获得区域图像对应的相关性矩阵；

获取相关性矩阵中自相关量小于相关阈值的元素数量；

若元素数量满足数量比例，则确定验证结果为验证成功；

若元素数量不满足数量比例，则确定验证结果为验证失败。

其中，灰度共生矩阵指的是一种通过研究灰度的空间相关特性来描述纹理的常用方法。可以通过灰度共生矩阵对图像中灰度的空间相关特性进行表达。自相关量可以度量空间灰度共生矩阵的元素在行或列的相似程度。当矩阵元素均匀相等时，自相关值就大，当矩阵元素相差很大，自相关值就小。自相关值即为一种纹理特征值。

可选地，相关性矩阵可以包括区域图像在各元素对应的自相关量。若元素与其相邻元素相同或者差异较小，则该元素对应的自相关值较大；若元素与其相邻元素不同或差异较大，则该元素对应的自相关值较小。

在实际应用中，撒散物是存在一定的纹理的，也即撒散物的元素与其相邻元素的差异较大，其自相关量较小。而对于一些非撒散物，例如水面，较为平滑，可以认为不存在纹理，也即，非撒散物的元素值与其相邻元素的差异较小，其自相关量较大。

因此，可以利用各元素对应的自相关量，对区域图像中属于撒散物的元素进行检测，也即若一个元素的自相关量大于相关阈值，则说明该元素为非撒散物的元素，若一个元素的自相关量小于或等于相关阈值，则说明该元素属于撒散物的元素。相关阈值可以为一个元素属于撒散物还是属于非撒散物的判断阈值。

其中，相关阈值可以设置获得，相关阈值也可以设置为相关性矩阵中所有元素对应自相关量的均值。数量比例可以为判断一个图像是否存在波动较为明显的纹理时，自相关量较小的元素数量占图像所有元素总量的比值，比值大小可以根据使用需求设置，例如，一般可以设为最小比值，而在实际应用中为了提高判断精度，可以适当提高比值。元素数量是否满足数量比例可以根据元素数量与区域图像中元素总量的比值与数量比例进行大小判断，若比值大于数量比例，则确定满足数量比例，若比值小于或等于数量比例，则确定不满足数量比例。

本实施例中，可以确定纹理特征包括灰度共生矩阵，以利用灰度共生矩阵对区域图像中多个元素分别对应的自相关量，通过自相关量可以对元素间的相关特性进行表征。若相关特性对应的自相关量小于相关阈值，则说明该元素与其周围元素差异较大，说明存在差异较大的纹理，而并非较为平滑的纹理，因此，在自相关量小于相关阈值的元素数量满足一定的数量比例时，可以确定区域图像中的元素差异较大，属于存在撒散物的纹理，此时对区域图像验证成功。而在未满足数量比值时，说明较多的元素值与其周围的元素差异较小，不属于撒散物的纹理，因此，对区域图像验证失败。在获得区域图像之后，通过对区域图像的纹理进行验证，可以实现对区域图像中是否存在撒散物进行进一步验证，提高撒散物识别的准确性。

图7为本公开实施例提供的道路的撒散物识别装置的结构示意图，如图7所示，该装置包括：请求响应单元701，背景提取单元702，特征提取单元703以及区域识别单元704。

其中，请求响应单元701，用于响应于目标道路的撒散物识别请求，从目标道路对应待视频视频中获取待识别图像。

背景提取单元702，用于提取待识别图像对应的第一背景图像和第二背景图像。

特征提取单元703，用于通过多尺度编码器和自注意力网络，分别提取第一背景图像对应的第一图像特征和第二背景图像对应的第二图像特征。

区域识别单元704，用于基于第一图像特征和第二图像特征的相似度计算结果，确定待识别图像中存在撒散物的目标区域。

进一步地，在上述任一实施例的基础上，背景提取单元，包括：

背景提取模块，用于从待识别图像中提取除运动目标之外的背景图像；

背景建模模块，用于通过两个不同学习率对应的背景提取算法法，提取背景图像对应的第一背景图像和第二背景图像。

进一步地，在上述任一实施例的基础上，背景提取算法包括高斯模型，背景建模模块，包括：

模型获取子模块，用于获取通过第一学习率获得的至少一个第一高斯模型和通过第二学习率设置的至少一个第二高斯模型，第一学习率和第二学习率大小不同；

第一匹配子模块，用于通过至少一个第一高斯模型，对背景图像中的多个像素点分别进行背景点检测，获得多个像素点分别对应的第一检测结果，第一检测结果包括属于背景点或者属于非背景点；

第一获得子模块，用于根据多个像素点分别对应的第一检测结果，对背景图像进行背景点和非背景点分类，获得第一背景图像；

第二匹配子模块，用于通过至少一个第二高斯模型，对背景图像中的多个像素点分别进行背景点检测，获得多个像素点分别对应的第二检测结果，第二检测结果包括属于背景点或者属于非背景点；

第二获得子模块，用于根据多个像素点分别对应的第二检测结果，对背景图像进行背景点和非背景点分类，获得第二背景图像。

进一步地，在上述任一实施例的基础上，第一匹配子模块，具体用于：

基于混合高斯算法，利用至少一个第一高斯模型，对背景图像中的多个像素点分别进行背景点检测，获得多个像素点分别对应的第一检测结果；

第二匹配子模块，具体用于：

基于混合高斯算法，利用至少一个第二高斯模型，对背景图像中的多个像素点分别进行背景点检测，获得多个像素点分别对应的第二检测结果。

进一步地，在上述任一实施例的基础上，区域识别单元，包括：

相似计算模块，用于对第一图像特征和第二图像特征进行特征相似度计算，获得相似度矩阵；

区域确定模块，用于根据相似度矩阵中各位置点的相似度值，确定小于相似度阈值的目标位置点，相似度矩阵的位置点关联待识别图像的像素区域；

目标确定模块，用于将目标位置点对应的像素区域在待识别图中执行区域拼接，获得存在撒散物的目标区域。

进一步地，在上述任一实施例的基础上，特征提取单元，包括：

编码模块，用于通过多尺度编码器，提取第一背景图像对应的第一特征图和第二背景图像对应的第二特征图；

第一计算模块，用于将第一特征图和第二特征图输入自注意力网络，获得第一特征图对应的第一图像特征和第二特征图对应的第二图像特征。

进一步地，在上述任一实施例的基础上，编码模块，包括：

编码子模块，用于通过多尺度编码器，对第一背景图像和第二背景图像进行特征提取，得到多个特征图，多个特征图的尺度相同；

划分子模块，用于将多个特征图按照通道划分为第一特征图和第二特征图，第一特征图和第二特征图的通道数量相等。

进一步地，在上述任一实施例的基础上，还包括：

区域提取单元，用于提取目标区域在待识别图像对应的区域图像；

纹理分析单元，用于通过纹理分析算法，提取区域图像的纹理特征；

纹理验证单元，用于根据纹理特征对区域图像中的物体是否为撒散物进行验证，获得验证结果；

提示输出单元，用于若确定验证结果为验证成功，则输出目标道路存在撒散物的提示信息。

进一步地，在上述任一实施例的基础上，纹理特征包括灰度共生矩阵，纹理验证单元，包括：

相关计算模块，用于根据灰度共生矩阵，计算多个元素分别对应的自相关量，获得区域图像对应的相关性矩阵；

数量获取模块，用于获取相关性矩阵中自相关量小于相关阈值的元素数量；

第一确定模块，用于若元素数量满足数量比例，则确定验证结果为验证成功；

第二确定模块，用于若元素数量不满足数量比例，则确定验证结果为验证失败。

本实施例的装置可以用于实现上述方法，在此不再赘述各步骤和技术效果。

需要说明的是，本实施例中的视频和图像来自于公开数据集。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

根据本公开的实施例，本公开还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述任一实施例的方法。

根据本公开的实施例，本公开还提供了包括计算机程序，该计算机程序被处理器执行时实现上述任一实施例的方法。

图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如道路的撒散物识别方法。例如，在一些实施例中，道路的撒散物识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的道路的撒散物识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行道路的撒散物识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。