一种轨道异物检测方法、装置、设备及介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种轨道异物检测方法、装置、设备及介质。

背景技术

近年来我国铁路建设发展进程迅速，客货运输量也在不断提高，极大方便了人们的日常出行。但是铁路轨道经常裸露在外，易受恶劣天气及自然环境灾害的影响，导致一些落石、泥石流等入侵铁轨区域，影响列车的行车安全，所以对铁路轨道异物入侵的预警是铁路安全运输环节中不可缺少的一部分。目前我国对铁路异物入侵的监测技术还停留在人工定期巡检，这种监测手段不但十分耗费人力，而且无法有效对入侵铁路轨道的异物进行实时预警。

因此相关技术中提出了以下方案：采集无落石的样本图像并进行背景预处理，建立初始背景图像，利用建立好的背景模型确定检测区域，提取图像中的红绿蓝(Red GreenBlue，RGB)颜色通道特征和梯度幅度特征，基于背景减差法，将当前时刻待检测图像的每一个像素点的灰度值减去当前背景图像中相应位置的像素点的灰度值，对相减后的图像检测RGB颜色通道特征和梯度幅度特征的变换量，进行阈值分割得到初步检测结果，然后将初步检测结果引入到颜色空间(Hue Saturation Value，HSV)进行分析，输出最终的落石检测结果。该方式虽然可以达到实时监测，但是直接利用像素点的灰度值进行背景减差，容易受到天气环境的影响，在阴天或光线不好的天气情况下两张图像之间的像素点的灰度值差异过小，可能无法检测出落石，造成系统漏报，无法准确检测到轨道内的异物。

发明内容

本申请实施例提供了一种轨道异物检测方法、装置、设备及介质，用以解决现有技术中对轨道异物检测的准确性较低的问题。

第一方面，本申请实施例提供了一种轨道异物检测方法，所述方法包括：

针对待进行异物检测的轨道，获取背景图像和待检测的轨道图像，背景图像包括轨道不存在异物的图像；

将轨道图像和背景图像输入到前景提取模型中，基于前景提取模型，对背景图像和轨道图像进行特征提取，得到背景图像的特征图和轨道图像的特征图，将背景图像的特征图和轨道图像的特征图进行背景差分，得到第一特征图和第二特征图；其中，第一特征图表示轨道图像中每个像素点属于前景目标的概率，第二特征图表示轨道图像中每个像素点属于背景图像的概率；

根据轨道图像中每个像素点属于前景目标的概率和属于背景图像的概率，确定前景目标以及前景目标所在的位置；

若前景目标所在的位置位于轨道所在的区域内，则确定轨道内存在异物。

第二方面，本申请实施例还提供了一种轨道异物检测装置，所述装置包括：

获取模块，用于针对待进行异物检测的轨道，获取背景图像和待检测的轨道图像，背景图像包括轨道不存在异物的图像；

处理模块，用于将轨道图像和背景图像输入到前景提取模型中，基于前景提取模型，对背景图像和轨道图像进行特征提取，得到背景图像的特征图和轨道图像的特征图，将背景图像的特征图和轨道图像的特征图进行背景差分，得到第一特征图和第二特征图；其中，第一特征图表示轨道图像中每个像素点属于前景目标的概率，第二特征图表示轨道图像中每个像素点属于背景图像的概率；

确定模块，用于根据轨道图像中每个像素点属于前景目标的概率和属于背景图像的概率，确定前景目标以及前景目标所在的位置；

检测模块，用于若前景目标所在的位置位于轨道所在的区域内，则确定轨道内存在异物。

第三方面，本申请实施例还提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任一项所述轨道异物检测方法的步骤。

第四方面，本申请实施例还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述轨道异物检测方法的步骤。

由于在本申请实施例中，针对待进行异物检测的轨道，获取背景图像和待检测的轨道图像，背景图像包括轨道不存在异物的图像；将轨道图像和背景图像输入到前景提取模型中，基于前景提取模型，对背景图像和轨道图像进行特征提取，得到背景图像的特征图和轨道图像的特征图，将背景图像的特征图和轨道图像的特征图进行背景差分，得到第一特征图和第二特征图；其中，第一特征图表示轨道图像中每个像素点属于前景目标的概率，第二特征图表示轨道图像中每个像素点属于背景图像的概率；根据轨道图像中每个像素点属于前景目标的概率和属于背景图像的概率，确定前景目标以及前景目标所在的位置；若前景目标所在的位置位于轨道所在的区域内，则确定轨道内存在异物。在本申请中通过将轨道图像和背景图像输入到前景提取模型中，基于前景提取模型，确定第一图像中像素点属于前景目标和背景图像的概率，进而确定第一图像中的前景目标所在位置，根据前景目标所在的位置和轨道所在的区域判断待检测轨道是否存在异物入侵，避免了由于直接采用背景减差法易受天气环境的影响导致无法检测出异物造成系统漏报的情况，提高了轨道异物检测的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请的一些实施例提供的一种轨道异物检测过程示意图；

图2为本申请的一些实施例提供的一种前景提取模型的结构示意图；

图3为本申请的一些实施例提供的一种轨道所在区域示意图；

图4为本申请的一些实施例提供的一种轨道异物检测结果示意图；

图5为本申请的一些实施例提供的一种轨道异物检测的流程示意图；

图6为本申请的一些实施例提供的一种轨道异物检测装置的结构示意图；

图7为本申请的一些实施例提供的终端设备的另一种结构示意图。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

本申请实施例提供了一种轨道异物检测方法、装置、设备及介质，该方法中针对待进行异物检测的轨道，获取背景图像和待检测的轨道图像，背景图像包括轨道不存在异物的图像；将轨道图像和背景图像输入到前景提取模型中，基于前景提取模型，对背景图像和轨道图像进行特征提取，得到背景图像的特征图和轨道图像的特征图，将背景图像的特征图和轨道图像的特征图进行背景差分，得到第一特征图和第二特征图；其中，第一特征图表示轨道图像中每个像素点属于前景目标的概率，第二特征图表示轨道图像中每个像素点属于背景图像的概率；根据轨道图像中每个像素点属于前景目标的概率和属于背景图像的概率，确定前景目标以及前景目标所在的位置；若前景目标所在的位置位于轨道所在的区域内，则确定轨道内存在异物。在本申请中通过将轨道图像和背景图像输入到前景提取模型中，基于前景提取模型，确定第一图像中像素点属于前景目标和背景图像的概率，进而确定第一图像中的前景目标位置信息，根据前景目标的位置信息判断待检测轨道是否存在异物入侵，避免了由于直接采用背景减差法易受天气环境的影响导致无法检测出异物造成系统漏报的情况，提高了轨道异物检测的准确性。

实施例1：

图1为本申请的一些实施例提供的一种轨道异物检测过程示意图，该过程包括：

S101：针对待进行异物检测的轨道，获取背景图像和待检测的轨道图像，背景图像包括轨道不存在异物的图像。

本申请实施例提供的轨道异物检测方法应用于电子设备，该电子设备可以是个人计算机(Personal Computer，PC)、服务器、图像采集设备如摄像头等。如果电子设备非图像采集设备，电子设备可以从图像采集设备中获取背景图像以及轨道图像。

示例的，背景图像可以是预先采集到的未经处理的轨道不存在异物的原始历史图像，或者背景图像可以是对包括轨道不存在异物的原始历史图像处理后得到的图像，例如背景图像可以是对包括轨道不存在异物的原始历史图像进行裁剪、并保留轨道部分的图像。

又一示例的，待检测的轨道图像可以是实时采集到的未经处理的包含轨道的原始实时图像，或者待检测的轨道图像可以是对包含轨道的原始实时图像处理后得到的图像，例如轨道图像可以是对包括轨道的原始实时图像进行裁剪、并保留轨道部分的图像。

又一示例的，待检测的轨道图像还可以是从实时采集到的视频流中解码得到的单帧实时图像。

其中，背景图像和轨道图像包括待检测轨道区域。可选的，除待检测轨道图像外，背景图像和轨道图像还可以包括非待检测轨道区域，如山峰、天空、建筑物、路面等。

通常图像采集设备的安装位置及安装角度是固定的，图像采集设备的视野范围可以是固定的，并且图像采集设备可以采集到待检测轨道，也就是说，在本申请实施例中背景图像和轨道图像采集到的图像范围相同，并且是针对同一待检测轨道采集到的图像。因此根据背景图像和轨道图像可以确定待检测轨道是否存在异物。

S102：将轨道图像和背景图像输入到前景提取模型中，基于前景提取模型，对背景图像和轨道图像进行特征提取，得到背景图像的特征图和轨道图像的特征图，将背景图像的特征图和轨道图像的特征图进行背景差分，得到第一特征图和第二特征图；其中，第一特征图表示轨道图像中每个像素点属于前景目标的概率，第二特征图表示轨道图像中每个像素点属于背景图像的概率。

前景提取模型是一种双端输入用于检测铁路轨道异物入侵的模型，该前景提取模型具有两个输入和一个输出，其中输入分别是待检测的轨道图像和背景图像，输出是异物检测的初步结果即第一特征图和第二特征图。

前景提取模型是预先训练完成的模型，该前景提取模型包括特征提取功能和背景差分功能，其中，基于前景提取模型中的特征提取功能，对背景图像和轨道图像进行特征提取，可以得到背景图像的特征图和轨道图像的特征图；针对背景图像的特征图和轨道图像的特征图，基于前景提取模型的背景差分功能，对背景图像的特征图和轨道图像的特征图进行背景差分，可以得到区分前景目标和背景图像的第一特征图和第二特征图。本申请中的前景提取模型是一种基于深度学习的模型，对光照变化、天气变化等具有良好的适应性。

第一特征图中的每个像素点的像素值用于表示轨道图像中相应的像素点属于前景目标的概率，第二特征图中的每个像素点的像素值用于表示轨道图像中相应的像素点属于背景图像的概率。其中，第一特征图和第二特征图中像素点的像素值的取值范围在0～1之间。

S103：根据轨道图像中每个像素点属于前景目标的概率和属于背景图像的概率，确定前景目标以及前景目标所在的位置。

针对轨道图像中每个像素点，根据该像素点属于前景目标的概率和属于背景图像的概率，能够确定该像素点是否属于前景目标。在一种可能的实现方式中，若该像素点属于前景目标的概率大于属于背景图像的概率，则可以将该像素点确定为属于前景目标；在另一种可能的实现方式中，可以根据该像素点属于前景目标的概率是否大于前景阈值，若是，则将该像素点确定为属于前景目标。上述两种可能的实现方式仅为示例，实际实现的过程中包括但不限于上述两种可能的实现方式。

根据属于前景目标的所有像素点，确定前景目标以及该前景目标所在的位置。其中，前景目标可以包括一个或多个，每个前景目标所在的位置可以不同。

S104：若前景目标所在的位置位于轨道所在的区域内，则确定轨道内存在异物。

根据前景目标所在的位置以及轨道所在的区域，判断前景目标所在的位置是否与轨道所在的区域有重叠部分。

若前景目标所在的位置与轨道所在的区域有重叠部分，则可以认为前景目标所在的位置位于轨道所在的区域内，则确定轨道内存在异物，此时电子设备可以进行报警。其中，报警方式包括但不限于文字提醒和语音提醒。

若前景目标所在的位置与轨道所在的区域没有重叠部分，则可以认为前景目标所在的位置不在轨道所在的区域内，则确定轨道内不存在异物，此时电子设备可以结束对当前帧图像即轨道图像的处理，并且还可以继续在后续采集到的图像中检测轨道中是否存在异物，例如将后续的图像作为待检测的轨道图像，重新返回S101继续执行轨道异物检测的流程。

由于在本申请中通过将轨道图像和背景图像输入到前景提取模型中，基于前景提取模型，确定第一图像中像素点属于前景目标和背景图像的概率，进而确定第一图像中的前景目标所在的位置，根据前景目标所在的位置判断待检测轨道是否存在异物入侵，避免了由于直接采用背景减差法易受天气环境的影响导致无法检测出异物造成系统漏报的情况，提高了轨道异物检测的准确性。

实施例2：

为了进一步提高轨道异物检测的准确性，在上述实施例的基础上，本申请实施例中，将轨道图像和背景图像输入到前景提取模型中，基于前景提取模型，对背景图像和轨道图像进行特征提取，得到背景图像的特征图和轨道图像的特征图，将背景图像的特征图和轨道图像的特征图进行背景差分，得到第一特征图和第二特征图，包括：

将背景图像和轨道图像输入到前景提取模型中，基于前景提取模型中与背景图像对应的多个第一卷积单元，对背景图像进行多次特征提取，得到背景图像的特征图，以及基于前景提取模型中与轨道图像对应的多个第二卷积单元，对轨道图像进行多次特征提取，得到轨道图像的特征图；

基于前景提取模型，对背景图像的特征图和轨道图像的特征图进行多次背景差分和上采样，并通过前景提取模型的第三卷积单元，对经过最后一次背景差分和上采样得到的图像中的每个像素点进行分类，得到第一特征图和第二特征图。

前景提取模型中包含多个第一卷积单元和多个第二卷积单元，每个第一卷积单元的结构可以相同或不同，每个第二卷积单元的结构可以相同或不同，但是同一层第一卷积单元和第二卷积单元的结构相同，每个第一卷积单元和第二卷积单元均由卷积核、归一化层(Batch Normalization，BN)、修正线性单元(Rectified Linear Unit，ReLU)激活函数、池化层和输出通道构成。每经过一次第一卷积单元即对背景图像进行了一次下采样即特征提取；每经过一次第二卷积单元即对轨道图像进行了一次下采样即特征提取。每个第一卷积单元以及每个第二卷积单元的输入图像和输出图像的尺寸、卷积核尺寸、输出通道数量以及下采样倍数可以相同或不同，此处不做具体限制。

多个第一卷积单元的数量和对背景图像进行多次特征提取的次数相同，即每经过一次第一卷积单元，就对背景图像进行了一次特征提取；多个第二卷积单元的数量和对轨道图像多次特征提取的次数相同，即每经过一次第二卷积单元，就对轨道图像进行了一次特征提取；第一卷积单元和第二卷积单元的数量相同，即对背景图像和轨道图像进行特征提取的次数相同。

基于前景提取模型中的背景差分功能，对背景图像的特征图和轨道图像的特征图进行多次背景差分，并且将每次背景差分后的特征图进行上采样，与上一层背景差分后得到的特征图在通道维度上进行拼接，并且通过第三卷积单元进行特征提取。其中，经过最后一次背景差分和上采样得到的特征图，输入到最后一个第三卷积单元中，最后一个第三卷积单元是通道数为2的卷积模块，用于对该特征图中的每个像素点进行分类，区分每个像素点属于前景目标和背景图像的概率，所以经过最后一个第三卷积单元的输出包括第一特征图和第二特征图。其中，第一特征图中像素点的像素值用于表示轨道图像中该像素点属于前景目标的概率，第二特征图中像素点的像素值用于表示轨道图像中该像素点属于背景图像的概率。

其中，基于前景提取模型，对背景图像的特征图和轨道图像的特征图进行多次背景差分和上采样，并通过前景提取模型的第三卷积单元，对经过最后一次背景差分和上采样得到的图像中的每个像素点进行分类，得到第一特征图和第二特征图，包括：

在前景提取模型中，针对每次背景差分和上采样，对背景图像的特征图和轨道图像的特征图进行相减操作，对相减后的图像进行上采样，得到第一图像，并将上一层第一卷积单元输出的特征图和上一层第二卷积单元输出的特征图进行相减操作，得到第二图像，将第一图像和第二图像在通道维度上堆叠，将堆叠后的图像输入到第三卷积单元中，得到差分特征图；

根据差分特征图，在前景提取模型中，进行多次背景差分和上采样，在最后一次背景差分和上采样后，通过前景提取模型的第三卷积单元对得到的差分特征图中的每个像素点进行分类，得到第一特征图和第二特征图。

在前景提取模型中，针对背景差分功能中的每次背景差分和上采样，对背景图像的特征图和轨道图像的特征图进行相减操作，对相减后的特征图进行上采样，确定上采样后的第一图像；将上一层第一卷积单元输出的背景图像的特征图和上一层第二卷积单元输出的轨道图像的特征图进行相减操作，确定相减后的第二图像，将第一图像和第二图像在通道维度上进行堆叠，将堆叠后的图像输入到第三卷积单元中，得到差分特征图。

针对每次背景差分后的差分特征图，进行上采样操作，确定上采样后的第三图像；将该差分特征图的上一层第一卷积单元输出的背景图像的特征图和上一层第二卷积单元输出的轨道图像的特征图进行相减操作，确定相减后的第四图像，将第三图像和第四图像在通道维度上进行堆叠，将堆叠后的图像输入到第三卷积单元中，得到第二差分特征图。重复上述操作，直至通过前景提取模型的最后一个第三卷积单元，得到第一特征图和第二特征图。

其中，在前景提取模型中，在最后一次背景差分和上采样后，确定第三差分特征图，将第三差分特征图通过最后一个第三卷积单元，对第三差分特征图中的每个像素点进行分类，即区分每个像素点属于前景目标的概率和背景图像的概率，得到第一特征图和第二特征图。

以一个具体的例子进行说明，图2示出了前景提取模型的结构图，其中，“CBR”为卷积模块，由卷积操作(Convolution，Conv)、批量归一化层(BN)、以及ReLU激活函数构成；“Sub”(subtract)为减法操作，用于两个特征图相减；“up-sample”为上采样操作，用于增大特征图的尺寸；“+”为堆叠操作，用于两个特征图在通道维度上融合。前景提取模型包括两个输入端，分别为背景图像和轨道图像，其中背景图像和轨道图像对应的相同层的卷积模块的结构相同，具体的CBR

CBR

CBR

CBR

CBR

基于前景提取模型中的背景差分功能，将第五背景特征图和第五轨道特征图进行相减操作，得到尺寸为30×20×512的第一相减特征图，然后对该第一相减特征图进行上采样，得到尺寸为60×40×512的第一上采样特征图；将第四背景特征图和第四轨道特征图进行相减操作，得到尺寸为60×40×256的第二相减特征图；将第一上采样特征图和第二相减特征图在通道维度上进行叠加，得到尺寸为60×40×768的第一叠加特征图x

针对差分特征图，对该差分特征图进行上采样，确定上采样后尺寸为120×80×256的第二上采样特征图；将第三背景特征图和第三轨道特征图进行相减操作，得到尺寸为120×80×128的第三相减特征图；将第二上采样特征图和第三相减特征图在通道维度上进行叠加，得到尺寸为120×80×384的第二叠加特征图x

针对第二差分特征图，对该第二差分特征图进行上采样，确定上采样后尺寸为240×160×128的第三上采样特征图；将第二背景特征图和第二轨道特征图进行相减操作，得到尺寸为240×160×64的第四相减特征图；将第三上采样特征图和第四相减特征图在通道维度上进行叠加，得到尺寸为240×160×192的第三叠加特征图x

针对第三差分特征图，对该第三差分特征图进行上采样，确定上采样后尺寸为480×320×64的第四上采样特征图；将第一背景特征图和第一轨道特征图进行相减操作，得到尺寸为480×320×32的第五相减特征图；将第四上采样特征图和第五相减特征图在通道维度上进行叠加，得到尺寸为480×320×96的第四叠加特征图x

针对第四差分特征图，对该第四差分特征图进行上采样，确定上采样后尺寸为960×640×32的第五上采样特征图x

通过基于深度学习的前景特征提取模型对背景图像和轨道图像进行背景差分，避免了由于直接采用背景减差法易受天气环境的影响导致无法检测出异物造成系统漏报的情况，进一步提高了轨道异物检测的准确性。

实施例4：

为了进一步提高轨道异物检测的准确性，在上述各实施例的基础上，本申请实施例中，根据轨道图像中每个像素点属于前景目标的概率和属于背景图像的概率，确定前景目标以及前景目标所在的位置，包括：

根据轨道图像中每个像素点属于前景目标的概率和属于背景图像的概率，将属于前景目标的概率大于属于背景图像的概率的像素点的像素值更新为第一像素值，将属于前景目标的概率不大于属于背景图像的概率的像素点的像素值更新为第二像素值；

根据更新后的像素点的像素值，确定轨道图像的二值图像；

在二值图像中，确定二值图像中前景目标以及前景目标所在的位置。

由于前景提取模型的输出为两个通道的特征图像即第一特征图和第二特征图，且第一特征图和第二特征图用于区分轨道图像中像素点属于前景目标和背景图像，所以根据第一特征图和第二特征图的像素点的像素值可以确定该像素点属于前景目标的概率。其中，第一特征图的像素点的像素值用于表示轨道图像中该像素点属于前景目标的概率，第二特征图的像素点的像素值用于表示轨道图像中该像素点属于背景图像的概率。

针对轨道图像中每个像素点，根据该像素点属于前景目标的概率和属于背景图像的概率，即根据第一特征图的像素点的像素值和第二特征图的像素点的像素值，将属于前景目标的概率大于属于背景图像的概率的像素点的像素值更新为第一像素值，即将第一特征图的像素点的像素值大于第二特征图的对应的像素点的像素值的像素点更新为第一像素值；将属于前景目标的概率不大于属于背景图像的概率的像素点的像素值更新为第二像素值，即将第一特征点的像素点的像素值不大于第二特征图的对应的像素点的像素值的像素点更新为第二像素值。

其中，将属于前景目标的概率大于属于背景图像的概率的像素点的像素值更新为第一像素值，将属于前景目标的概率不大于属于背景图像的概率的像素点的像素值更新为第二像素值的过程满足如下公式：

其中，(x,y)表示像素点的位置坐标，f

其中，x的取值范围与轨道图像尺寸的长有关，y的取值范围与轨道图像的尺寸的宽有关，示例的，若轨道图像的尺寸为960×640，则确定x的取值范围为0≤x<960，y的取值范围为0≤y<640。第一特征图中位置坐标为(x,y)的像素点的属于前景目标的概率和属于背景图像的概率的取值范围在0～1之间，且同一像素点属于前景目标的概率和属于背景图像的概率的和为1。第一像素值大于第二像素值，第一像素值和第二像素值的具体取值不做限制，例如第一像素值可以是255，第二像素值可以是0。

根据更新后的像素点的像素值，确定轨道图像的二值图像。其中，二值图像的像素点的像素值为第一像素值或第二像素值，且二值图像中像素值为第一像素值的像素点属于前景目标，二值图像中像素值为第二像素值的像素点属于背景图像。

在二值图像中，根据二值图像中属于前景目标的像素点，确定二值图像中的前景目标，根据属于前景目标的像素点的位置坐标，确定前景目标所在的位置。

根据轨道图像中像素点确定二值图像，并且根据二值图像确定前景目标以及前景目标所在的位置，进一步提高了轨道异物检测的准确性。

实施例5：

为了进一步提高轨道异物检测的准确性，在上述各实施例的基础上，本申请实施例中，在二值图像中，确定二值图像中前景目标以及前景目标所在的位置，包括：

对二值图像进行过滤虚检处理，确定前景目标；

针对前景目标，确定前景目标的最大外接矩形框，将最大外接矩形框确定为前景目标所在的位置。

对二值图像进行腐蚀、膨胀操作，更明确的区分前景目标和背景图像，对腐蚀、膨胀后的二值图像进行过滤虚检，过滤掉背景图像部分，得到轨道图像中的前景目标。轨道图像中可能不存在前景目标，也可能存在多个前景目标。

针对前景目标，确定前景目标的最大外接矩形框。若二值图像中存在多个前景目标，则针对每个前景目标都可以确定该前景目标的最大外接矩形框。

示例的，针对前景目标，可以通过计算得到前景目标的轮廓区域，利用轮廓区域的结果计算出该前景目标的最大外接矩形框，并通过最大外接矩形框在轨道图像中对前景目标进行标记，将最大外接矩形框在轨道图像或者标记的位置确定为前景目标所在的位置。

又一示例的，针对前景目标，由于二值图像的像素值为第一像素值的像素点确定为属于前景目标，将像素值为第二像素值的像素点确定为属于背景图像，所以根据每个像素点的像素值以及每个像素点的分布情况，确定第一像素值的最大外接矩形框，即确定前景目标的最大外接矩形框，并将最大外接矩形框确定为前景目标所在的位置。

对二值图像进行过滤虚检处理，能够减少属于背景图像的像素点的干扰，进一步提高了轨道异物检测的准确性。

实施例6：

为了进一步提高轨道异物检测的准确性，在上述各实施例的基础上，本申请实施例中，所述方法还包括：

针对轨道，根据霍夫直线检测对背景图像和轨道图像中的轨道进行检测，将轨道拟合为直线，并将轨道的直线所包含的区域确定为轨道所在的区域。

针对背景图像和轨道图像中待检测的轨道，采用霍夫直线检测对待检测轨道进行检测，将待检测轨道拟合为直线，并将轨道直线所包含的区域确定为待检测轨道所在的区域。如图3所示，轨道图像中将轨道拟合为轨道的直线，即为图3中白色直线，图3中白色直线所包含的区域为轨道所在区域。

输入前景提取模型的轨道图像和背景图像中的待检测轨道也可以是将待检测轨道标注出来的图像。

此外，可以将轨道所在区域确定为轨道异物检测场景下的预警区域，当前景目标出现在预警区域内，即当前景目标的最大外接矩形框与该预警区域有重叠部分时，确定待检测轨道区域内存在异物。

例如，图4示出了轨道异物检测结果示意图，图4中将轨道拟合为轨道直线，即为图4中白色直线，并将轨道直线所包含的区域确定为轨道所在区域；在图4中将前景目标的最大外接矩形框在图像中标注出来，即为图4中黑色矩形框。根据图4中标注的轨道所在区域和前景目标的最大外接矩形框的位置，判断出该前景目标的最大外接矩形框在该轨道所在区域内，确定待检测轨道区域内存在异物。

通过霍夫直线检测将待检测轨道拟合为直线，更准确的确定出轨道所在位置，进一步提高了轨道异物检测的准确性。

图5是轨道异物检测的流程示意图，将背景图像和轨道图像输入到前景提取模型中，基于该前景提取模型输出初步检测结果，即输出用于区分前景目标和背景图像的第一特征图和第二特征图；针对该初步检测结果，通过形态学操作中的腐蚀、膨胀操作过滤虚检前景目标，并且针对该前景目标，确定该前景目标所在的位置；根据该前景目标所在的位置和待检测轨道所在的区域，确定轨道异物检测结果。其中，轨道异物检测结果包括：若前景目标所在的位置位于轨道所在的区域内，则确定轨道内存在异物；若前景目标所在的位置不位于轨道所在的区域内，则确定轨道内不存在异物。

实施例7：

基于相同的技术构思，在上述各实施例的基础上，本申请提供了一种轨道异物检测装置，图6为本申请的一些实施例提供的一种轨道异物检测装置结构示意图，如图6所示，该装置包括：

获取模块601，用于针对待进行异物检测的轨道，获取背景图像和待检测的轨道图像，背景图像包括轨道不存在异物的图像；

处理模块602，用于将轨道图像和背景图像输入到前景提取模型中，基于前景提取模型，对背景图像和轨道图像进行特征提取，得到背景图像的特征图和轨道图像的特征图，将背景图像的特征图和轨道图像的特征图进行背景差分，得到第一特征图和第二特征图；其中，第一特征图表示轨道图像中每个像素点属于前景目标的概率，第二特征图表示轨道图像中每个像素点属于背景图像的概率；

确定模块603，用于根据轨道图像中每个像素点属于前景目标的概率和属于背景图像的概率，确定前景目标以及前景目标所在的位置；

检测模块604，用于若前景目标所在的位置位于轨道所在的区域内，则确定轨道内存在异物。

在一种可能的实施方式中，处理模块602，具体用于将背景图像和轨道图像输入到前景提取模型中，基于前景提取模型中与背景图像对应的多个第一卷积单元，对背景图像进行多次特征提取，得到背景图像的特征图，以及基于前景提取模型中与轨道图像对应的多个第二卷积单元，对轨道图像进行多次特征提取，得到轨道图像的特征图；基于前景提取模型，对背景图像的特征图和轨道图像的特征图进行多次背景差分和上采样，并通过前景提取模型的第三卷积单元，对经过最后一次背景差分和上采样得到的图像中的每个像素点进行分类，得到第一特征图和第二特征图。

在一种可能的实施方式中，处理模块602，具体用于在前景提取模型中，针对每次背景差分和上采样，对背景图像的特征图和轨道图像的特征图进行相减操作，对相减后的图像进行上采样，得到第一图像，并将上一层第一卷积单元输出的特征图和上一层第二卷积单元输出的特征图进行相减操作，得到第二图像，将第一图像和第二图像在通道维度上堆叠，将堆叠后的图像输入到第三卷积单元中，得到差分特征图；根据差分特征图，在前景提取模型中，进行多次背景差分和上采样，在最后一次背景差分和上采样后，通过前景提取模型的第三卷积单元对得到的差分特征图中的每个像素点进行分类，得到第一特征图和第二特征图。

在一种可能的实施方式中，确定模块603，具体用于根据轨道图像中每个像素点属于前景目标的概率和属于背景图像的概率，将属于前景目标的概率大于属于背景图像的概率的像素点的像素值更新为第一像素值，将属于前景目标的概率不大于属于背景图像的概率的像素点的像素值更新为第二像素值；根据更新后的像素点的像素值，确定轨道图像的二值图像；在二值图像中，确定二值图像中前景目标以及前景目标所在的位置。

在一种可能的实施方式中，将属于前景目标的概率大于属于背景图像的概率的像素点的像素值更新为第一像素值，将属于前景目标的概率不大于属于背景图像的概率的像素点的像素值更新为第二像素值的过程满足如下公式：

在一种可能的实施方式中，确定模块603，具体用于对二值图像进行过滤虚检处理，确定前景目标；针对前景目标，确定前景目标的最大外接矩形框，将最大外接矩形框确定为前景目标所在的位置。

在一种可能的实施方式中，获取模块601，还用于针对轨道，根据霍夫直线检测对背景图像和轨道图像中的轨道进行检测，将轨道拟合为直线，并将轨道的直线所包含的区域确定为轨道所在的区域。

实施例8：

基于相同的技术构思，本申请还提供了一种电子设备，图7为本申请实施例提供的一种电子设备结构示意图，如图7所示，包括：处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信；

存储器703中存储有计算机程序，当程序被处理器701执行时，使得处理器701执行如下步骤：

针对待进行异物检测的轨道，获取背景图像和待检测的轨道图像，背景图像包括轨道不存在异物的图像；

将轨道图像和背景图像输入到前景提取模型中，基于前景提取模型，对背景图像和轨道图像进行特征提取，得到背景图像的特征图和轨道图像的特征图，将背景图像的特征图和轨道图像的特征图进行背景差分，得到第一特征图和第二特征图；其中，第一特征图表示轨道图像中每个像素点属于前景目标的概率，第二特征图表示轨道图像中每个像素点属于背景图像的概率；

根据轨道图像中每个像素点属于前景目标的概率和属于背景图像的概率，确定前景目标以及前景目标所在的位置；

若前景目标所在的位置位于轨道所在的区域内，则确定轨道内存在异物。

在一种可能的实施方式中，处理器701，具体用于将背景图像和轨道图像输入到前景提取模型中，基于前景提取模型中与背景图像对应的多个第一卷积单元，对背景图像进行多次特征提取，得到背景图像的特征图，以及基于前景提取模型中与轨道图像对应的多个第二卷积单元，对轨道图像进行多次特征提取，得到轨道图像的特征图；基于前景提取模型，对背景图像的特征图和轨道图像的特征图进行多次背景差分和上采样，并通过前景提取模型的第三卷积单元，对经过最后一次背景差分和上采样得到的图像中的每个像素点进行分类，得到第一特征图和第二特征图。

在一种可能的实施方式中，处理器701，具体用于在前景提取模型中，针对每次背景差分和上采样，对背景图像的特征图和轨道图像的特征图进行相减操作，对相减后的图像进行上采样，得到第一图像，并将上一层第一卷积单元输出的特征图和上一层第二卷积单元输出的特征图进行相减操作，得到第二图像，将第一图像和第二图像在通道维度上堆叠，将堆叠后的图像输入到第三卷积单元中，得到差分特征图；根据差分特征图，在前景提取模型中，进行多次背景差分和上采样，在最后一次背景差分和上采样后，通过前景提取模型的第三卷积单元对得到的差分特征图中的每个像素点进行分类，得到第一特征图和第二特征图。

在一种可能的实施方式中，处理器701，具体用于根据轨道图像中每个像素点属于前景目标的概率和属于背景图像的概率，将属于前景目标的概率大于属于背景图像的概率的像素点的像素值更新为第一像素值，将属于前景目标的概率不大于属于背景图像的概率的像素点的像素值更新为第二像素值；根据更新后的像素点的像素值，确定轨道图像的二值图像；在二值图像中，确定二值图像中前景目标以及前景目标所在的位置。

在一种可能的实施方式中，将属于前景目标的概率大于属于背景图像的概率的像素点的像素值更新为第一像素值，将属于前景目标的概率不大于属于背景图像的概率的像素点的像素值更新为第二像素值的过程满足如下公式：

在一种可能的实施方式中，处理器701，具体用于对二值图像进行过滤虚检处理，确定前景目标；针对前景目标，确定前景目标的最大外接矩形框，将最大外接矩形框确定为前景目标所在的位置。

在一种可能的实施方式中，处理器701，具体用于针对轨道，根据霍夫直线检测对背景图像和轨道图像中的轨道进行检测，将轨道拟合为直线，并将轨道的直线所包含的区域确定为轨道所在的区域。

上述电子设备提到的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口702用于上述电子设备与其他设备之间的通信。

存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述处理器可以是通用处理器，包括中央处理器、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字指令处理器)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

实施例9：

基于相同的技术构思，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质内存储有可由电子设备执行的计算机程序，当程序在电子设备上运行时，使得电子设备执行时实现如下步骤：

针对待进行异物检测的轨道，获取背景图像和待检测的轨道图像，背景图像包括轨道不存在异物的图像；

将轨道图像和背景图像输入到前景提取模型中，基于前景提取模型，对背景图像和轨道图像进行特征提取，得到背景图像的特征图和轨道图像的特征图，将背景图像的特征图和轨道图像的特征图进行背景差分，得到第一特征图和第二特征图；其中，第一特征图表示轨道图像中每个像素点属于前景目标的概率，第二特征图表示轨道图像中每个像素点属于背景图像的概率；

根据轨道图像中每个像素点属于前景目标的概率和属于背景图像的概率，确定前景目标以及前景目标所在的位置；

若前景目标所在的位置位于轨道所在的区域内，则确定轨道内存在异物。

在一种可能的实施方式中，将轨道图像和背景图像输入到前景提取模型中，基于前景提取模型，对背景图像和轨道图像进行特征提取，得到背景图像的特征图和轨道图像的特征图，将背景图像的特征图和轨道图像的特征图进行背景差分，得到第一特征图和第二特征图，包括：

将背景图像和轨道图像输入到前景提取模型中，基于前景提取模型中与背景图像对应的多个第一卷积单元，对背景图像进行多次特征提取，得到背景图像的特征图，以及基于前景提取模型中与轨道图像对应的多个第二卷积单元，对轨道图像进行多次特征提取，得到轨道图像的特征图；

基于前景提取模型，对背景图像的特征图和轨道图像的特征图进行多次背景差分和上采样，并通过前景提取模型的第三卷积单元，对经过最后一次背景差分和上采样得到的图像中的每个像素点进行分类，得到第一特征图和第二特征图。

在一种可能的实施方式中，基于前景提取模型，对背景图像的特征图和轨道图像的特征图进行多次背景差分和上采样，并通过前景提取模型的第三卷积单元，对经过最后一次背景差分和上采样得到的图像中的每个像素点进行分类，得到第一特征图和第二特征图，包括：

在前景提取模型中，针对每次背景差分和上采样，对背景图像的特征图和轨道图像的特征图进行相减操作，对相减后的图像进行上采样，得到第一图像，并将上一层第一卷积单元输出的特征图和上一层第二卷积单元输出的特征图进行相减操作，得到第二图像，将第一图像和第二图像在通道维度上堆叠，将堆叠后的图像输入到第三卷积单元中，得到差分特征图；

根据差分特征图，在前景提取模型中，进行多次背景差分和上采样，在最后一次背景差分和上采样后，通过前景提取模型的第三卷积单元对得到的差分特征图中的每个像素点进行分类，得到第一特征图和第二特征图。

在一种可能的实施方式中，根据轨道图像中每个像素点属于前景目标的概率和属于背景图像的概率，确定前景目标以及前景目标所在的位置，包括：

根据轨道图像中每个像素点属于前景目标的概率和属于背景图像的概率，将属于前景目标的概率大于属于背景图像的概率的像素点的像素值更新为第一像素值，将属于前景目标的概率不大于属于背景图像的概率的像素点的像素值更新为第二像素值；

根据更新后的像素点的像素值，确定轨道图像的二值图像；

在二值图像中，确定二值图像中前景目标以及前景目标所在的位置。

在一种可能的实施方式中，将属于前景目标的概率大于属于背景图像的概率的像素点的像素值更新为第一像素值，将属于前景目标的概率不大于属于背景图像的概率的像素点的像素值更新为第二像素值的过程满足如下公式：

其中，(x,y)表示像素点的位置坐标，f

在一种可能的实施方式中，在二值图像中，确定二值图像中前景目标以及前景目标所在的位置，包括：

对二值图像进行过滤虚检处理，确定前景目标；

针对前景目标，确定前景目标的最大外接矩形框，将最大外接矩形框确定为前景目标所在的位置。

在一种可能的实施方式中，还包括：

针对轨道，根据霍夫直线检测对背景图像和轨道图像中的轨道进行检测，将轨道拟合为直线，并将轨道的直线所包含的区域确定为轨道所在的区域。

上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、MO(磁光盘)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、NAND FLASH(非易失性存储器)、SSD(固态硬盘)等。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。