一种基于图像处理的遗留物检测方法及终端

技术领域

本发明涉及计算机图像处理领域，特别涉及一种基于图像处理的遗留物检测方法及终端。

背景技术

在现有技术中，通常采用两种方法进行遗留物检测：

一种是使用混合高斯背景建模的方法分离前景和背景，对一个周期内的前景信息进行提取和跟踪，从而将固定的前景区域锁定为物品遗留区域，但是使用背景建模的方法容易受前景噪声或异物遮挡等因素的干扰，遗留物检测的稳定性差。

另一种是使用不同的学习率构建双背景模型，获得两个对应的前景，再对静态前景进行定位，但是使用该方法也容易受到前景噪声的影响，环境的轻微变化都会引入大量的噪声，在环境复杂的情况下遗留物检测极易失败。

发明内容

本发明所要解决的技术问题是：提供一种基于图像处理的遗留物检测方法及终端，能够在复杂环境下提高遗留物检测的稳定性。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于图像处理的遗留物检测方法，包括步骤：

获取待检测视频，根据第一学习率对待检测视频的每一帧构建对应的第一背景模型，根据第二学习率对待检测视频的每一帧构建对应的第二背景模型；

基于不同学习率下所述遗留物融入背景的速度差异，获取每一帧对应的所述第一背景模型提取的第一背景和所述第二背景模型提取的第二背景的背景差值；

提取每一帧所述背景差值的连通域，并获取各个连通域的外接矩形；

对每一帧每一所述外接矩形进行跟踪，将重复出现次数大于或者等于第一阈值的外接矩形确定为遗留物区域。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种基于图像处理的遗留物检测终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待检测视频，根据第一学习率对待检测视频的每一帧构建对应的第一背景模型，根据第二学习率对待检测视频的每一帧构建对应的第二背景模型；

基于不同学习率下所述遗留物融入背景的速度差异，获取每一帧对应的所述第一背景模型提取的第一背景和所述第二背景模型提取的第二背景的背景差值；

提取每一帧所述背景差值的连通域，并获取各个连通域的外接矩形；

对每一帧每一所述外接矩形进行跟踪，将重复出现次数大于或者等于第一阈值的外接矩形确定为遗留物区域。

本发明的有益效果在于：基于不同的学习率对待检测视频的每一帧构建对应的不同的背景模型，并根据不同学习率下遗留物融入背景的速度差异，获取背景模型的背景差值，然后提取背景差值所对应的连通域，再获取连通域的外接矩形，最后对每一帧的每一外接矩形进行跟踪，得到稳定的静止区域，即遗留物区域；使用背景信息确定遗留物的区域能够借助背景信息稳定性高的特点，避免光线变化、目标遮挡、摄像机抖动等干扰，实现复杂环境下的遗留物检测，能够在复杂环境下提高遗留物检测的稳定性。

附图说明

图1为本发明实施例的一种基于图像处理的遗留物检测方法的流程图；

图2为本发明实施例的一种基于图像处理的遗留物检测终端的示意图；

图3为本发明实施例的一种基于图像处理的遗留物检测方法的具体步骤流程图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1，本发明实施例提供了一种基于图像处理的遗留物检测方法，包括步骤：

获取待检测视频，根据第一学习率对待检测视频的每一帧构建对应的第一背景模型，根据第二学习率对待检测视频的每一帧构建对应的第二背景模型；

基于不同学习率下所述遗留物融入背景的速度差异，获取每一帧对应的所述第一背景模型提取的第一背景和所述第二背景模型提取的第二背景的背景差值；

提取每一帧所述背景差值的连通域，并获取各个连通域的外接矩形；

对每一帧每一所述外接矩形进行跟踪，将重复出现次数大于或者等于第一阈值的外接矩形确定为遗留物区域。

从上述描述可知，本发明的有益效果在于：基于不同的学习率对待检测视频的每一帧构建对应的不同的背景模型，并根据不同学习率下遗留物融入背景的速度差异，获取背景模型的背景差值，然后提取背景差值所对应的连通域，再获取连通域的外接矩形，最后对每一帧的每一外接矩形进行跟踪，得到稳定的静止区域，即遗留物区域；使用背景信息确定遗留物的区域能够借助背景信息稳定性高的特点，避免光线变化、目标遮挡、摄像机抖动等干扰，实现复杂环境下的遗留物检测，能够在复杂环境下提高遗留物检测的稳定性。

进一步地，所述根据第一学习率对待检测视频的每一帧构建对应的第一背景模型，根据第二学习率对待检测视频的每一帧构建对应的第二背景模型包括：

根据第一学习率对待检测视频的每一帧构建对应的第一初始背景模型，并使用第一学习率对第一初始背景模型进行学习，获取稳定的第一背景模型；

根据第二学习率对待检测视频的每一帧构建对应的第二初始背景模型，并使用第二学习率对第二初始背景模型进行学习，获取稳定的第二背景模型；

所述第一学习率与所述第二学习率不同。

由上述描述可知，使用不同的学习率构建对应的初始背景模型，将初始背景模型学习至稳定，得到对应的背景模型，以便后续对背景模型进行差值计算，从而确定遗留物位置。

进一步地，获取每一帧对应的所述第一背景模型提取的第一背景和所述第二背景模型提取的第二背景的背景差值包括：

提取每一帧对应的所述第一背景的灰度图和所述第二背景的灰度图；

对所述第一背景的灰度图和第二背景的灰度图进行差值计算，生成差值图；

对所述差值图进行二值化运算，生成二值图；

基于所述二值图进行中值滤波，获取背景差值。

由上述描述可知，提取背景模型的背景后，进行图像差值、图像二值化和图像滤波的操作，由于均属于编解码模块的常规操作，进行图像处理时移植难度小且容易实现。

进一步地，提取所述背景差值的连通域，并获取各个连通域的外接矩形包括：

使用连通域标记算法提取连续像素区域的外围轮廓信息，标记出所述背景差值中所有的连通域；

获取每个连通域对应的外接矩形。

由上述描述可知，使用连通域标记算法对背景差值提取连续像素区域的外围轮廓信息，能够快速获取到背景差值中所有的连通域，并获取每个连通域的对应的外接矩形，初步确定遗留物可能存在的区域。

进一步地，对每一帧每一所述外接矩形进行跟踪，将重复出现次数大于或者等于第一阈值的外接矩形确定为遗留物区域包括：

按照所述待检测视频的时间顺序，计算每一帧的每一外接矩形与下一帧的每一外接矩形的交集与并集的比值，每计算出一个比值，判断所述比值是否大于或者等于第二阈值；

若是，则将所述比值对应的下一帧的外接矩形替换为所述比值对应的当前帧的外接矩形与下一帧的外接矩形的并集，并将所述比值对应的当前帧的外接矩形的重复次数加一，判断是否存在重复次数大于或者等于第一阈值的目标外接矩形，若存在，则将所述目标外接矩形确定为遗留物区域，若不存在，则重复上述计算每一帧的每一外接矩形与下一帧的每一外接矩形的交集与并集的比值的步骤，直至每一帧的每一外接矩形与下一帧的每一外接矩形的交集与并集的比值都计算完成；

若否，则所述比值对应的当前帧的外接矩形不是遗留物区域，并重复上述计算每一帧的每一外接矩形与下一帧的每一外接矩形的交集与并集的比值的步骤，直至每一帧的每一外接矩形与下一帧的每一外接矩形的交集与并集的比值都计算完成。

由上述描述可知，按照时间顺序，计算每一帧的每一外接矩形与下一帧的每一外接矩形的交集与并集的比值，每计算出一个比值，判断比值是否大于或者等于第二阈值，若是则重复出现次数加一并将下一帧外接矩形替换为所述比值对应的当前帧的外接矩形与下一帧的外接矩形的并集，将重复出现次数达到第一阈值的外接矩形区域确定为遗留物区域，因此只依靠每一帧的背景图像数据即可得到遗留物所在的区域，借助背景图像的方法和通过并集确定的遗留物区域的方法，提高遗留物检测的稳定性。

请参照图2，本发明另一实施例提供了一种基于图像处理的遗留物检测终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待检测视频，根据第一学习率对待检测视频的每一帧构建对应的第一背景模型，根据第二学习率对待检测视频的每一帧构建对应的第二背景模型；

基于不同学习率下所述遗留物融入背景的速度差异，获取每一帧对应的所述第一背景模型提取的第一背景和所述第二背景模型提取的第二背景的背景差值；

提取每一帧所述背景差值的连通域，并获取各个连通域的外接矩形；

对每一帧每一所述外接矩形进行跟踪，将重复出现次数大于或者等于第一阈值的外接矩形确定为遗留物区域。

由上述描述可知，基于不同的学习率对待检测视频的每一帧构建对应的不同的背景模型，并根据不同学习率下遗留物融入背景的速度差异，获取背景模型的背景差值，然后提取背景差值所对应的连通域，再获取连通域的外接矩形，最后对每一帧的每一外接矩形进行跟踪，得到稳定的静止区域，即遗留物区域；使用背景信息确定遗留物的区域能够借助背景信息稳定性高的特点，避免光线变化、目标遮挡、摄像机抖动等干扰，实现复杂环境下的遗留物检测，能够在复杂环境下提高遗留物检测的稳定性。

进一步地，所述根据第一学习率对待检测视频的每一帧构建对应的第一背景模型，根据第二学习率对待检测视频的每一帧构建对应的第二背景模型包括：

根据第一学习率对待检测视频的每一帧构建对应的第一初始背景模型，并使用第一学习率对第一初始背景模型进行学习，获取稳定的第一背景模型；

根据第二学习率对待检测视频的每一帧构建对应的第二初始背景模型，并使用第二学习率对第二初始背景模型进行学习，获取稳定的第二背景模型；

所述第一学习率与所述第二学习率不同。

由上述描述可知，使用不同的学习率构建对应的初始背景模型，将初始背景模型学习至稳定，得到对应的背景模型，以便后续对背景模型进行差值计算，从而确定遗留物位置。

进一步地，获取每一帧对应的所述第一背景模型提取的第一背景和所述第二背景模型提取的第二背景的背景差值包括：

提取每一帧对应的所述第一背景的灰度图和所述第二背景的灰度图；

对所述第一背景的灰度图和第二背景的灰度图进行差值计算，生成差值图；

对所述差值图进行二值化运算，生成二值图；

基于所述二值图进行中值滤波，获取背景差值。

由上述描述可知，提取背景模型的背景后，进行图像差值、图像二值化和图像滤波的操作，由于均属于编解码模块的常规操作，进行图像处理时移植难度小且容易实现。

进一步地，提取所述背景差值的连通域，并获取各个连通域的外接矩形包括：

使用连通域标记算法提取连续像素区域的外围轮廓信息，标记出所述背景差值中所有的连通域；

获取每个连通域对应的外接矩形。

由上述描述可知，使用连通域标记算法对背景差值提取连续像素区域的外围轮廓信息，能够快速获取到背景差值中所有的连通域，并获取每个连通域的对应的外接矩形，初步确定遗留物可能存在的区域。

进一步地，对每一帧每一所述外接矩形进行跟踪，将重复出现次数大于或者等于第一阈值的外接矩形确定为遗留物区域包括：

按照所述待检测视频的时间顺序，计算每一帧的每一外接矩形与下一帧的每一外接矩形的交集与并集的比值，每计算出一个比值，判断所述比值是否大于或者等于第二阈值；

若是，则将所述比值对应的下一帧的外接矩形替换为所述比值对应的当前帧的外接矩形与下一帧的外接矩形的并集，并将所述比值对应的当前帧的外接矩形的重复次数加一，判断是否存在重复次数大于或者等于第一阈值的目标外接矩形，若存在，则将所述目标外接矩形确定为遗留物区域，若不存在，则重复上述计算每一帧的每一外接矩形与下一帧的每一外接矩形的交集与并集的比值的步骤，直至每一帧的每一外接矩形与下一帧的每一外接矩形的交集与并集的比值都计算完成；

若否，则所述比值对应的当前帧的外接矩形不是遗留物区域，并重复上述计算每一帧的每一外接矩形与下一帧的每一外接矩形的交集与并集的比值的步骤，直至每一帧的每一外接矩形与下一帧的每一外接矩形的交集与并集的比值都计算完成。

由上述描述可知，按照时间顺序，计算每一帧的每一外接矩形与下一帧的每一外接矩形的交集与并集的比值，每计算出一个比值，判断比值是否大于或者等于第二阈值，若是则重复出现次数加一并将下一帧外接矩形替换为所述比值对应的当前帧的外接矩形与下一帧的外接矩形的并集，将重复出现次数达到第一阈值的外接矩形区域确定为遗留物区域，因此只依靠每一帧的背景图像数据即可得到遗留物所在的区域，借助背景图像的方法和通过并集确定的遗留物区域的方法，提高遗留物检测的稳定性。

本发明上述一种基于图像处理的遗留物检测方法及终端，适用于在复杂的环境下进行遗留物检测，特别是能够对抗光线变化、目标遮挡、摄像机抖动等因素造成的干扰，以下通过具体实施方式进行说明：

实施例一

请参照图1和图3，一种基于图像处理的遗留物检测方法，包括步骤：

S1、获取待检测视频，根据第一学习率对待检测视频的每一帧构建对应的第一背景模型，根据第二学习率对待检测视频的每一帧构建对应的第二背景模型；

其中，根据第一学习率对待检测视频的每一帧构建对应的第一初始背景模型，并使用第一学习率对第一初始背景模型进行学习，获取稳定的第一背景模型；

根据第二学习率对待检测视频的每一帧构建对应的第二初始背景模型，并使用第二学习率对第二初始背景模型进行学习，获取稳定的第二背景模型；

所述第一学习率与所述第二学习率不同；

具体的，使用第一学习率对第一初始背景模型学习，获取稳定的第一背景模型model_1，使用第二学习率对第二初始背景模型学习，获取稳定的第二背景模型model_2，由于两个背景模型的学习率不同，获取到的背景模型也不同，以便后续基于两个背景模型进行图像处理和分析；

S2、基于不同学习率下所述遗留物融入背景的速度差异，获取每一帧对应的所述第一背景模型提取的第一背景和所述第二背景模型提取的第二背景的背景差值；

具体的，遗留物会随时间慢慢融入背景中，因此使用不同的学习率对图像进行学习和背景建模，能够分别在遗留物先后融入背景的时候获取稳定的背景模型，分别提取到遗留物已融入背景的背景图和遗留物未融入背景的背景图，并且基于背景图像做差，能够过滤掉前景信息的干扰，不受短时间的目标遮挡的影响；

其中，获取每一帧对应的所述第一背景模型提取的第一背景和所述第二背景模型提取的第二背景的背景差值包括：

提取每一帧对应的所述第一背景的灰度图和所述第二背景的灰度图；

对所述第一背景的灰度图和第二背景的灰度图进行差值计算，生成差值图；

对所述差值图进行二值化运算，生成二值图；

基于所述二值图进行中值滤波，获取背景差值；

具体的，在本实施例中，对遗留物未融入背景的第一背景和遗留物已融入背景的背景图第二背景提取对应的灰度图并对灰度图进行差值计算，生成差值图，对差值图进行二值化运算，生成二值图，再对二值图进行中值滤波，得到去除少量噪声干扰的背景差值；

S3、提取每一帧所述背景差值的连通域，并获取各个连通域的外接矩形；

其中，使用连通域标记算法提取连续像素区域的外围轮廓信息，标记出所述背景差值中所有的连通域；

获取每个连通域对应的外接矩形；

具体的，使用连通域标记算法标记背景差值中所有的连通域，在本实施例中使用opencv中的findContours函数进行标记，findContours函数能够提取出连通域的外围轮廓信息，然后使用opencv中的boundingRect函数，获取标记的每个连通域对应的外接矩形，准确地标记遗留物可能出现的区域，并且使用到的背景建模、图像差值、图像二值化、连通域提取和外接矩形运算等操作，均属于编解码模块的常规操作，移植难度小；

S4、对每一帧每一外所述接矩形进行跟踪，将重复出现次数大于或者等于第一阈值的外接矩形确定为遗留物区域；

具体的，将重复出现次数大于或者等于第一阈值的外接矩形确定为遗留物区域，能够从多个标记的外接矩形中确定遗留物的具体区域，使得遗留物检测结果更加稳定；

具体的，在本实施例中，提供一段10分钟的高速公路固定摄像机拍摄的轮胎掉落的视频，其中轮胎掉落在第8分钟，若仅使用混合高斯背景建模的方法，分离出前景图像，然后对前景区域进行跟踪，能够成功检测出轮胎掉落，但是在车辆拥挤的情况下出现多次误报；

若使用混合高斯背景建模的方法，基于不同的学习率，构建两个不同的背景模型，然后提取两个前景图像，然后对前景信息做跟踪，得到固定的前景区域，然后对两个前景的固定前景区域做差值，测试过程中，能够检测出轮胎掉落，但是对灯杆的阴影区域出现多次误报，对光线变化比较敏感；

若使用本实施例中提供的基于图像处理的遗留物检测方法，测试过程中，能够稳定检测轮胎掉落，且在车辆拥堵和光线变化时，均未出现误报，从而体现出本遗留物检测方法提高了检测稳定性和检测准确率。

实施例二

本实施例与实施例一的不同之处在于，进一步限定了如何跟踪获取到的外接矩形：

具体的，对每一帧每一所述外接矩形进行跟踪，将重复出现次数大于或者等于第一阈值的外接矩形确定为遗留物区域包括：

按照所述待检测视频的时间顺序，计算每一帧的每一外接矩形与下一帧的每一外接矩形的交集与并集的比值，每计算出一个比值，判断所述比值是否大于或者等于第二阈值；

若是，则将所述比值对应的下一帧的外接矩形替换为所述比值对应的当前帧的外接矩形与下一帧的外接矩形的并集，并将所述比值对应的当前帧的外接矩形的重复次数加一，判断是否存在重复次数大于或者等于第一阈值的目标外接矩形，若存在，则将所述目标外接矩形确定为遗留物区域，若不存在，则重复上述计算每一帧的每一外接矩形与下一帧的每一外接矩形的交集与并集的比值的步骤，直至每一帧的每一外接矩形与下一帧的每一外接矩形的交集与并集的比值都计算完成；

若否，则所述比值对应的当前帧的外接矩形不是遗留物区域，并重复上述计算每一帧的每一外接矩形与下一帧的每一外接矩形的交集与并集的比值的步骤，直至每一帧的每一外接矩形与下一帧的每一外接矩形的交集与并集的比值都计算完成。

具体的，一个可选的实施方式中，设第一阈值为3，获取5帧的视频，第1帧的图像中有两个外接矩形a1、a2，第2帧的图像中有两个外接矩形b1、b2，分别计算a1与b1、a1与b2、a2与b1、a2与b2的交并比，其中a1与b1的交并比大于70%，a1的重复出现次数记为1，并取a1与b1的并集作为新的b1；

第2帧的图像中有两个外接矩形b1、b2，第3帧的图像中有三个外接矩形c1、c2、c3，分别计算b1与c1、b1与c2、b1与c3、b2与c1、b2与c2、b2与c3的交并比，其中b1与c2的交并比大于70%，b2与c3的交并比也大于70%，将b1的重复出现次数记为2，并取b1与c2的并集作为新的c2；将b2的重复出现次数记为1，并取b2与c3的并集作为新的c3；

第3帧的图像中有三个外接矩形c1、c2、c3，第4帧的图像中有三个外接矩形d1、d2、d3，其中c2与d2的交并比大于70%，c3与d3的交并比也大于70%，将c2的重复出现次数记为3，并取c2与d2的并集作为新的d2，并且将d2记为遗留物区域；将c3的重复出现次数记为2，并取c3与d3的并集作为新的d3；

第4帧的图像中有三个外接矩形d1、d2、d3，第5帧的图像中有两个外接矩形e1、e2，其中d3与e1的交并比和d3与e2的交并比均小于70%，因此不将d3视为遗留物区域。

实施例三

请参照图2，一种基于图像处理的遗留物检测终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例一或实施例二的基于图像处理的遗留物检测方法的各个步骤。

综上所述，本发明提供的一种基于图像处理的遗留物检测方法及终端，基于不同的学习率对待检测视频的每一帧构建对应的不同的初始背景模型，使用不同的学习率对对应的初始背景模型进行学习，获取学习至稳定的对应的背景模型，并根据不同学习率下遗留物融入背景的速度差异，获取背景模型的背景差值，然后提取背景差值所对应的连通域，再获取连通域的外接矩形；对每一帧的每一外接矩形进行跟踪，更新重复检出的外接矩形，从而得到稳定的静止区域，即遗留物区域；使用背景信息确定遗留物的区域能够借助背景信息稳定性高的特点，避免光线变化、目标遮挡、摄像机抖动等干扰，实现复杂环境下的遗留物检测，能够在复杂环境下提高遗留物检测的稳定性。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。