一种基于计算机视觉的入侵监测预警方法与系统

技术领域

本发明涉及入侵监测预警相关技术领域，尤其是涉及一种基于计算机视觉的入侵监测预警方法与系统。

背景技术

随着人力成本日益增加，像铁路沿线、机场和高速路口的无人监测场景日益增多，自动入侵监测成为提高其安全性能的一个有效的方法，设计基于计算机视觉的入侵监测预警的方法极其重要。

目前，入侵监测的方法主要依靠主动红外探测技术、光纤传感探测技术、多维复合传感器探测技术和基于视觉检测等方法对待检测区域进行入侵监测，但依靠传感器的监测方法成本以及监测范围无优势，基于视觉检测方法的方法具有误报率高的问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题。为此，本发明提出一种基于计算机视觉的入侵监测预警方法与系统，能够提升检测精度，减少误判率。

本发明的第一方面，提供了一种基于计算机视觉的入侵监测预警方法，包括如下步骤：

获取图像样本集和待检测区域图像；

对所述图像样本集进行图像预处理，得到预处理后的图像样本集；对所述待检测区域图像进行图像预处理，得到预处理后的待检测区域图像；

将所述预处理后的图像样本集输入原始轻量型目标检测模型，得到训练好的轻量型目标检测模型；并将所述预处理后的待检测区域图像输入所述训练好的轻量型目标检测模型，得到第一检测结果；

将所述预处理后的待检测区域图像输入混合高斯背景模型，得到第二检测结果；

融合所述第一检测结果与所述第二检测结果，得到入侵监测结果。

根据本发明的实施例，至少具有如下技术效果：

本方法通过获取图像样本集和待检测区域图像，对图像样本集进行图像预处理，得到预处理后的图像样本集；对待检测区域图像进行图像预处理，得到预处理后的待检测区域图像，将预处理后的图像样本集输入原始轻量型目标检测模型，得到训练好的轻量型目标检测模型；并将预处理后的待检测区域图像输入训练好的轻量型目标检测模型，得到第一检测结果，将预处理后的待检测区域图像输入混合高斯背景模型，得到第二检测结果，融合第一检测结果与第二检测结果，得到入侵监测结果，能够更加有效的提取完整的目标特征，更适用于入侵监测任务，提升了检测精度，减少了误判率。

根据本发明的一些实施例，所述获取图像样本集，包括：

获取不同场景下的公开视频数据集与入侵监测视频，并根据所述公开视频数据集和所述入侵监测视频构建初始图像样本集；

对所述初始图像样本集的所有图像样本进行分帧和图像统一尺寸，得到第一图像样本集；

将所述第一图像样本集的图像中包含的物体与人的位置信息进行标记，得到图像样本集。

根据本发明的一些实施例，所述对所述图像样本集进行图像预处理，得到预处理后的图像样本集，包括：

通过均值滤波对所述图像样本集去除噪声，得到去噪后图像样本集；

通过灰度线性变化对所述去噪后图像样本集进行图像增强，得到图像增强图像样本集；

根据预先设置的不感兴趣区域对所述图像增强图像样本集设置掩膜，并根据预先设置的监测区域将所述图像增强图像样本集设置感兴趣区域，得到预处理后的图像样本集。

根据本发明的一些实施例，所述对所述待检测区域图像进行图像预处理，得到预处理后的待检测区域图像，包括：

通过均值滤波对所述待检测区域图像进行去噪，得到去噪后图像；

通过灰度线性变化对所述去噪后图像进行图像增强，得到图像增强图像；

根据预先设置的不感兴趣区域将所述图像增强图像设置掩膜，并根据预先设置的监测区域将所述图像增强图像设置感兴趣区域，得到预处理后的待检测区域图像。

根据本发明的一些实施例，所述轻量型目标检测模型包括主干特征提取网络、特征融合网络和分类器，所述将所述预处理后的图像样本集输入原始轻量型目标检测模型，得到训练好的轻量型目标检测模型，包括：

将所述预处理后的图像样本集输入所述主干特征提取网络，得到主干特征，其中，所述主干特征提取网络由残差网络构成，所述残差网络中的残差卷积包括主干部分和残差边部分，所述主干部分为一次1x1的卷积和一次3x3的卷积，所述主干部分的Leaky ReLU为激活函数；

将所述主干特征输入所述特征融合网络，得到三个特征层；并根据所述三个特征层构建特征金字塔层，得到三个加强特征，其中，所述三个特征层分别位于所述主干特征提取网络的中间层，中下层和底层；

将所述加强特征传入所述分类器，得到预测结果；

将所述预测结果进行得分排序与非极大抑制筛选，得到得分大于预设的confidence置信度的预测框，其中，所述预测结果包括位置信息、类别信息和置信度信息。

根据本发明的一些实施例，所述将所述预处理后的待检测区域图像输入混合高斯背景模型，得到第二检测结果，包括：

将所述预处理后的待检测区域图像RGB的三通道值通过混合高斯背景模型进行量化，得到量化图像；

将所述量化图像的前若干帧的三通道的每个点的像素进行背景建模，得到背景建模图像；

将所述混合高斯背景模型中的每个单模型按重要性依次从大到小进行排序，并删除非背景模型，得到筛选后多高斯模型，根据所述背景建模图像通过所述筛选后多高斯模型得到筛选后图像；

通过贝叶斯推断遍历所述筛选后图像的所有像素点，得到所述像素点的前景或背景的概率图；

通过形态学的开或闭运算对所述概率图进行预处理，得到预处理结果；

根据所述预处理结果更新直方图，得到所述第二检测结果。

根据本发明的一些实施例，所述融合所述第一检测结果与所述第二检测结果，得到入侵监测结果，包括：

将所述第一检测结果的边框与所述第二检测结果的边框进行融合，得到入侵监测结果。

本发明的第二方面，提供一种基于计算机视觉的入侵监测预警系统，所述基于计算机视觉的入侵监测预警系统包括：

样本与图像获取模块，用于获取图像样本集和待检测区域图像；

预处理模块，用于对所述图像样本集进行图像预处理，得到预处理后的图像样本集；对所述待检测区域图像进行图像预处理，得到预处理后的待检测区域图像；

第一检测结果获取模块，用于将所述预处理后的图像样本集输入原始轻量型目标检测模型，得到训练好的轻量型目标检测模型；并将所述预处理后的待检测区域图像输入所述训练好的轻量型目标检测模型，得到第一检测结果；

第二检测结果获取模块，用于将所述预处理后的待检测区域图像输入混合高斯背景模型，得到第二检测结果；

检测结果融合模块，用于融合所述第一检测结果与所述第二检测结果，得到入侵监测结果。

本系统通过获取图像样本集和待检测区域图像，对图像样本集进行图像预处理，得到预处理后的图像样本集；对待检测区域图像进行图像预处理，得到预处理后的待检测区域图像，将预处理后的图像样本集输入原始轻量型目标检测模型，得到训练好的轻量型目标检测模型；并将预处理后的待检测区域图像输入训练好的轻量型目标检测模型，得到第一检测结果，将预处理后的待检测区域图像输入混合高斯背景模型，得到第二检测结果，融合第一检测结果与第二检测结果，得到入侵监测结果，能够更加有效的提取完整的目标特征，更适用于入侵监测任务，提升了检测精度，减少了误判率。

本发明的第三方面，提供了一种基于计算机视觉的入侵监测预警电子设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行上述的基于计算机视觉的入侵监测预警方法。

本发明的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述的基于计算机视觉的入侵监测预警方法。

需要注意的是，本发明的第二方面至第四方面与现有技术之间的有益效果与上述的一种基于计算机视觉的入侵监测预警系统与现有技术之间的有益效果相同，此处不再细述。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一实施例的一种基于计算机视觉的入侵监测预警方法的流程图；

图2是本发明一实施例的一种基于计算机视觉的入侵监测预警方法的最终监测结果图；

图3是本发明一实施例的一种基于计算机视觉的入侵监测预警系统的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

本发明的描述中，需要说明的是，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

随着人力成本日益增加，像铁路沿线、机场和高速路口的无人监测场景日益增多，自动入侵监测成为提高其安全性能的一个有效的方法，设计基于计算机视觉的入侵监测预警的方法极其重要。

目前，入侵监测的方法主要依靠主动红外探测技术、光纤传感探测技术、多维复合传感器探测技术和基于视觉检测等方法对待检测区域进行入侵监测，但依靠传感器的监测方法成本以及监测范围无优势，基于视觉检测方法的方法具有误报率高的问题。

为了解决上述技术缺陷，参照图1与图2，本发明还提供了一种基于计算机视觉的入侵监测预警方法，包括：

步骤S101、获取图像样本集和待检测区域图像。

步骤S102、对图像样本集进行图像预处理，得到预处理后的图像样本集；对待检测区域图像进行图像预处理，得到预处理后的待检测区域图像。

步骤S103、将预处理后的图像样本集输入原始轻量型目标检测模型，得到训练好的轻量型目标检测模型；并将预处理后的待检测区域图像输入训练好的轻量型目标检测模型，得到第一检测结果。

步骤S104、将预处理后的待检测区域图像输入混合高斯背景模型，得到第二检测结果。

步骤S105、融合第一检测结果与第二检测结果，得到入侵监测结果。

本方法通过获取图像样本集和待检测区域图像，对图像样本集进行图像预处理，得到预处理后的图像样本集；对待检测区域图像进行图像预处理，得到预处理后的待检测区域图像，将预处理后的图像样本集输入原始轻量型目标检测模型，得到训练好的轻量型目标检测模型；并将预处理后的待检测区域图像输入训练好的轻量型目标检测模型，得到第一检测结果，将预处理后的待检测区域图像输入混合高斯背景模型，得到第二检测结果，融合第一检测结果与第二检测结果，得到入侵监测结果，能够更加有效的提取完整的目标特征，更适用于入侵监测任务，提升了检测精度，减少了误判率。

在一些实施例中，获取图像样本集，包括：

获取不同场景下的公开视频数据集与入侵监测视频，并根据公开视频数据集和入侵监测视频构建初始图像样本集。

对初始图像样本集的所有图像样本进行分帧和图像统一尺寸，得到第一图像样本集。

将第一图像样本集的图像中包含的物体与人的位置信息进行标记，得到图像样本集。

在一些实施例中，对图像样本集进行图像预处理，得到预处理后的图像样本集，包括：

通过均值滤波对图像样本集去除噪声，得到去噪后图像样本集。

通过灰度线性变化对去噪后图像样本集进行图像增强，得到图像增强图像样本集。

根据预先设置的不感兴趣区域对图像增强图像样本集设置掩膜，并根据预先设置的监测区域将图像增强图像样本集设置感兴趣区域，得到预处理后的图像样本集。

在一些实施例中，对待检测区域图像进行图像预处理，得到预处理后的待检测区域图像，包括：

通过均值滤波对待检测区域图像进行去噪，得到去噪后图像。

通过灰度线性变化对去噪后图像进行图像增强，得到图像增强图像。

根据预先设置的不感兴趣区域将图像增强图像设置掩膜，并根据预先设置的监测区域将图像增强图像设置感兴趣区域，得到预处理后的待检测区域图像。

在一些实施例中，轻量型目标检测模型包括主干特征提取网络、特征融合网络和分类器，将预处理后的图像样本集输入原始轻量型目标检测模型，得到训练好的轻量型目标检测模型，包括：

将预处理后的图像样本集输入主干特征提取网络，得到主干特征，其中，主干特征提取网络由残差网络构成，残差网络中的残差卷积包括主干部分和残差边部分，主干部分为一次1x1的卷积和一次3x3的卷积，主干部分的Leaky ReLU为激活函数。

将主干特征输入特征融合网络，得到三个特征层；并根据三个特征层构建特征金字塔层，得到三个加强特征，其中，三个特征层分别位于主干特征提取网络的中间层，中下层和底层。

将加强特征传入分类器，得到预测结果。

将预测结果进行得分排序与非极大抑制筛选，得到得分大于预设的confidence置信度的预测框，其中，预测结果包括位置信息、类别信息和置信度信息，其中，非极大抑制用于筛选出一定区域内属于同一种类得分最大的框。

在一些实施例中，三个特征层的结构分别为(52,52,256)、(26,26,512)和(13,13,1024)，所述三个加强特征的结构分别为(13,13,512)、(26,26,256)和(52,52,128)。

在一些实施例中，将预处理后的待检测区域图像输入混合高斯背景模型，得到第二检测结果，包括：

将预处理后的待检测区域图像RGB的三通道值通过混合高斯背景模型进行量化，得到量化图像。

将量化图像的前若干帧的三通道的每个点的像素进行背景建模，得到背景建模图像。

将混合高斯背景模型中的每个单模型按重要性依次从大到小进行排序，并删除非背景模型，得到筛选后多高斯模型，根据背景建模图像通过筛选后多高斯模型得到筛选后图像。

通过贝叶斯推断遍历筛选后图像的所有像素点，得到像素点的前景或背景的概率图。

通过形态学的开或闭运算对概率图进行预处理，得到预处理结果。

根据预处理结果更新直方图，得到第二检测结果。

在一些实施例中，融合第一检测结果与第二检测结果，得到入侵监测结果，包括：

将第一检测结果的边框与第二检测结果的边框进行融合，得到入侵监测结果。

为了便于本领域人员理解，以下提供一组最佳实施例：

一、获取图像：

获取不同场景下的公开视频数据集与入侵监测视频，并根据公开视频数据集和入侵监测视频构建初始图像样本集。

对初始图像样本集的所有图像样本进行分帧和图像统一尺寸，得到第一图像样本集。

将第一图像样本集的图像中包含的物体与人的位置信息进行标记，得到图像样本集。

获取待检测区域图像。

二、图像预处理：

通过均值滤波对图像样本集去除噪声，得到去噪后图像样本集。

通过灰度线性变化对去噪后图像样本集进行图像增强，得到图像增强图像样本集。

根据预先设置的不感兴趣区域对图像增强图像样本集设置掩膜，并根据预先设置的监测区域将图像增强图像样本集设置感兴趣区域，得到预处理后的图像样本集。

通过均值滤波对待检测区域图像进行去噪，得到去噪后图像。

通过灰度线性变化对去噪后图像进行图像增强，得到图像增强图像。

根据预先设置的不感兴趣区域将图像增强图像设置掩膜，并根据预先设置的监测区域将图像增强图像设置感兴趣区域，得到预处理后的待检测区域图像。

二、第一次图像检测：

轻量型目标检测模型包括主干特征提取网络、特征融合网络和分类器，将预处理后的图像样本集输入原始轻量型目标检测模型，得到训练好的轻量型目标检测模型，包括：

将预处理后的图像样本集输入主干特征提取网络，得到主干特征，其中，主干特征提取网络由残差网络构成，残差网络中的残差卷积包括主干部分和残差边部分，主干部分为一次1x1的卷积和一次3x3的卷积，主干部分的Leaky ReLU为激活函数。

将主干特征输入特征融合网络，得到三个特征层；并根据三个特征层构建特征金字塔层，得到三个加强特征，其中，三个特征层分别位于主干特征提取网络的中间层，中下层和底层，三个特征层的结构分别为(52,52,256)、(26,26,512)和(13,13,1024)，所述三个加强特征的结构分别为(13,13,512)、(26,26,256)和(52,52,128)。

将加强特征传入分类器，得到预测结果。

将预测结果进行得分排序与非极大抑制筛选，得到得分大于预设的confidence置信度的预测框，其中，预测结果包括位置信息、类别信息和置信度信息，其中，非极大抑制用于筛选出一定区域内属于同一种类得分最大的框。

将预处理后的待检测区域图像输入训练好的轻量型目标检测模型，得到第一检测结果。

四、第二次图像检测：

将预处理后的待检测区域图像RGB的三通道值通过混合高斯背景模型进行量化，得到量化图像。

将量化图像的前若干帧的三通道的每个点的像素进行背景建模，得到背景建模图像。

将混合高斯背景模型中的每个单模型按重要性依次从大到小进行排序，并删除非背景模型，得到筛选后多高斯模型，根据背景建模图像通过筛选后多高斯模型得到筛选后图像。

通过贝叶斯推断遍历筛选后图像的所有像素点，得到像素点的前景或背景的概率图。

通过形态学的开或闭运算对概率图进行预处理，得到预处理结果。

根据预处理结果更新直方图，得到第二检测结果。

五、检测结果融合：

将第一检测结果的边框与第二检测结果的边框进行融合，得到入侵监测结果。

另外，参照图2，本发明的一个实施例，提供一种基于计算机视觉的入侵监测预警系统，包括样本与图像获取模块1100、预处理模块1200、第一检测结果获取模块1300、第二检测结果获取模块1400以及检测结果融合模块1500，其中：

样本与图像获取模块1100用于获取图像样本集和待检测区域图像。

预处理模块1200用于对图像样本集进行图像预处理，得到预处理后的图像样本集；对待检测区域图像进行图像预处理，得到预处理后的待检测区域图像。

第一检测结果获取模块1300用于将预处理后的图像样本集输入原始轻量型目标检测模型，得到训练好的轻量型目标检测模型；并将预处理后的待检测区域图像输入训练好的轻量型目标检测模型，得到第一检测结果。

第二检测结果获取模块1400用于将预处理后的待检测区域图像输入混合高斯背景模型，得到第二检测结果。

检测结果融合模块1500用于融合第一检测结果与第二检测结果，得到入侵监测结果。

本系统通过获取图像样本集和待检测区域图像，对图像样本集进行图像预处理，得到预处理后的图像样本集；对待检测区域图像进行图像预处理，得到预处理后的待检测区域图像，将预处理后的图像样本集输入原始轻量型目标检测模型，得到训练好的轻量型目标检测模型；并将预处理后的待检测区域图像输入训练好的轻量型目标检测模型，得到第一检测结果，将预处理后的待检测区域图像输入混合高斯背景模型，得到第二检测结果，融合第一检测结果与第二检测结果，得到入侵监测结果，能够更加有效的提取完整的目标特征，更适用于入侵监测任务，提升了检测精度，减少了误判率。

需要注意的是，本系统实施例与上述的系统实施例是基于相同的发明构思，因此上述方法实施例的相关内容同样适用于本系统实施例，这里不再赘述。

本申请还提供一种基于计算机视觉的入侵监测预警电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现：如上述的基于计算机视觉的入侵监测预警方法。

处理器和存储器可以通过总线或者其他方式连接。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现上述实施例的基于计算机视觉的入侵监测预警方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的基于计算机视觉的入侵监测预警方法，例如，执行以上描述的图1中的方法步骤S101至步骤S105。

本申请还提供一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行：如上述的基于计算机视觉的入侵监测预警方法。

该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述电子设备实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的基于计算机视觉的入侵监测预警方法，例如，执行以上描述的图1中的方法步骤S101至步骤S105。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序单元或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序单元或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

上面结合附图对本发明实施例作了详细说明，但本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。