用于车载摄像头的异常运煤场景检测方法、系统及设备

技术领域

本发明涉及目标检测技术领域，具体的说，涉及了一种用于车载摄像头的异常运煤场景检测方法、系统及设备。

背景技术

随着深度学习的发展，目标检测取得了显著进步，基于深度学习的目标检测算法主要分为Two-stages和One-stage两种检测算法。其中，典型的two-stages检测算法有R-CNN、Fast R-CNN、Faster R-CNN和Mask R-CNN等，Two-stages 检测算法将目标检测分为检测和识别两个阶段，首先，使用算法或网络在图像中找到感兴趣的区域；然后识别区域目标，该类检测算法检测精度高，但速度较慢；one-stage检测算法，如YOLO系列、SSD、CenterNet系列等，丢弃了区域选择算法，使用边界框回归思想同时完成检测和识别，并实现端到端的检测和识别。该类算法检测精度较低，但检测速度快。

需要说明的是，煤矿一般采用大型挂斗车进行长途运输，运输过程中经常会发生偷煤现象，因此长途货车的运输安全是行业内棘手问题，但传统的人力监控具有实施难度大和维护成本高的问题；

然而，现有目标检测算法主要是基于手工设计的特征提取器来提取特征，配合SVM等分类器算法使用，对遮挡和尺度变化处理能力较差；且通用的目标检测算法为了全面检测，减少漏检率，一般针对大、中、小三类目标提取特征做分类器，不适用于检测货车运煤过程中的异常场景；

且，考虑到异常运煤场景检测算法需要部署于边缘设备，但很多具备上述性能的算法采用了复杂的网络机构，很难部署到边缘设备。

为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。

发明内容

本发明的目的是针对现有技术的不足，从而提供一种用于车载摄像头的异常运煤场景检测方法、系统及设备。

为了实现上述目的，本发明所采用的技术方案是：

本发明第一方面提供一种用于车载摄像头的异常运煤场景检测方法，其包括以下步骤：

步骤0，建立异常场景检测网络模型，所述异常场景检测网络模型包括CBR模块Ⅰ、CBR模块Ⅱ、CBR模块Ⅲ、CBR模块Ⅳ、CBR模块Ⅴ、CSP模块Ⅰ、CSP模块Ⅱ、CSP模块Ⅲ、CSP模块Ⅳ、CSP模块Ⅴ、CSP模块Ⅵ、上采样模块和SPPF模块；

步骤1，读取大小为640×640×3的待测图片，所述待测图片为车载摄像头实时采集到的运煤场景图片；

将所述待测图片输入所述CBR模块Ⅰ进行降采样，以将信息提取并转化到通道维度得到320×320×32大小的原始特征图；

步骤2，将所述原始特征图输入所述CBR模块Ⅱ进行降采样，将通道数提升至64，再使用所述CSP模块Ⅰ提取出160×160×64大小的超大特征图γ

步骤3，使用所述CBR模块Ⅲ对所述超大特征图γ

步骤4，使用所述CBR模块Ⅳ对所述大目标特征图γ

步骤5，使用所述SPPF模块对所述中目标特征图γ

步骤6，使用所述CSP模块Ⅳ对所述目标特征图γ

使用所述CBR模块Ⅴ将通道压缩，再利用所述上采样模块对所述中目标特征图α

本发明第二方面提供一种用于车载摄像头的异常运煤场景检测系统，其包括初始化模块和场景检测模块，所述初始化模块用于预先建立异常场景检测网络模型，所述异常场景检测网络模型包括CBR模块Ⅰ、CBR模块Ⅱ、CBR模块Ⅲ、CBR模块Ⅳ、CBR模块Ⅴ、CSP模块Ⅰ、CSP模块Ⅱ、CSP模块Ⅲ、CSP模块Ⅳ、CSP模块Ⅴ、CSP模块Ⅵ、上采样模块和SPPF模块；

所述场景检测模块包括原始特征生成单元、超大特征生成单元、大目标特征生成单元、中目标特征生成单元、特征优化单元、第一镜像特征生成单元、第一目标特征融合单元、第二镜像特征生成单元和第二目标特征融合单元，其中，

所述原始特征生成单元，用于读取大小为640×640×3的待测图片，所述待测图片为车载摄像头实时采集到的运煤场景图片；还用于对所述待测图片输入所述CBR模块Ⅰ进行降采样，以将信息提取并转化到通道维度得到320×320×32大小的原始特征图；

所述超大特征生成单元，用于将所述原始特征图输入所述CBR模块Ⅱ进行降采样，将通道数提升至64，再使用所述CSP模块Ⅰ提取出160×160×64大小的超大特征图γ

所述大目标特征生成单元，用于使用所述CBR模块Ⅲ对所述超大特征图γ

所述中目标特征生成单元，用于使用所述CBR模块Ⅳ对所述大目标特征图γ

所述特征优化单元，用于使用所述SPPF模块对所述中目标特征图γ

所述第一镜像特征生成单元，用于使用所述CSP模块Ⅳ对所述目标特征图γ

所述第一目标特征融合单元，用于使用所述CSP模块Ⅴ对步骤4中的中目标特征图γ

所述第二镜像特征生成单元，用于使用所述CBR模块Ⅴ将通道压缩，再利用所述上采样模块对所述中目标特征图α

所述第二目标特征融合单元，用于在得到所述镜像大目标特征图γ

本发明第三方面提供一种用于车载摄像头的异常运煤场景检测设备，其包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的用于车载摄像头的异常运煤场景检测方法的步骤。

本发明第四方面提供一种可读存储介质，其上存储有指令，该指令被处理器执行时实现如上述的用于车载摄像头的异常运煤场景检测方法的步骤。

本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说：

1) 本发明提供一种用于车载摄像头的异常运煤场景检测，通过建立异常场景检测网络模型对待测图片进行预处理，得到大小为40×40×256的中目标特征图α

该异常场景检测网络模型是一种具有强化大、中目标，抑制小目标的网络结构，能够有效剔除远处人员等冗余特征并对所占像素比例的目标人员或目标挖机的特征进行增强，从而提高预处理的准确度，同时降低输出特征数据量；

2）本发明在生成中目标特征图α

3）本发明是一种针对异常运煤场景检测的智能监控算法，异常场景检测网络模型的网络层全部采用了通用网络层，在性能保持基本持平的情况下，大大减少了运算量，从而缩短异常运煤场景检测时长，提高异常运煤场景检测时效性；

4）本发明还利用队列缓存机制提供一种可靠的异常运煤场景报警算法，可以在检测到有异常煤矿场景后进行实时报警，保证报警的可靠性，避免出现持续报警的问题。

附图说明

图1是本发明的用于车载摄像头的异常运煤场景检测方法的流程示意图；

图2是本发明的异常场景检测网络模型的结构示意图；

图3是本发明的用于车载摄像头的异常运煤场景检测系统的结构示意图；

图4是本发明的CSP模块的结构示意图；

图5是本发明的检测模块的结构示意图；

图6是本发明的一种具体实施例中的混淆矩阵示意图。

具体实施方式

下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。

CSP（Conv-BN-ReLU），通常是用卷积，批归一化和Relu激活函数堆叠得到的模块，在此不再赘述。

CSP（Cross-Stage-Partial-connections），指的是跨阶段局部连接模块。

SPPF（Spatial Pyramid Pooling – Fast），指的是快速空间金字塔池化结构，是SPP(空间金字塔池化结构)模块的改进版本；SPPF模块借鉴了空间金字塔的思想，实现了局部特征和全局特征融合，丰富了特征图的表达能力，有利于待检测图像中目标大小差异较大的情况，所以对检测的精度上有了很大的提升。

实施例1

如附图1和2所示，一种用于车载摄像头的异常运煤场景检测方法，其包括以下步骤：

步骤0，建立异常场景检测网络模型，所述异常场景检测网络模型包括CBR模块Ⅰ、CBR模块Ⅱ、CBR模块Ⅲ、CBR模块Ⅳ、CBR模块Ⅴ、CSP模块Ⅰ、CSP模块Ⅱ、CSP模块Ⅲ、CSP模块Ⅳ、CSP模块Ⅴ、CSP模块Ⅵ、上采样模块和SPPF模块；

其中，所述CBR模块Ⅰ、所述CBR模块Ⅱ、所述CBR模块Ⅲ、所述CBR模块Ⅳ和所述CBR模块Ⅴ的结构一致，但输出通道数不同，主要功能是对特征通道数调整和提取特征；具体的，所述CBR模块Ⅰ的步长为2，其包括卷积层、批归一化层、Relu激活层；

所述CSP模块Ⅰ、所述CSP模块Ⅱ、CSP模块Ⅲ、所述CSP模块Ⅳ、所述CSP模块Ⅴ、所述CSP模块Ⅵ的结构一致，但通道数不同，具体结构如图4所示，每个CSP模块中N的值不同，所述CSP模块Ⅰ中N的值为1、所述CSP模块Ⅱ中N的值为2、CSP模块Ⅲ中N的值为3、所述CSP模块Ⅳ中N的值为1、所述CSP模块Ⅴ中N的值为1、所述CSP模块Ⅵ中N的值为1；每个CSP模块中的五个CBR模块结构均包括卷积层、批归一化层、Relu激活层，其中concat模块用于执行将两个特征堆叠的操作；

步骤1，读取大小为640×640×3的待测图片，所述待测图片为车载摄像头实时采集到的运煤场景图片；

将所述待测图片输入所述CBR模块Ⅰ进行降采样，所述CBR模块Ⅰ使用32个卷积核将信息提取并转化到通道维度得到320×320×32大小的原始特征图；

步骤2，将所述原始特征图输入所述CBR模块Ⅱ进行降采样，将通道数提升至64，再使用所述CSP模块Ⅰ提取出160×160×64大小的超大特征图γ

步骤3，使用所述CBR模块Ⅲ对所述超大特征图γ

步骤4，使用所述CBR模块Ⅳ对所述大目标特征图γ

步骤5，使用所述SPPF模块对所述中目标特征图γ

步骤6，使用所述CSP模块Ⅳ对所述目标特征图γ

使用所述CBR模块Ⅴ将通道压缩，再利用所述上采样模块对所述中目标特征图α

可以理解，为了保证特征与原图的一致性，所述步骤6中对所述目标特征图γ

进一步的，所述用于车载摄像头的异常运煤场景检测方法，还包括步骤7：

将所述中目标特征图α

其中，所述检测模块包括两个卷积模块、两个reshape模块（重塑模块，改变特征维度）和NMS（Non-maximum suppression）模块，结构附图5所示；其中，所述中目标特征图α

中间特征α

中间特征α

可以理解，对于每个待测图片，所述检测模块筛选出M个目标框，一个目标框对应一个目标人员或者目标挖机、一个数组[x,y,w,h,obj,cls]，cls表示该目标框中的是目标人员还是目标挖机，其中M的个数通过预设的IOU阈值和置信度阈值确定，如取IOU阈值0.4，置信度阈值0.6。若所述检测模块输出的M等于0，则表示待测图片中不存在目标人员和目标挖机，若所述检测模块输出的M＞0，则表示待测图片中存在目标人员或者目标挖机。

需要说明的是，NMS模块中的NMS算法是通用目标检测后处理算法，在此不再展开。

进一步的，所述步骤5，使用所述SPPF模块对所述中目标特征图γ

对所述中目标特征图γ

对所述中目标特征图γ

对所述中目标特征图γ

对所述中目标特征图γ

将所述目标特征Ⅰ、所述目标特征Ⅱ、所述目标特征Ⅲ和所述目标特征Ⅳ四种池化结果堆叠后，通过卷积融合得到目标特征图γ

可以理解，在得到大小为40×40×128的中目标特征图γ

需要说明的是，本实施例中的异常运煤场景指的是货车运煤过程中的偷煤场景，且通常是由人员操纵挖机进行偷煤；针对货车运煤过程中的偷煤问题，需要关注的可报警人员是指接近货斗的人员，但远处的人员不应该误检为可疑人员；

在获取到的图像信息中，目标人员或目标挖机所占像素比例都比较大，属于中型目标或大型目标，目标场景使用车载摄像头检测车辆周围人员或者挖机，因此异常运煤场景中的检测目标不存在小目标；为降低误报率，远处的在图像中占比较小的人员也不应该被报警。

针对现有的通用标检测算法一般针对大、中、小三类目标提取特征做分类器，不适用于本发明的异常运煤场景检测的问题，本发明基于yolov5进行了裁剪和优化，使其适配于异常运煤场景检测，进而提出了一种强化大、中目标，抑制小目标的异常场景检测网络模型；

另外，考虑到该异常场景检测网络模型需要部署于边缘设备，本发明提出的异常场景检测网络模型中，网络层全部采用了通用网络层，在性能保持基本持平的情况下，大大减少了运算量。

实施例2

在实施例1的基础上，为了保证报警的可靠性，避免持续报警的问题，本实施例增加了队列缓存机制，维护了一个长度为N报警队列，进而给出了另一种用于车载摄像头的异常运煤场景检测方法的具体实施方式；

具体的，所述用于车载摄像头的异常运煤场景检测方法还包括步骤8：

在检测结果中包含可疑人员报警事件或挖机报警事件时，向预先设置的报警队列中推入1，在检测结果中不包含人员报警事件或挖机报警事件时，向预先设置的报警队列中推入0；

计算出所述报警队列中1的占比θ，所述占比θ=报警数量÷N；其中，所述报警数量是动态变化的，数值等于报警队列中1的总数，N为预设报警队列长度；

判断所述占比θ是否大于阈值thr，

若是，则生成异常场景报警指令，并清空所述报警队列；

否则，转步骤7。

具体的，所述阈值thr包含但不局限于0.6、0.7、0.8、0.9等，在实际应用中，可以根据实际情况进行适应性调整。

需要说明的是，待测图片数量大于等于1，车载摄像头实时采集到一系列按采集时间排序的运煤场景图片，一个待测图片对应一个检测结果，检测结果为0表示没有报警事件，检测结果为1表示存在可疑人员报警事件或挖机报警事件；

例如，N=10，阈值thr=0.6；报警队列为[0,0,0,1,1,1,1,1,1,1]，此时占比θ=报警数量÷N=7÷10=0.7＞阈值thr，生成异常场景报警指令，并清空所述报警队列。

需要说明的是，报警队列长度N是一个常量，根据需要预先设置好，比如10；报警队列长度越长，则算法越不灵敏，报警队列长度越短，则算法越灵敏，可根据实际需求设置。

实施例3

在上述实施例的基础上，本实施例给出了一种用于车载摄像头的异常运煤场景检测系统的具体实施方式，如附图3所示；

具体的，所述用于车载摄像头的异常运煤场景检测系统包括包括初始化模块和场景检测模块，所述初始化模块用于预先建立异常场景检测网络模型，所述异常场景检测网络模型包括CBR模块Ⅰ、CBR模块Ⅱ、CBR模块Ⅲ、CBR模块Ⅳ、CBR模块Ⅴ、CSP模块Ⅰ、CSP模块Ⅱ、CSP模块Ⅲ、CSP模块Ⅳ、CSP模块Ⅴ、CSP模块Ⅵ、上采样模块和SPPF模块；

所述场景检测模块包括原始特征生成单元、超大特征生成单元、大目标特征生成单元、中目标特征生成单元、特征优化单元、第一镜像特征生成单元、第一目标特征融合单元、第二镜像特征生成单元和第二目标特征融合单元，其中，

所述原始特征生成单元，用于读取大小为640×640×3的待测图片，所述待测图片为车载摄像头实时采集到的运煤场景图片；还用于对所述待测图片输入所述CBR模块Ⅰ进行降采样，以将信息提取并转化到通道维度得到320×320×32大小的原始特征图；

所述超大特征生成单元，用于将所述原始特征图输入所述CBR模块Ⅱ进行降采样，将通道数提升至64，再使用所述CSP模块Ⅰ提取出160×160×64大小的超大特征图γ

所述大目标特征生成单元，用于使用所述CBR模块Ⅲ对所述超大特征图γ

所述中目标特征生成单元，用于使用所述CBR模块Ⅳ对所述大目标特征图γ

所述特征优化单元，用于使用所述SPPF模块对所述中目标特征图γ

所述第一镜像特征生成单元，用于使用所述CSP模块Ⅳ对所述目标特征图γ

所述第一目标特征融合单元，用于使用所述CSP模块Ⅴ对步骤4中的中目标特征图γ

所述第二镜像特征生成单元，用于使用所述CBR模块Ⅴ将通道压缩，再利用所述上采样模块对所述中目标特征图α

所述第二目标特征融合单元，用于在得到所述镜像大目标特征图γ

进一步的，所述用于车载摄像头的异常运煤场景检测系统还包括检测结果生成单元，其用于：

将所述中目标特征图α

进一步的，所述用于车载摄像头的异常运煤场景检测系统还包括报警模块，其用于：

在检测结果中包含可疑人员报警事件或挖机报警事件时，向预先设置的报警队列中推入1，在检测结果中不包含人员报警事件或挖机报警事件时，向预先设置的报警队列中推入0；

计算出所述报警队列中1的占比θ，所述占比θ=报警数量÷N；其中，所述报警数量是动态变化的，数值等于报警队列中1的总数，N为预设报警队列长度；

判断所述占比θ是否大于阈值thr，

若是，则生成异常场景报警指令，并清空所述报警队列。

具体的，所述特征优化单元，使用所述SPPF模块对所述中目标特征图γ

对所述中目标特征图γ

对所述中目标特征图γ

对所述中目标特征图γ

对所述中目标特征图γ

将所述目标特征Ⅰ、所述目标特征Ⅱ、所述目标特征Ⅲ和所述目标特征Ⅳ四种池化结果堆叠后，通过卷积融合得到目标特征图γ

需要说明的是，本实施例在开源的数据集MOCS上进行实验，总共23405张图片，包含人员和挖机在内的13类样本，训练集和测试集比例为8:2，测试得到的混淆矩阵如附图6所示；由附图6可以，且看出挖机（excavator）和可疑人员（person）的检测准确率分别达到了0.99和0.91，因此本发明建立的异常场景检测网络模型准确率达到90%左右，可以满足实际需求，且实现简单，十分方便部署到嵌入式设备上去。

本实施例还在深度学习板子RKNN3399pro上进行实验，输入网络图片的尺寸为640×640×3，检测所述用于车载摄像头的异常运煤场景检测方法的运行速度，得到“once runuse 61.996000 ms”，可见检测一张图片的事件约为62ms，大约16fps，满足实时要求，可实际应用。

实施例4

在上述实施例的基础上，本实施例给出了一种用于车载摄像头的异常运煤场景检测设备的具体实施方式，其包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如实施例1或者实施例2中的用于车载摄像头的异常运煤场景检测方法的步骤。

本实施例还给出了一种可读存储介质，其上存储有指令，该指令被处理器执行时实现如实施例1或者实施例2中的用于车载摄像头的异常运煤场景检测设备的步骤。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

在本申请所提供的实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，上述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。