一种对电动车进入楼宇进行监测预警的方法

技术领域

本发明涉及智慧城市物联网与安防图像识别领域，具体涉及一种对电动车进入楼宇进行监测预警的方法。

背景技术

由于城市人口密度较大，公共汽车和私人汽车的数量较庞大，日常出现容易出现拥堵，而电动车由于体积较小，价格和使用成本均较低，穿行较方便且比较环保，成为城市代步的重要工具，电动车的保有量也逐年递增。

由于电动车在使用时充电频率较高，部分居民为了节约充电成本，将电动车放置在公共通道或者家中进行充电，当电池老化或者电线出现漏电的情况时，会引起火灾，而电动车进入楼宇充电导致的或者事故通常较严重，因此，需要对电动车进入楼宇进行管控。

目前主要通过以下两种方式来进行管控：a、张贴警示语并在楼宇电梯入口或电梯轿厢内布设机械结构部件如限宽通道栏扛，以此防止电动车进入；b、利用电梯轿厢内的摄像机智能识别进入电梯轿厢的电动车，将相关信息发送给工作人员，工作人员与相关业主联系。

在实际使用时，上述方式存在以下缺陷，对于a，虽然实现成本较低，但是设置机械结构会造成楼宇出入不便，影响通行效率；而针对b，由于电梯轿厢内光线较差，且摄像机拍摄时受到角度限制，难以拍摄到含有电动车目标的高质量图像，导致准确率较低，存在漏报错报的风险。

当发生误报时，相关工作人员需要赶赴现场进行处理，不仅增加工作人员的任务量，且会造成电梯运行效率下降；当发生漏报时，电动车进入楼宇充电会存在消防安全隐患。

为了降低误报漏报的风险，需要提高拍摄图像的清晰度，但是，若在楼宇新增高清智能摄像机的成本较高，可行性较低。

传统的电动车识别方法主要通过粗粒度特征颜色、形状等全局特征或从细粒度特征图像局部区域如品牌标识等提取的特征描述进行识别，识别中使用浅层结构的机器学习模型，该模型的表达能力有限，导致准确度较低。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种对电动车进入楼宇进行监测预警的方法，能够降低漏报和错报率，且成本较低。

为达到以上目的，本发明采取的技术方案是：

一种对电动车进入楼宇进行监测预警的方法，包括以下步骤：

S1、构建电动车数据库并进行分类：选取至少5000张电动车图像，人工对图像进行预处理，分为粗粒度图片和细粒度图片，以此构建电动车数据库；

S2、构建卷积神经网络模型，包括对抗噪声发生器、粗粒度识别通道和细粒度识别通道；

S3、采集图像信息输入对抗噪声发生器进行优化后再输入粗粒度识别通道进行识别；

S4、判断图像是否属于细粒度类别，若是，转入S5，否则，输出识别结果转入S6；

S5、将识别图谱输入细粒度识别器进行识别并输出结果，转入步骤S5；

S6、根据识别结果判定有电动车进入楼宇。

进一步的，步骤S1中，粗粒度图片包括电动车整体构架图片，粗粒度特征包括外形、车梁、工具箱、车轮、网篮、调速转把、支撑、泥板、前叉等，细粒度图片包括电动车车灯、把手、座椅、轮胎形状的图片，细粒度特征包括车灯、电池盒、反射器、头罩、衣架、座椅等。

进一步的，步骤S6还包括以下步骤：控制报警器报警，联动电梯控制系统将电梯门打开，使得电梯进入暂停运行状态。

进一步的，步骤S6还包括以下步骤：判定没有电动车进入楼宇，转入步骤S3。

进一步的，步骤S2粗粒度识别通道包括粗粒度卷积部分、粗粒度全连接层、粗粒度输出层，所述粗粒度卷积部分包括四组特征提取层：CN1、CN2、CN3和CN4，对应的卷积核个数分别为64、64、128和256，其中每一组内部的特征图大小和通道数都相同，相同类型的网络模块中内部的参数相同，每组特征提取层均用于对所获取的图像进行训练，提取相应的特征图谱，并将相应的特征图谱发送至细粒度识别通道；

所述CN1的卷积核为7×7，边界填充为3；CN2、CN3和CN4的卷积核为3×3，边界填充为1，所有卷积操作的步长均为2。

进一步的，CN1包括第一卷积模块，CN2包括一残差模块和第二卷积模块，CN3包括一残差模块和第三卷积模块，CN4包括一残差模块和第四卷积模块，对CN2、CN3和CN4，数据先输入残差模块再输入相应的卷积模块。

进一步的，所述细粒度通道包括注意力模块部分、细粒度残差模块、细粒度卷积模块、细粒度全连接层和细粒度输出层，注意力模块部分包括四个SE模块，分别用于接收CN1、CN2、CN3和CN4传输的特征，并对相应特征进行融合。

进一步的，步骤S3中的图像信息通过第一摄像机构和第二摄像机构采集，所述第一摄像机构设置在楼宇单元门口，用于拍摄电梯门口的图像信息并发送至入粗粒度识别通道；所述第二摄像机构设置在电梯轿厢内，用于拍摄电梯轿厢内部的图像信息并发送至入粗粒度识别通道。

进一步的，每个所述残差模块均包括两个卷积层，其直线通道通过公式9表达：

F(x)＝W

公式9中，W1为第一卷积块的权重，W2为第二卷积块的权重，δ为ReLU激活函数，通过一个跳跃直连shortcu，以及第二个激活函数δ，获得输出y：

y＝δ(F(x)+x)…公式10

Shortcut操作即将F与x逐元素相加，当他们的维度不相同时，会对x进行一个线性映射完成维度匹配，通过上述操作，将输入直接添加到堆叠层的输出。

进一步的，步骤S3中采集图像信息输入对抗噪声发生器进行优化具体包括：获取数据库中所有图像，将所有图像编码后，获取最大混合噪声，对最大混合噪声的特征进行分类，对每类图像进行联合训练，得到对应的最优程式化联合参数，将最大混合噪声和最优程式化联合参数输入对抗噪声发生器进行对抗处理，然后对所拍摄的图像进行处理并输出至粗粒度识别通道进行识别；

对抗噪声发生器包括全连接层和若干卷积层；

采集图像信息输入对抗噪声发生器进行优化具体包括：将最大混合噪声和最优程式化联合参数输入对抗噪声发生器，通过若干卷积层计算，经由链接层输出，得到多样化对抗噪声，将n％的多样化对抗噪声进行内循环，(50-n)％的多样化对抗噪声进行外循环，此外，30％的多样化对抗噪声作为干扰，20％进行存储；

其中，获取最大混合噪声的方法如下：

获取数据库中所有图像，将所有图像编码后，计算标准差；

将标准差一一代入原有的图像编码数据中，测试标准差对系统鲁棒性的影响，训练图像分类器，对图像分类器中50％的训练数据引入高斯噪声进行干扰，得到混合分类器，从混合分类器中获取最大混合噪声；

最优程式化联合参数通过联合训练获取，具体获取步骤如下：

A、获取数据库中所有图像，将所有图像编码后，对每个图像的全局进行高斯噪声训练，进行对抗噪声学习，对抗噪声训练，获取最优全局对抗参数；

B、选取任意一个图像的局部进行编码后，依次进行高斯噪声训练、对抗噪声学习和对抗噪声训练，获取最优局部对抗参数；

C、将最优全局对抗参数和最优局部对抗参数进行程式化联合，得到最优程式化联合参数。

与现有技术相比，本发明的优点在于：

(1)本发明中对电动车进入楼宇进行监测预警的方法，基于通用粗粒度电动车分类识别网络模型，并加入注意力模块，能够进行细粒度识别，包括粗粒度识别通道和细粒度识别通道，细粒度通道中的SE模块能够对特征图像进行融合，融合是针对每一个细粒度特征进行训练，能够训练出多个细粒度识别分支，在融合过程中通过注意力模块提升对该细粒度大类别识别有用的通道特征，抑制用处不大的通道特征，从而提升最终的识别效果，细粒度图谱是基于粗粒度图谱，即先判断粗粒度图谱中存在细粒度特征时，才会输出到细粒度识别通道中进行识别，即融合了粗粒度和细粒度的特征，提高了检出的准确性，降低了漏检和错检的几率。

(2)本发明中对电动车进入楼宇进行监测预警的方法，每个残差模块均包括两个卷积层，其直线通道通过公式9表达：

F(x)＝W

公式9中，W1为第一卷积块的权重，W2为第二卷积块的权重，δ为ReLU激活函数，通过一个跳跃直连(shortcut)，以及第二个激活函数δ，获得输出y：

y＝δ(F(x)+x)…公式10

Shortcut操作即将F与x逐元素相加，当他们的维度不相同时，会对x进行一个线性映射完成维度匹配，通过上述操作，将输入直接添加到堆叠层的输出，保证了信息的完整性的同时并没有增加额外的参数，并且使得网络训练过程中，可以专注于输入输出之间残差的学习，降低了学习难度，通过上述信息传递，防止了因为网络加深引起的梯度消失问题，有效解决了网络退化问题。

(3)本发明中对电动车进入楼宇进行监测预警的方法，直接使用现有的具有摄像功能的单元门禁和轿厢内的摄像头进行拍摄，没有增加额外的过多的开支，成本较低。

(4)本发明中对电动车进入楼宇进行监测预警的方法，通过对抗噪声发生器预先对图像信息进行处理，能够有效避免光线不足对图片的影响，从而提高分辨率，进而提高了检出的准确性，降低了漏检和错检的几率。

附图说明

图1为本发明实施例中对电动车进入楼宇进行监测预警的系统的结构框图；

图2为本发明实施例中粗粒度识别通道和细粒度识别通道的结构示意图；

图3为本发明实施例中残差模块的示意图；

图4为本发明实施例中SE模块的示意图；

图5为本发明对电动车进入楼宇进行监测预警的方法流程图。

图中：1-第一摄像机构，2-第二摄像机构，3-管理解算机构，31-数据分析处理单元，32-任务分配单元，33-报警单元，4-电梯控制系统。

具体实施方式

以下结合附图对本发明的实施例作进一步详细说明。

参见图1所示，本发明实施例提供一种对电动车进入楼宇进行监测预警的系统，包括第一摄像机构1、第二摄像机构2、管理解算机构3和电梯控制机构4，第一摄像机构1、第二摄像机构2、电梯控制机构4均与管理解算机构3连接。

所述第一摄像机构1设置在楼宇单元门口，用于拍摄电梯门口的图像信息并发送至管理解算机构3；所述第二摄像机构2设置在电梯轿厢内，用于拍摄电梯轿厢内部的图像信息并发送至管理解算机构3。

本实施例中的第一摄像机构1可以直接选用具有摄像功能的单元门禁，由于目前的单元门禁本身具备摄像和智能识别功能，因此，将其用作第一摄像机构1，可以有效节约成本。

管理解算机构3用于对电梯门口和内部的图像信息进行计算解析，判断是否有电动车进入电梯轿厢内，若是，管理解算机构3联动电梯控制系统4将电梯门打开，使得电梯进入暂停运行状态；同时，发送报警信息至物业调配机构，物业调配机构分配相关工作人员赶赴现场进行处理，否则，控制第一摄像机构1、第二摄像机构2继续监控。

本实施例中，管理解算机构3包括数据分析处理单元31、任务分配单元32和报警单元33。

参见图2所示，数据分析处理单元31包括一基于多注意力机制的卷积神经网络模型，该网络模型基于通用粗粒度电动车分类识别网络模型，并加入注意力模块(SE模块)，能够进行细粒度识别，包括粗粒度识别通道和细粒度识别通道。

其中，粗粒度识别通道包括粗粒度卷积部分、粗粒度全连接层、粗粒度输出层，其中，粗粒度卷积部分包括四组特征提取层：CN1、CN2、CN3和CN4，对应的卷积核个数分别为64、64、128和256，其中每一组内部的特征图大小和通道数都相同，相同类型的网络模块中内部的参数相同，每组特征提取层均用于对所获取的图像进行训练，提取相应的特征图谱，并将相应的特征图谱发送至细粒度识别通道。

CN1的卷积核为7×7，边界填充为3；CN2、CN3和CN4的卷积核为3×3，边界填充为1，所有卷积操作的步长均为2。

CN1包括第一卷积模块，CN2包括一残差模块和第二卷积模块，CN3包括一残差模块和第三卷积模块，CN4包括一残差模块和第四卷积模块，对CN2、CN3和CN4，数据先输入残差模块再输入相应的卷积模块。

每个残差模块均包括两个卷积块：第一卷积块和第二卷积块，第一卷积块和第二卷积块的卷积核均为3x3，第一卷积块的步长为2，第二卷积块的步长为1，第一卷积块和第二卷积块之间通过批规范化层和ReLU激活层连接。

由于粗粒度卷积部分在提取特征的过程中，不同提取层所提取的粗粒度特征图谱包含的信息不同，从CN1至CN4由浅到深，浅层的粗粒度特征图谱具有较高的分辨率，包含更多的细节，但是语义信息不够丰富；深层的粗粒度特征图谱包含丰富的语义信息但是分辨率低。

为充分利用粗粒度识别通道得到的粗粒度特征图谱，本实施例将不同特征提取层的输出结果输出至细粒度识别通道。

细粒度识别通道包括注意力模块(SE模块)部分、细粒度残差模块(该细粒度残差模块的结构与前文所述残差模块的结构一致)、细粒度卷积模块、细粒度全连接层和细粒度输出层，注意力模块部分包括四个SE模块，分别用于接收CN1、CN2、CN3和CN4传输的特征，并对相应特征进行融合，四个SE模块的输出结果与相应的提取层得到的特征图谱进行特征融合，再经过细粒度残差模块、细粒度卷积模块后由细粒度全连接层上的n个节点作为输出，本实施例中，n＝16，粗粒度输出层、细粒度输出层采用softmax损失函数。

融合是针对每一个细粒度特征进行训练，能够训练出多个细粒度识别分支，在融合过程中通过注意力模块提升对该细粒度大类别识别有用的通道特征，抑制用处不大的通道特征，从而提升最终的识别效果。

为使网络能达到最终的分类识别效果，在最后一层的卷积结果(第四卷积模块、细粒度卷积模块)上，使用了平均池化层，如在粗粒度识别网络中，CN4得到的特征维度为14x14x256，通过kernel(核函数)大小为14的平均池化后，使其维度变为1x1x256，然后通过维度转换将其变成一维列向量，输入相应的全连接层(粗粒度全连接层/细粒度全连接层)，再通过softmax损失函数实现分类识别，全连接层的维度由类别数决定。

在进行细粒度物体识别时，不同的粗粒度大类别，如电动车、婴儿车、玩具车、残疾人车等，对相同的特征有不同的敏感度，因此，将上述粗粒度大类别看作一个类别，完成粗粒度类别的识别，然后在粗粒度识别的基础上，针对每一个细粒度大类别，通过SE模块给特征通道赋予不同的权重，提升对该细粒度物体识别任务贡献度大的特征，抑制贡献度小的特征，从而形成多个细粒度识别的子网络通道。

由于粗粒度特征图谱的尺寸不同，本实施例使用最大池化将粗粒度特征图谱全部统一成与第四组卷积块(CN4)输出相同的大小，然后沿着细粒度通道维度进行Concat拼接，最终得到的特征图谱维度为14x14x512，随后再通过一组残差、卷积模块，进一步对特征进行凝练，最后通过与粗粒度识别网络相似的平均池化、全连接操作等步骤，经softmax完成对细粒度类别的分类识别，得到细粒度特征图谱。

本实施例中，图像信息进入卷积模块/或卷积模块后依次经过卷积层、池化层、批规范化层和激活处理层。

粗粒度识别通道用于接收第一摄像机构1、第二摄像机构2所拍摄的图像，卷积层对图像进行卷积计算并提取粗粒度特征图谱，池化层将粗粒度特征图谱进行最大池化和均匀池化并发送至批规范化层，批规范化层对数据进行归一化处理，再使用ReLU激活函数进行处理并发送至全连接层通过softmax函数进行计算。

批规范化层使得神经网络中的每个神经元的输出都规范为了N(0，1)的正态分布，减少了层与层之间的相互影响，达到加快收敛速度的目的。

细粒度识别通道中的注意力模块用于接收粗粒度识别通道中相应的粗粒度特征图谱，并通过细粒度残差模块、细粒度卷积模块对特征图谱进行卷积计算并提取粗粒度特征图谱，池化层将粗粒度特征图谱进行最大池化和均匀池化并发送至批规范化层，批规范化层对数据进行归一化处理，再使用ReLU激活函数进行处理并发送至细粒度全连接层通过softmax函数进行计算再发送至细粒度输出层，得到细粒度图谱。

本实施例在解算时，细粒度图谱是基于粗粒度图谱，即先判断粗粒度图谱中存在细粒度特征时，才会输出到细粒度识别通道中进行识别，即融合了粗粒度和细粒度的特征，提高了检出的准确性，降低了漏检和错检的几率。

参见图5所示，本发明提供一种对电动车进入楼宇进行监测预警的方法，包括以下步骤为：

S1、构建电动车数据库并进行分类：选取至少5000张电动车图像(均为电梯内拍摄)，人工对图像进行预处理，分为粗粒度图片和细粒度图片，其中，粗粒度图片为包括电动车整体构架图片，粗粒度特征包括外形、车梁、工具箱、车轮、网篮、调速转把、支撑、泥板、前叉等，细粒度图片包括电动车车灯、把手、座椅、轮胎形状的图片，细粒度特征包括车灯、电池盒、反射器、头罩、衣架、座椅等，以此构建电动车数据库。

S2、构建卷积神经网络模型，包括对抗噪声发生器、粗粒度识别通道和细粒度识别通道。

S3、采集图像信息输入对抗噪声发生器进行优化后再输入粗粒度识别通道进行识别。

S4、判断图像是否属于细粒度类别，若是，转入S5，否则，输出识别结果转入S6。

S5、将识别图谱输入细粒度识别器进行识别并输出结果，转入步骤S5。

S6、根据识别结果判断是否有电动车进入楼宇。

S7、若是，控制报警器报警，联动电梯控制系统4将电梯门打开，使得电梯进入暂停运行状态；否则，继续传输图像信息，转入步骤S3。

步骤S3中采集图像信息输入对抗噪声发生器进行优化具体包括：获取数据库中所有图像，将所有图像编码后(本实施例中，为灰度数据)，获取最大混合噪声，对最大混合噪声的特征进行分类，对每类图像进行联合训练，得到对应的最优程式化联合参数，将最大混合噪声和最优程式化联合参数输入对抗噪声发生器进行对抗处理，然后对所拍摄的图像进行处理并输出至粗粒度识别通道进行识别。

通过对抗噪声发生器进行优化后，能够有效规避背景噪声对图像的干扰，提高识别准确性，降低了漏检和错检的几率。

对抗噪声发生器包括全连接层和若干卷积层(本实施例中选用4个卷积核均为1x1的卷积层)。

采集图像信息输入对抗噪声发生器进行优化具体包括：将最大混合噪声和最优程式化联合参数输入对抗噪声发生器，通过若干卷积层计算，经由链接层输出，得到多样化对抗噪声，将n％的多样化对抗噪声进行内循环，(50-n)％的多样化对抗噪声进行外循环(作为下一图像处理的(50-n)％的高斯噪声)，此外，30％的多样化对抗噪声作为干扰，20％进行存储。

其中，获取最大混合噪声的方法如下：

获取数据库中所有图像，将所有图像编码后(本实施例中，为灰度数据)，计算标准差。

将标准差一一代入原有的图像编码数据中，测试标准差对系统鲁棒性的影响，训练图像分类器，对图像分类器中50％的训练数据引入高斯噪声进行干扰，得到混合分类器，从混合分类器中获取最大混合噪声(包含若干最大混合噪声，每个最大混合噪声对应一个数据特征，数据特征包括但不限于边缘信息)。

最优程式化联合参数通过联合训练获取，具体获取步骤如下：

A、获取数据库中所有图像，将所有图像编码后(本实施例中，为灰度数据)，对每个图像的全局进行高斯噪声训练(在图像编码数据中引入高斯噪声)，进行对抗噪声学习(对抗引入的如高斯噪声进行图像去噪处理)，对抗噪声训练(在对抗噪声学习中获取的最优对抗参数)，获取最优全局对抗参数。

B、选取任意一个图像的局部(1/5～1/3的区域)进行编码后，依次进行高斯噪声训练、对抗噪声学习和对抗噪声训练，获取最优局部对抗参数。

C、将最优全局对抗参数和最优局部对抗参数进行程式化联合，得到最优程式化联合参数。

卷积模块(本实施例中，包括所有的卷积模块和卷积块)用于提取图像特征，其具有权值共享和局部连接的特性，完成了模型正向传播与反向传播过程中的大部分计算工作，本实施例中，卷积模块的计算公式如下：

Z

x

公式1和公式2中，x

具体的，卷积模块通过将图像信息与卷积核进行卷积运算来提取特征，计算结果为特征图谱。

以卷积核为3x3，输入矩阵(图像信息)大小为5x5，滑动步长设为1的卷积核为例，其得到的卷积结果大小为3x3，具体计算中，卷积核作为3x3的窗口在图像信息上按一个步长大小，从左至右，从上至下依次滑动，在每个窗口覆盖区域，将卷积核与输入矩阵的值对应相乘并求和，填入结果矩阵的相应位置，即为卷积结果，即特征图谱对应的矩阵。

为提高神经网络的训练速度，引入批规范化层对数据进行归一化处理，具体计算结果如公式3：

公式3中，E[x

y

Softmax函数参见公式5：

公式5中，x代表输入，y代表具有k个不同取值的输出标签，P(y＝j|x；θ)表示在模型参数为θ，输入为x的情况下时，预测其类别为j的概率，

在对数据进行卷积网络训练的过程中，采用公式6的损失函数对模型进行优化：

公式6中，I{y

当模型用于预测时，对输入的x，利用公式8计算每个类别j的概率，公式8如下：

取其中最大概率所对应的类别作为系统预测结果，为防止过拟合，通常会在损失函数之后加入正则化项，如加入权重参数的绝对值之和的L1正则化，或者加入权重参数平方和的L2正则化。

参见图4所示，本实施例中，每个残差模块均包括两个卷积层，其直线通道通过公式9表达：

F(x)＝W

公式9中，W1为第一卷积块的权重，W2为第二卷积块的权重，δ为ReLU激活函数，通过一个跳跃直连(shortcut)，以及第二个激活函数δ，获得输出y：

y＝δ(F(x)+x)…公式10

Shortcut操作即将F与x逐元素相加，当他们的维度不相同时，会对x进行一个线性映射完成维度匹配，通过上述操作，将输入直接添加到堆叠层的输出，保证了信息的完整性的同时并没有增加额外的参数，并且使得网络训练过程中，可以专注于输入输出之间残差的学习，降低了学习难度，通过上述信息传递，防止了因为网络加深引起的梯度消失问题，有效解决了网络退化问题。

注意力模块的具体实现方式由一个Squeeze操作和一个Excitation操作构成：

先进行Squeeze操作：沿着特征通道的方向将HxWxC维的卷积层输出压缩为1x1xC的向量，其中每个通道的二维特征图谱被压缩成了一个具有全局感受野的实数，它使得靠近输入的层也可以获得全局的感受野，表征着在特征通道上响应的全局分布，按公式11计算：

再进行Excitation操作(该过程通过两个全连接层和一个Sigmoid激活函数实现)，全连接层用于更好的融合全部的输入特征信息，Sigmoid函数是为了将输入映射到(0，1)范围内，以便后续作为权重使用，具体计算按公式12进行：

S＝F

公式12中，z表示经Squeeze操作后得到的全局描述，δ表示ReLU激活函数，其作用是保证输出结果为正，W3，W4为两个全连接层的权重值，

完成Excitation操作之后，得到卷积层特征图谱各个通道的权重值，通过一个通道乘法(channel-wisemultiplication)，将原始特征与权重进行融合，就可以得到最终的输出结果，按公式13计算：

公式13中，Sc为原始特征，Uc为权重值。

本发明实施例通过将SE模块嵌入到现有的成熟神经网络结构中，该结构先对粗粒度数据进行卷积处理，再将处理结果输入SE模块进行融合，融合数据顺次通过一残差模块、卷积模块和softmax函数后进行输出。

数据在SE模块进行融合是针对每一个细粒度进行的，能够训练出多个细粒度识别分支，在融合的过程中通过SE模块权重值提升对细粒度大类识别有用的通道特征，抑制用处不大的通道特征，从而提升最终的识别效果。

本发明不仅局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本发明相同或相近似的技术方案，均在其保护范围之内。