一种基于AI和HMM的电梯电动车识别预警方法

技术领域

本发明涉及电梯技术领域，尤其涉及一种基于AI(人工智能)和HMM(隐马尔可夫模型)的电梯电动车识别预警方法。

背景技术

近年来，随着城市的不断发展，人们对电动车的需求日益增大，电动车已成为居民日常出行中的非常方便的交通工具。电动车在使用过程中，不可避免存在充电的问题。然而，因电动车家庭充电引发的火灾屡见不鲜，尤其是高层建筑火灾，给人民生命和财产造成了极大的损失。为了预防电动车引发火灾，公安部于2017年12月31日发出《关于规范电动车停放充电加强火灾防范的通告》的通告。因此为了规范电动车停放充电，引导电动车在小区安置在集中充电点，防止电动车进入家庭，通过智能识别进入电梯的电动车并进行预警是非常有必要。这不仅能够减少因电动车充电引发的楼栋火灾，而且能够提高电梯寿命，在战略层面上该发明符合国家整体防范风险的要求，而且符合当前智能化的大趋势，可以进一步推动小区信息化和智能化管理

目前，在实际应用中的电梯电动车预警系统往往需要结合固定摄像头，压力传感器、磁场传感器等收集不同源的信息数据，通过微波发射器等干扰电梯门自带的红外线接收器，从而达到控制电梯，实现预警的目的。很显然，目前这些方法需要两个及两个以上的信息源，参数自由度大，识别稳定性低。并且通过干扰电梯门的红外线接收器，容易带来电梯安全隐患。

发明内容

本发明主要解决的技术问题是提供一种基于AI和HMM的电梯电动车识别预警方法，相比已有的电梯电动车预警方法，该方法不仅识别的准确度高，并且信息源单一(比如只需要摄像头)，具有非常好的实用性。

为解决上述技术问题，本发明采用的一个技术方案是：

本发明提供了一种基于AI和HMM的电梯电动车识别预警方法，包括以下步骤：

步骤a：对电梯监控视频的原始图像进行预处理操作，得到预处理后的图像；

步骤b：将预处理后的图像输入训练好的基于AI的电动车识别网络模型进行识别，得到视频帧的识别结果，并判断每一帧是否有电动车，对多帧视频的电动车识别结果形成电动车识别序列；

步骤c：将步骤b中的多帧的电动车识别序列结果输入训练好的基于HMM的电梯状态识别网络模型，输出电梯状态，以实现电梯预警与否。

进一步地说，步骤a中的电梯监控视频为通过安装于电梯的摄像头采集到的视频。

进一步地说，步骤b中的基于AI的电动车识别网络模型的构建步骤：

步骤b1：采集电梯环境下的电动车图片，并对其进行图像增强；

步骤b2：接着对采集图像进行标定，并按比例随机划分训练集和验证集，并使用数据增广方法，对数据进行扩充；

步骤b3：以图像预处理及扩充后的训练集图片为基础构建Yolo网络模型进行电动车的识别与检测。

进一步地说，步骤b2中分别对图像集中的电动车和自行车都进行标定。

进一步地说，步骤b3中的Yolo网络模型使用了DarkNet-53网络结构，损失函数使用交叉熵函数：

其中，n是样本数，在本网络模型中等于2，2表示电动车和自行车，y

进一步地说，步骤c中的基于HMM的电梯状态识别网络模型的构建方法如下：

任意一个HMM网络可以用五元组(O，S，A，B，π)表示，

O：{o

S：{s

A：{a

B：{b

π：{π

训练中，通过大量已知的O和S对HMM进行优化，获取参数A和B，即基于HMM的电梯状态识别网络模型。

本发明的有益效果是：

本发明采用基于AI和HMM的电梯电动车识别预警方法，具有两方面的优点：其一是，本发明区别于传统的图像处理技术，采用AI技术，能够克服部分遮挡、图像尺度等因素的影响，准确度高，鲁棒性强。其二是采用基于HMM的电梯状态识别网络模型，剔除电动车识别噪点，将电动车识别结果序列有效转化为电梯状态，进一步减少虚警率和漏警率，提高了方法的实用性；

再者，本发明在图像标定时分别对图像集中的电动车和自行车都进行标定，由于自行车与电动车极易混淆，因此在数据标定中，对图像集中的电动车和自行车都进行标定，在后续网络训练中，突出电动车与自行车的不同，从而减少错误率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

图1是本发明的流程图(测试部分表示电动车识别预警的流程，训练部分表示事先需要训练好的基于AI的电动车识别网络模型和基于HMM的电梯状态识别网络模型的流程)；

图2是本发明的实施例1的视频的多帧图像；

图3是本发明的实施例1的电梯状态图(采用基于HMM的电梯状态识别网络模型)；

图4是本发明的实施例1的比较例1的电梯状态图；

图5是本发明的实施例2的视频的多帧图像；

图6是本发明的实施例2和比较例2的电梯状态图；

以下通过特定的具体实施例说明本发明的具体实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的优点及功效。本发明也可以其它不同的方式予以实施，即，在不背离本发明所揭示的范畴下，能予不同的修饰与改变。

实施例：一种基于AI和HMM的电梯电动车识别预警方法，如图1所示，包括以下步骤：

步骤a：对电梯监控视频的原始图像进行预处理操作，得到预处理后的图像；

步骤b：将预处理后的图像输入训练好的基于AI的电动车识别网络模型进行识别，得到视频帧的识别结果，并判断每一帧是否有电动车，对多帧视频的电动车识别结果形成电动车识别序列(每一帧均输出一电动车有无的识别结果，多帧就会输出多个电动车有无的识别结果，此多个电动车有无的识别结果构成电动车识别结果序列，作为以下的步骤c中的基于HMM的电梯状态识别网络模型的输入)；

步骤c：将步骤b中的多帧的电动车识别序列结果输入训练好的基于HMM的电梯状态识别网络模型，输出电梯状态，以实现电梯预警与否。

步骤a中的预处理操作主要做对比度增强以及少数情况下还会对图像进行去模糊处理。

步骤a中的电梯监控视频为通过安装于电梯的摄像头采集到的视频。

步骤b中的基于AI的电动车识别网络模型的构建步骤：

步骤b1：采集电梯环境下的电动车图片，并对其进行图像增强；用以提高电动车的对比度，以有利于后续网络模型的训练；

步骤b2：接着对采集图像进行标定，并按比例随机划分训练集和验证集，并使用数据增广方法，对数据进行扩充；

步骤b3：以图像预处理及扩充后的训练集图片为基础构建Yo l o网络模型进行电动车的识别与检测。

本实施例中，步骤b2中分别对图像集中的电动车和自行车都进行标定，由于自行车与电动车极易混淆，因此在数据标定中，对图像集中的电动车和自行车都进行标定。在后续网络训练中，突出电动车与自行车的不同，从而减少错误率。

步骤b3中的Yolo网络模型使用了DarkNet-53网络结构，损失函数使用交叉熵函数：

其中，n是样本数，在本网络模型中等于2，2表示电动车和自行车，y

步骤c中的基于HMM的电梯状态识别网络模型的构建方法如下：

任意一个HMM网络可以用五元组(O，S，A，B，π)表示，

O：{o

S：{s

A：{a

B：{b

π：{π

训练中，通过大量已知的O和S对HMM进行优化，获取参数A和B，即基于HMM的电梯状态识别网络模型。

为了进一步提高电梯状态检测精度，提高其稳定性，构建基于HMM的识别网络，实现由电动车识别结果向电梯状态的有效转化。

比如在如下具体的实施例1中：如图2、图3和图4(比较例1，未采用基于HMM的电梯状态识别网络模型)所示，由电动车识别网络得到视频中每一帧的识别结果，然而，电动车的识别结果并不意味着是电梯的识别状态，因为由于遮挡等原因，识别可能会产生一定的误差，这样就会产生虚警或漏警。如图2所示，一段视频的识别结果；由电动车的识别结果得到的电梯状态和真实的电梯状态如图3和图4所示，显然，二者是有差别的，在第9帧和第10帧由于严重遮挡造成的电动车误识别，致使电梯状态漏警。从图中看出，显然是采用基于HMM的电梯状态识别网络模型，与电梯实际状态比较一致。

为了进一步提高电梯状态检测精度，提高其稳定性，构建基于HMM的电梯状态识别网络模型，实现由电动车识别结果向电梯状态的有效转化，该网络的输入是电动车识别结果序列，网络的输出是事先标定好的电梯真实状态(两种状态：预警和正常)，如图3所示。

比如在如下具体的实施例2中：如图5和图6所示，图6中同时含有实施例2的电梯状态、电梯的实际状态和比较例2(未采用基于HMM的电梯状态识别网络模型时的电梯状态)，到的另一视频帧的电动车识别及电梯状态结果图。图5中的电动车与自行车的相似度太大，因此中间有三帧识别为自行车了，造成误识别。如图6所示由电动车识别结果直接预警，会造成漏警。而通过基于HMM的电梯状态识别网络模型后获得的电梯状态后预警，完美地实现了无误差预警。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。