基于飞桨的智慧工厂多模态感知安全防护识别系统

技术领域

本发明涉及电力系统调度技术领域，特别涉及一种基于飞桨的智慧工厂多模态感知安全防护识别系统。

背景技术

当前，以云计算、大数据、物联网、人工智能为代表的新技术正在与传统制造业进行快速融合，以“物联网”和“智能”为核心的制造模式，已成为全行业迈向智能制造的关键方向。在工厂流程型生产的过程中，各加工环节联系紧密、环环相扣，无论哪一个环节存在疏忽，都容易引发安全事故，从而导致企业巨大损失，因此，工业制造业生产的安全性不言而喻。

发明内容

本发明针对现有技术的缺陷，提供了一种基于飞桨的智慧工厂多模态感知安全防护识别系统。在高噪声车间中，利用多目标跟踪算法对摄像头拍摄到的画面中的多个工作人员是否正确佩戴耳罩和是否正确穿着工作服进行跟踪和检测；通过人体骨关节检测的方法，判断人员是否存在摔倒等情况；对工厂中水、烟、温湿度等环境信息进行检测、预警；通过图像、员工卡验证员工身份信息。

为了实现以上发明目的，本发明采取的技术方案如下：

一种于飞桨的智慧工厂多模态感知安全防护识别系统，包括：主控板、屏幕、身份验证模块、安全着装识别模块；

所述主控板统一管理数据和用户QT界面设计，完成数据传输和模数转换；

主控板包括：数据库和微控制器；传感器数字信号通过串口接入微控制器，模拟信号接入微控制器A/D口中进行模数转换，用于后续处理。

身份验证模块包括：RFID传感器和机器视觉模块，通过RFID传感器收集磁卡ID，通过机器视觉模块进行人脸匹配识别员工身份，将识别结果通过串口上传至主控板，将识别结果与数据库匹配，完成人员管理，将结果反馈至屏幕上。

安全着装识别模块，包括：部署了DeepSort多目标跟踪模型的EdgeBoard板卡、设置在车间的摄像头；

通过DeepSort多目标跟踪模型检测员工是否正确佩戴耳罩以及正确穿着工作服；当员工进入车间时EdgeBoard板卡进行模型解算，如果员工没有佩戴耳罩或没有正确穿着工作服则报警并将相关信息上传至主控板进行记录。摄像头的画面及识别结果能够在屏幕上面展示。

EdgeBoard板卡上还部署了Paddlehub模块，Paddlehub模块进行人体骨关节检测；在工作时，与正常骨关节情况进行对比，若骨关节检测结果异常则报警并将相关信息上传至主控板进行记录，摄像头的画面及识别结果能够在屏幕上面展示。

进一步地，智慧工厂多模态感知安全防护识别系统还包括：设备预警模块；设备预警模块包括：单轴倾角传感器；

所述单轴倾角传感器安装在设备上用于检测设备倾角，通过TTL串口传输至微控制器，微控制器进行统一处理后将数据上传至主控板，若角度异常则警报或者切断设备。

进一步地，智慧工厂多模态感知安全防护识别系统还包括：环境预警模块，环境预警模块包括：水浸传感器、烟雾气敏传感器和温湿度传感器；

所述水浸传感器在车间地面一定高度安装，用于检测漏水情况，将检测结果通过串口传输至微控制器进行统一处理后将数据上传至主控板，若异常则进行警报或者切断所有电源。

所述烟雾气敏传感器安装在车间天花板，用于检测烟雾情况，将检测结果直接接至微控制器模数转换接口上，通过模数转换得到当前环境烟雾浓度，微控制器进行统一处理后将数据上传至主控板，若异常则警报或者切断设备。

所述温湿度传感器安装在车间内，用于检测当前环境温湿度状况，将检测结果传输至微控制器上，显示在屏幕上面，为环境管理提供依据。微控制器统一处理之后将数据上传至主控板。

进一步地，所述设备预警模块还包括划分风险等级模块，划分风险等级模块用于根据环境预警模块和设备预警模块的监测结果来划分设备的风险等级，当设备运行后，根据风险等级在设备外侧设置安全防护区，如果检测到工作人员进入不同等级的区域会进行局部报警。采用红外检测人员是否进入环境，红外检测结果传输至微控制器，微控制器进行统一处理后将数据上传至主控板，若异常则警报或者切断设备。

进一步地，所述主控板，统一接收处理微控制器和EdgeBoard板卡上传的信息，将其在内部存储并在屏幕上面实时显示环境情况和人员情况，同时将数据上报云端，管理人员可以通过QT界面实时查询工厂的情况。

进一步地，EdgeBoard板卡中采用的DeepSort多目标跟踪模型，来自PaddleDetection套件中的特色垂类检测模型，数据集为根据实际需求制作的小批量数据；使用匈牙利算法，解决分配问题；

进一步地，Paddlehub模块采用算法Open Pose对视频进行逐帧骨骼点提取，最后以.npy格式保存数据集。

进一步地，采用ST-GCN网络，设计出了用于行为识别的骨骼点序列通用表示。

与现有技术相比，本发明的优点在于：

可以实现端云协同模型部署。可以实现模型本地预测和云端预测，预测结果可以实时显示在屏幕上面，本地预测结果可以上传至云端数据库备份；

身份验证部分可以实现端云综合管理。可以精准实现工厂人员身份的验证，同时通过RFID和人脸识别验证员工身份，验证结果实时显示在屏幕上面，并且上传云端进行统一管理，工厂管理人员可以通过QT界面查看人员的出勤情况、出勤时间以及人员职位权限；

环境检测部分可以实现端云综合管理。接入多传感器实现对环境状况的综合检测，环境若出现异常情况则报警断电并上传至云端，管理人员可以通过QT界面实时查看环境及各设备的工作情况,做到对紧急情况的及时反应。

附图说明

图1是本发明实施例智慧工厂多模态感知安全防护识别系统结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下根据附图并列举实施例，对本发明做进一步详细说明。

针对工厂安全生产的智慧场景，本发明利用“飞桨+博创”人工智能技术与物联网技术相结合的智能软硬件平台，设计了智慧工厂多模态感知安全防护识别系统，基于厂区摄像头采集的图像，监控职工是否符合安全着装规范、作业规范，检测职工的违规离岗、违规停留等行为；基于设备的工作状态和工作状况，监控机器是否正常工作，综合评估厂区车间内的合规度，为企业评估安全生产管理状况并采用针对性的提升方法提供精准依据。

在多模态感知安全防护识别系统中，本发明基于百度公司自研的深度学习框架PaddlePaddle围绕智慧工厂安全生产场景做出如下创新：1、在高噪声等特殊环境的车间，基于传统的DeepSort多目标跟踪模型开发，检测人员是否正常佩戴隔音耳罩以及是否正常穿着工作服；2、基于人体骨关节检测的方法，对工厂车间中工作人员跌倒等异常行为进行检测，保障生产的安全性。

同时，本发明基于微控制器(STM32)单片机和I.MX6ULL开发板搭建了智慧工厂多模态感知安全防护识别系统，其包括身份识别系统、设备预警系统及环境感知预警系统，为智慧工厂的安全添砖加瓦。基于RFID传感器及摄像头，开发身份识别算法，完成身份验证；设备预警系统中，当设备运行后，根据风险等级在设备外侧设置安全防护区，如果检测到工作人员进入不同等级的区域会进行局部报警、车间报警和切断设备等相关操作；环境预警系统中，本发明设置了漏水报警、烟感报警、温湿度异常报警等多重维度的环境预警方式，切实保障生产安全。

参照图1，本发明提供了多模态感知安全防护识别系统是基于飞桨端云协同人工智能技术应用于智慧工厂的安防方法，其运行包括以下步骤：

步骤1：基于整体设计需求，平台架构由AI智能和智能感知防护系统两部分构成，博创智能部分采用I.MX6ULL作为主控板统一管理数据和用户QT界面设计，传感器数字信号通过串口接入微控制器，模拟信号接入微控制器A/D口中进行模数转换，用于后续处理。

步骤2：采用RFID+人脸识别的方法识别人员身份。通过RFID传感器收集磁卡ID，通过OpenMV进行人脸匹配识别员工身份，将识别结果通过串口上传至I.MX6ULL板卡，在I.MX6ULL中内置SQL数据库，将识别结果与内部数据库匹配，完成人员管理，将结果反馈至屏幕上。

步骤3：采用飞桨基于传统的DeepSort多目标跟踪模型开发检测员工是否正确佩戴耳罩以及正确穿着工作服，将其部署在EdgeBoard板卡上。在车间设置摄像头，当员工进入车间时EdgeBoard进行模型解算，如果员工没有佩戴耳罩或没有正确穿着工作服则报警并将相关信息上传至I.MX6ULL进行记录。摄像头的画面及识别结果可以在屏幕上面展示。

步骤4：基于飞桨采用Paddlehub进行人体骨关节检测，将其部署在EdgeBoard板卡上，在工作时，若骨关节检测结果异常(人员摔倒等)则报警并将相关信息上传至I.MX6ULL进行记录。摄像头的画面及识别结果可以在屏幕上面展示。

检测设备姿态是否正常：采用单轴倾角传感器，检测设备倾角，通过TTL串口传输至微控制器，微控制器进行统一处理(警报或者切断设备)后将数据上传至I.MX6ULL板卡。

步骤5：在地面一定高度安装水浸传感器检测漏水情况，将检测结果通过485串口传输至微控制器进行统一处理(警报或者切断所有电源)后将数据上传至I.MX6ULL板卡。

步骤6：在房间天花板安装烟雾气敏传感器检测烟雾情况，将检测结果直接接至微控制器模数转换接口上，通过模数转换得到当前环境烟雾浓度，微控制器进行统一处理(警报或者切断设备)后将数据上传至I.MX6ULL板卡。

步骤7：当设备运行后，根据风险等级在设备外侧设置安全防护区，如果检测到工作人员进入不同等级的区域会进行局部报警。采用红外检测人员是否进入环境，红外检测结果通过gpio传输至微控制器，微控制器进行统一处理(警报或者切断设备)后将数据上传至I.MX6ULL板卡。

步骤8：通过温湿度传感器检测当前环境，将检测结果传输至微控制器上，显示在屏幕上面，为环境管理提供依据。微控制器统一处理之后将数据上传至I.MX6ULL板卡。

步骤9：I.MX6ULL作为主控板，统一接收处理微控制器和EdgeBoard上传的信息，将其在内部存储并在屏幕上面实时显示环境情况和人员情况，同时将数据上报云端，管理人员可以通过QT界面实时查询工厂的情况。

以上为本发明的多模态感知安全防护识别系统是基于飞桨端云协同人工智能技术应用于智慧工厂的安防方法中系统硬件设计与实现的具体实施流程。

本发明方法的原理设计与软件实现具体包括以下步骤：

第一步：采用的方案是采用Deepsort进行多目标跟踪。检测模型基于DeepSort官方开源代码开发，将其中的深度学习模型更换为Paddle模型，预训练模型来自PaddleDetection套件中的特色垂类检测模型，数据集为根据实际需求制作的小批量数据。

Deepsort是sort算法中的升级版本，该算法中使用到了Deep Learning网络。为解决SORT算法受遮挡等情况影响较大，会有大量的ID切换的问题。

解决分配问题使用的是匈牙利算法(仅使用运动特征计算代价矩阵)，该算法解决了由滤波算法预测的位置与检测出来的位置间的匹配。DeepSORT中，作者结合了外观特征(由小型CNN提取的128维向量)和运动特征(卡尔曼滤波预测的结果)来计算代价矩阵，从而根据该代价矩阵使用匈牙利算法进行目标的匹配。

第二步：利用AI Studio平台训练后将其部署在EdgeBoard板卡上。EdgeBoard进行模型解算后，将其解算结果和I.MX6ULL人员身份检测后的结果核对，若结果一致则将图像中人物的部分提取出来，用于后续处理。

第三步：使用飞桨EasyDL平台的物体检测模型，制作了正确穿戴工作服和耳罩的数据集。通过采集不同场景不同角度下不同人员佩戴同一耳罩的500张图片信息，在划分数据集、验证集、测试集后，导入EasyDL平台进行在线标注。EasyDL平台支持在线标注和多人标注，并提供智能标注功能大大减轻了数据标注的负担。数据集标注完成后，本发明在EasyDL中创建自己的模型，导入数据，选择EsayEdge本地部署的部署方式和默认配置的数据增强方式，并选择使用平台预置的超高精度的算法进行模型训练。训练完成后，通过扩充数据集和修正错误数据等方式，可以不断提高模型的mAP值、精确率和召回率。

第四步：将训练好的模型一件部署至EdgeBoard AI开发板，开发板本地推理出检测结果，根据检测结果判断工作人员是否正确佩戴耳罩和穿着工作服，若没有正确穿着则报警并将结果反馈至I.MX6ULL板卡上。

第五步：基于飞桨上公开的2021CCF BDCI数据集，加上一部分自己补充的本地数据。所有的视频素材从2017到2018年的花样滑冰锦标赛中采集。源视频素材中视频的帧率被统一标准化至每分钟30帧，并且图像大小是1080*720来保证数据集的相对一致性。之后本发明通过2D姿态估计算法Open Pose对视频进行逐帧骨骼点提取，最后以.npy格式保存数据集。

对于数据增强本发明采用的方法跟2s-AGCN里面对Kinectics数据集的方法类似，对x,y坐标进行一定的随机旋转和位移，来增加少样本类别数据的数量，并且对于原视频，本发明采用了不同的采帧方式来进一步丰富数据集。

网络采用ST-GCN。其在标准的动作识别数据集上性能较好。

时空图卷积网络模型ST-GCN通过将图卷积网络(GCN)和时间卷积网络(TCN)结合起来，扩展到时空图模型，设计出了用于行为识别的骨骼点序列通用表示。

图卷积网络(Graph Convolutional Network，GCN)借助图谱的理论来实现空间拓扑图上的卷积，提取出图的空间特征，具体来说，就是将人体骨骼点及其连接看作图，再使用图的邻接矩阵、度矩阵和拉普拉斯矩阵的特征值和特征向量来研究该图的性质。

ST-GCN单元通过GCN学习空间中相邻关节的局部特征，而时序卷积网络(Temporalconvolutional network，TCN)则用于学习时间中关节变化的局部特征。卷积核先完成一个节点在其所有帧上的卷积，再移动到下一个节点，如此便得到了骨骼点图在叠加下的时序特征。对于TCN网络，项目中通过使用9*1的卷积核进行实现。为了保持总体的特征量不变，当关节点特征向量维度(C)成倍变化时，步长取2，其余情况步长取1。

第六步：检测到人体关键骨关节后，本发明将其与正常工作时骨关节情况进行对比，判断是否正常，若异常则报警并将结果反馈至I.MX6ULL板卡上。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。