实验室PPE合规穿戴监测方法及系统、存储介质及终端

技术领域

本发明涉及基于深度学习的智能监测技术领域，特别是涉及一种实验室PPE合规穿戴监测方法及系统、存储介质及终端。

背景技术

现有技术中，监控技术的发展经历了以下三个阶段：

(1)最早的监控技术为人工现场监控，通过人的眼睛作为视频输入，并通过人脑对视频数据进行储存和计算，从而对监控现场进行判断；

(2)随着相机技术以及计算机技术的飞速发展，电子摄像头逐渐替代人眼成为最主要的监控视频采集设备，同时计算机则代替人脑进行视频数据的储存，但视频的计算工作仍需人的大脑进行；

(3)随着近十几年来，人工智能技术与计算机性能的不断发展，催生了第三代智能视频监控技术IVS(Intelligent Video Surveillance)，即电子摄像头替代人眼进行视频数据采集，计算机代替人脑进行视频数据的储存与计算。由于新一代智能视频分析技术具有不需要人干预、具有人一样智能、高效可靠等特点，成为了目前全球安防领域的研究热点与前沿。在许多国家、科研机构以及生产厂商都投入了大量的人力、物力支持第三代智能视频分析技术的研究。例如，美国国防高级研究计划局(DARPA)在1997年开始了一项为期三年的计划，卡内基·梅隆大学机器人学院和Sarnoff公司作为该项目的主要团队开发视频监视和监控(Video Surveillance and Monitoring，VSAM)技术。VSAM项目的目标是将自动视频理解技术应用于将来的城市和战场监控之中。该项目开发的技术使单个操作人员可以使用视频传感器形成的分布式网络在广泛的区域内监视活动。同时，康奈尔大学设计了一套能长时间对多目标准确跟踪的航拍视频检测和持续跟踪系统。此外，美国ObjectVideo公司研发出的ObjectVEW，在用户自定义的规则下，ObjectVideo Forensics系统能够对监控场景进行实时多目标监测与跟踪，同时实现分类和统计等操作。当违反自定义规则后，系统能够及时监测并报警，监控负责人则能从报警信息中快速查找到违规人员的相关证据并及时处理。

另外，微视图灵技术有限公司提出了一套完整的AI行为识别监控系统技术解决方案，帮助监控系统操作人员快速、准确地处理突发异常事件。模式识别国家重点实验室深入研究了有关交通场景、行人运动与行为的智能视觉监控技术。除此之外，海康威视公司在基于完善的硬件监控设备基础上，提出了在不同领域应用的智能监控解决方案。例如，海康威视提出的全城Smart监控解决方案，率先应用到了多个平安城市建设当中。

火灾与爆炸是实验室安全事故的主要现象。实验个人防护装备(PersonalProtective Equipment，PPE)如实验服、护目镜、实验手套等物品的合理佩戴是操作防火的最重要途径。采用人工现场监控判断实验室工作人员PPE合规佩戴费时费力，基于深度学习技术的IVS技术是替代人工监控的技术发展趋势。受算力和能耗限制，在保证实时监测精度和推流流畅度的前提下应当尽可能选择计算速度快的轻量级网络。

然而，由于实验室监控场景背景复杂，原生YOLO v5网络泛化能力较差；当实验人员距离摄像头较远时，纹理特征会进一步演变为小目标检测难题；集中部署的目标检测算法会导致较大的网络负荷。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种实验室PPE合规穿戴监测方法及系统、存储介质及终端，能够有效实现PPE合规穿戴的检测精度，且实时性好。

为实现上述目的及其他相关目的，本发明提供一种实验室PPE合规穿戴监测方法，包括以下步骤：获取包含PPE穿戴信息的监控图像；对所述监控图像进行预处理，基于标注出的实验人员和实验服的监控图像构建标注数据集；基于多尺度训练策略，采用标注数据集和CrowdHuman数据集训练用于实验人员和实验服检测的YOLOv5目标检测模型；基于训练好的YOLOv5目标检测模型判断PPE穿戴是否合规。

于本发明一实施例中，对所述监控图像进行预处理，基于标注出的实验人员和实验服的监控图像构建标注数据集包括以下步骤：

基于YOLOv5目标检测模型对所述监控图像进行目标检测，检测出所述监控图像中的实验人员；

标注出所述实验人员的实验服；

基于标注出实验人员和实验服的监控图像存储为所述标注数据集。

于本发明一实施例中，基于多尺度训练策略，采用标注数据集和CrowdHuman数据集训练用于实验人员和实验服检测的YOLOv5目标检测模型包括以下步骤：

将所述标注数据集和所述CrowdHuman数据随机混合，输入YOLOv5目标检测模型进行预训练；

采用不同尺寸大小的监控图像进行YOLOv5目标检测模型的迭代训练，调节预训练的YOLOv5目标检测模型的网络参数，以获取满足目标检测精度的YOLOv5目标检测模型。

于本发明一实施例中，基于PyTorch框架构建YOLOv5目标检测模型。

本发明提供一种实验室PPE合规穿戴监测系统，包括图像获取模块、预处理模块、训练模块和监测模块；

所述图像获取模块用于获取包含PPE穿戴信息的监控图像；

所述预处理模块用于对所述监控图像进行预处理，基于标注出的实验人员和实验服的监控图像构建标注数据集；

所述训练模块用于基于多尺度训练策略，采用标注数据集和CrowdHuman数据集训练用于实验人员和实验服检测的YOLOv5目标检测模型；

所述监测模块用于基于训练好的YOLOv5目标检测模型判断PPE穿戴是否合规。

本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的实验室PPE合规穿戴监测方法。

本发明提供一种实验室PPE合规穿戴监测终端，包括：处理器及存储器；

所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器存储的计算机程序，以使所述实验室PPE合规穿戴监测终端执行上述的实验室PPE合规穿戴监测方法。

本发明提供一种实验室PPE合规穿戴监测系统，包括图像采集装置和上述的实验室PPE合规穿戴监测终端；

所述图像采集装置用于采集包含PPE穿戴信息的监控图像，并发送至所述实验室PPE合规穿戴监测终端。

于本发明一实施例中，所述实验室PPE合规穿戴监测终端包括服务器、树莓派和神经计算棒；所述服务器用于训练YOLOv5目标检测模型；所述树莓派用于运行训练好的YOLOv5目标检测模型，所述神经计算棒与所述YOLOv5目标检测模型相连，用于实现卷积神经网络加速推理。

于本发明一实施例中，基于OpenVINO的AI神经网络模型部署工具在所述树莓派上部署所述YOLOv5目标检测模型；所述图像采集装置采用USB工业摄像头；所述USB工业摄像头基于USB接口与所述树莓派相连。

如上所述，本发明的实验室PPE合规穿戴监测方法及系统、存储介质及终端，具有以下有益效果：

(1)基于化学实验室安全事故防范的实际需求，使用本地化数据与CrowdHuman数据集混合策略、多尺度训练策略、以及服务器结合树莓派边缘计算硬件策略实现实验室PPE合规穿戴智能监测；

(2)YOLOv5模型的Focus结构能够使得模型在更小分辨率的特征图上进行卷积操作，提高特征提取能力，且改进后的结构能够有效压缩因网络层数增多而带来模型参数量的增加，有效降低计算复杂度，同时对检测速度影响较小，仍能达到30帧/秒；

(3)在提高检测精度的同时保持了很好的实时性，满足实际应用场景的需求。

附图说明

图1显示为本发明的实验室PPE合规穿戴监测方法于一实施例中的流程图；

图2显示为本发明的实验室PPE合规穿戴监测系统于一实施例中的结构示意图；

图3显示为本发明的实验室PPE合规穿戴监测终端于一实施例中的结构示意图；

图4显示为本发明的实验室PPE合规穿戴监测系统于另一实施例中的结构示意图。

元件标号说明

21       图像获取模块

22       预处理模块

23       训练模块

24       监测模块

31       处理器

32       存器

41       图像采集装置

42       实验室PPE合规穿戴监测终端

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明的实验室PPE合规穿戴监测方法及系统、存储介质及终端基于化学实验室安全事故防范的实际需求，使用本地化数据与CrowdHuman数据集混合、多尺度训练策略、以及服务器结合树莓派边缘计算硬件策略实现实验室PPE合规穿戴的智能监测，兼顾检测精度和实时性，极具实用性。

如图1所示，于本发明一实施例中，本发明的实验室PPE合规穿戴监测方法包括以下步骤：

步骤S1、获取包含PPE穿戴信息的监控图像。

具体地，由图像采集装置获取包含PPE穿戴信息的监控图像，并通过有线或无线的方式发送至本发明的实验室PPE合规穿戴监测终端。

于本发明一实施例中，所述图像采集装置采用POE网络摄像头，摄像头焦距为2.8-4mm，输入图像分辨率为1920×1080，视频压缩标准为H.265，红外最远距离50米；交换机采用千兆低功率POE交换机；网线采用超五类POE网线；终端使用Windows10主机，主机配有4×8T机械硬盘，可连续采集6路视频数据20天以上。所述图像采集装置将采集到的视频基于H.265标准压缩后保存在终端本地，以便于提供包含PPE穿戴信息的监控图像至所述实验室PPE合规穿戴监测终端。

步骤S2、对所述监控图像进行预处理，基于标注出的实验人员和实验服的监控图像构建标注数据集。

具体地，对所述监控图像进行预处理，基于标注出的实验人员和实验服的监控图像构建标注数据集包括以下步骤：

21)基于YOLOv5目标检测模型对所述监控图像进行目标检测，检测出所述监控图像中的实验人员。

具体地，为了获取高准确率与实时性，采用YOLOv5目标检测模型对所述监控图像进行目标检测，检测出所述监控图像中的实验人员，并采用makesense.ai图像标注软件标注出所述实验人员。

22)标注出所述实验人员的实验服。

具体地，对所述YOLOv5目标检测模型检测出的实验人员，进一步标注出所穿着的实验服。

23)基于标注出实验人员和实验服的监控图像存储为所述标注数据集。

具体地，将标注出实验人员和实验服的监控图像以YOLO格式(.txt)保存。标注后的监控图像文件主要包含四个参数：标注目标的类别、归一化后的x与y坐标、目标框宽度以及目标高度。优选地，监控图像的尺寸为1920×1080。

步骤S3、基于多尺度训练策略，采用标注数据集和CrowdHuman数据集训练用于实验人员和实验服检测的YOLOv5目标检测模型。

具体地，基于多尺度训练策略，采用标注数据集和CrowdHuman数据集训练用于实验人员和实验服检测的YOLOv5目标检测模型包括以下步骤：

31)将所述标注数据集和所述CrowdHuman数据随机混合，输入YOLOv5目标检测模型进行预训练。

32)采用不同尺寸大小的监控图像进行YOLOv5目标检测模型的迭代训练，调节预训练的YOLOv5目标检测模型的网络参数，以获取满足目标检测精度的YOLOv5目标检测模型。

具体地，在化学实验室当中，由于摄像头的位置固定，当实验人员距离摄像头较远时，原图中特征尺寸会比近距离拍摄物体小，基础网络部分通常会生成比输入图像尺寸小十几倍的特征图，导致输出的目标物体特征描述不容易被网络捕捉。针对化工实验室监控场景中目标人员的尺度与距离存在差距、个别实验服目标尺度较小等特点，本发明采用多尺度训练策略，输入不同尺寸的监控图像用于YOLOv5目标检测模型的训练，从而提高算法的鲁棒性。同时调整预训练的YOLOv5目标检测模型的超参数和权重参数，多次迭代训练所述YOLOv5目标检测模型。优选地，每训练5个批次，从设定的多尺度训练集中随机更换一个尺度继续训练，直到所述YOLOv5目标检测模型的参数收敛到一定值后，得到最终的用于检测实验人员和实验服的YOLOv5目标检测模型。

于本发明一实施例中，基于PyTorch框架构建YOLOv5目标检测模型。

步骤S4、基于训练好的YOLOv5目标检测模型判断PPE穿戴是否合规。

具体地，训练完成所述YOLOv5目标检测模型后，将待识别的监测图像输入所述训练好的YOLOv5目标检测模型，得到检测出的实验人员和实验服。根据所述实验人员和实验服，判断PPE穿戴是否合规，并将判断结果发送至相应的终端。

下面通过具体实施例来进一步阐述本发明的实验室PPE合规穿戴监测方法。

在目标检测领域使用准确性、快速性和鲁棒性评估系统性能。本发明采用精确率(Precision)、召回率(Recall)、检测帧率(FPS)、平均精度均值(mean Average Precision，mAP)、平均交并比(average IOU)评估实验室PPE合规穿戴监测的有效性。

其中，精确率(Precision)表示在所有预测为正例样本中预测正确的样本的比例。召回率(Recall)表示所有实际正例样本中含被预测正确的正例样本的比例，二者的计算公式分别为：P＝TP/(TP+FP)，R＝TP/(TP+FN)，其中：P为精确率，R为召回率，TP为正确预测的正例样本数，FP为错误预测的正例样本数，FN为错误预测的负例样本数。

平均精度均值(mAP)指的是多个类别平均精度(AP)的均值，代表着模型对检测目标识别精度的一个综合评价，取值介于0到1之间。

定位准确性与人工标注框与模型预测框的重叠程度有关。该准确性的量化指标是IOU，目标定位越准确，IOU取值越高。

识别效率指的是目标检测模型的实际检测速度，其量化指标是FPS，即每秒检测的图像张数。

在相同实验条件下训练YOLOv5目标检测模型，采用同一测试集共300张图像(包含435个实验人员、254件实验服)对本发明采用的YOLOv5、YOLOv2以及YOLOv3目标检测模型进行测试，结果如表1所示。

表1、检测结果比对

由上表可知，采用YOLOv5算法在精确率和召回率上均优于此前的YOLO版本，分别提高了1.6％和4.2％，mAP提高了1.3％。召回率的大幅提高，说明YOLOv5模型的漏检数量明显减少。原因在于：尽管YOLOv2、YOLOv3都通过卷积网络从图像中提取实验人员和实验服特征，但由于两种网络较浅，因此对实验人员和实验服的特征表达不够充分。YOLOv5模型的Focus结构能够使得模型在更小分辨率的特征图上进行卷积操作，提高特征提取能力。同时，新增结构能够有效压缩因网络层数增多而带来模型参数量的增加，降低计算复杂度，同时对检测速度影响较小，仍能达到30帧/秒。实验证明，相比原YOLO网络，YOLOv5网络在提高检测精度的同时保持了很好的实时性。

如图2所示，于一实施例中，本发明的实验室PPE合规穿戴监测系统包括图像获取模块21、预处理模块22、训练模块23和监测模块24。

所述图像获取模块21用于获取包含PPE穿戴信息的监控图像。

所述预处理模块22与所述图像获取模块21相连，用于对所述监控图像进行预处理，基于标注出的实验人员和实验服的监控图像构建标注数据集。

所述训练模块23与所述预处理模块22相连，用于基于多尺度训练策略，采用标注数据集和CrowdHuman数据集训练用于实验人员和实验服检测的YOLOv5目标检测模型。

所述监测模块24与所述训练模块23相连，用于基于训练好的YOLOv5目标检测模型判断PPE穿戴是否合规。

其中，图像获取模块21、预处理模块22、训练模块23和监测模块24的结构和原理与上述实验室PPE合规穿戴监测方法中的步骤一一对应，故在此不再赘述。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Digital Signal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

本发明的存储介质上存储有计算机程序，该程序被处理器执行时实现上述的实验室PPE合规穿戴监测方法。所述存储介质包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。

如图3所示，于一实施例中，本发明的实验室PPE合规穿戴监测终端包括：处理器31及存储器32。

所述存储器32用于存储计算机程序。

所述存储器32包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。

所述处理器31与所述存储器32相连，用于执行所述存储器32存储的计算机程序，以使所述实验室PPE合规穿戴监测终端执行上述的实验室PPE合规穿戴监测方法。

优选地，所述处理器31可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

如图4所示，于一实施例中，本发明的实验室PPE合规穿戴监测系统包括图像采集装置41和上述的实验室PPE合规穿戴监测终端42。

所述图像采集装置41与所述实验室PPE合规穿戴监测终端42相连，用于采集包含PPE穿戴信息的监控图像，并发送至所述实验室PPE合规穿戴监测终端42。

于本发明一实施例中，所述实验室PPE合规穿戴监测终端包括服务器、树莓派和神经计算棒；所述服务器用于训练YOLOv5目标检测模型；所述树莓派用于运行训练好的YOLOv5目标检测模型，以实现实验室PPE合规穿戴监测；所述神经计算棒与所述YOLOv5目标检测模型相连，用于实现卷积神经网络加速推理；所述图像采集装置采用USB工业摄像头；所述USB工业摄像头基于USB接口与所述树莓派相连。

具体地，本发明利用英国树莓派基金会开发的Linux开发板树莓派4B作为模型迁移的嵌入式设备。树莓派4B采用了博通BCM2711 SoC，包含四个1.5GHz Cortex A72 CPU核心，同时搭配2个USB3.0接口与2个USB2.0接口，搭载Raspberry Pi OS 64位系统，丰富的GPIO接口。由于树莓派自身硬件性能有限，本发明还采用英特尔第二代神经计算棒(IntelNeural Compute Stick 2)通过USB3.0接口与树莓派4B连接，实现卷积神经网络加速推理；采用4mm焦距的USB工业摄像头通过USB2.0接口与树莓派4B连接，提供监控视频的采集；将树莓派Micro HDMI接口与视频显示器相连，实现监测结果输出可视化。

于本发明一实施例中，本发明的实验室PPE合规穿戴监测系统首先完成YOLOv5目标检测模型移植前的服务器环境搭建和树莓派环境搭建。在服务器端实现YOLOv5目标检测模型的训练与模型文件格式的转换；利用Python-OpenCV库与OpenVINO的AI神经网络模型部署工具在所述树莓派上部署所述YOLOv5目标检测模型，基于Python语言编写实时目标监测脚本并运行，其具体过程如下：

1)服务器端需要为YOLOv5目标检测模型的训练过程与转换过程搭建相应的环境。作为基础的模型训练过程的开发环境，PyTorch作为整个深度学习算法框架，基于PyTorch框架下构建YOLOv5神经网络；Cuda库以提供GPU的开发与计算环境；Cudnn作为YOLOv5深度神经网络的GPU加速库；Pycharm或者Jupyter Lab作为Python开发的IDE。

2)树莓派端需要为YOLOv5目标检测模型的推理加速过程搭建相应环境。选择目标操作系统Raspbian Buster,32位，安装构建工具build-essential，从源代码安装OpenCV和CMake，从GitHub获取OpenVINO toolkit工具套件的开源版本。最后使用CMake工具构建推理引擎与插件。

3)在服务器端，根据YOLOv5s的网络结构修改网络配置文件，根据需要适当调整网络参数，并训练检测实验人员与实验服的YOLOv5目标检测模型，并将模型输出的.pt文件格式转为IR格式的模型，将.xml文件与.bin文件传输到树莓派端。

4)基于OpenCV与OpenVINO Toolkit的实时目标检测算法实现。通过添加udev规则使得系统能识别英特尔第二代神经计算棒。后端采用OpenVINO ToolKit推理引擎API，通过直接调用转换后的IR格式的YOLOv5模型进行实时目标检测。运行目标检测算法检测程序，输入参数经过解析后，通过模型参数与结构获取函数读取转换后的IR格式文件，指定使用英特尔第二代神经计算棒作为运算设备，设置图像输入源，逐帧读取视频并作为网络输入，同时解析输出结果并绘制检测结果图。

综上所述，本发明的实验室PPE合规穿戴监测方法及系统、存储介质及终端基于化学实验室安全事故防范的实际需求，使用本地化数据与CrowdHuman数据集混合策略、多尺度训练策略、以及服务器结合树莓派边缘计算硬件策略实现实验室PPE合规穿戴智能监测；YOLOv5模型的Focus结构能够使得模型在更小分辨率的特征图上进行卷积操作，提高特征提取能力，且改进后的结构能够有效压缩因网络层数增多而带来模型参数量的增加，有效降低计算复杂度，同时对检测速度影响较小，仍能达到30帧/秒；在提高检测精度的同时保持了很好的实时性，满足实际应用场景的需求。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。