一种基于人体姿态的抗疫防护用品穿戴行为规范检测方法

技术领域

本发明属于深度学习、行为识别、图像识别技术领域，尤其涉及一种基于人体姿态的抗疫防护用品穿戴行为规范检测方法。

背景技术

在病毒大范围流行期间，医护人员和相关工作人员进行防疫工作时需正确规范穿戴防护用品，有效防止疫情的扩散。目前对防护服穿戴是否规范检测主要还是通过人为监督，无法达到实时监督防护服穿戴过程中的动作标准和顺序是否符合规范要求。

但随着深度学习、机器视觉、图像处理等技术的不断向前进步，利用这些关键技术可以学习到防护服穿戴行为的特征并结合其他的计算方法可以实时检测行为的规范性，能够最终解决上述问题。

发明内容

本发明目的在于提供一种基于人体姿态的抗疫防护用品穿戴行为规范检测方法,以解决上述的技术问题。

为解决上述技术问题，本发明的一种基于人体姿态的抗疫防护用品穿戴行为规范检测方法的具体技术方案如下：

一种基于人体姿态的抗疫防护用品穿戴行为规范检测方法，包括如下步骤：

步骤1：确定抗疫防护用品正确穿戴规范流程，收集相关人员穿戴防护用品的视频；

步骤2：将视频剪辑为多个规范行为视频类别，并对视频类别数据进行清洗和标注，形成防护服穿戴视频的训练、验证与测试数据集；

步骤3：构建基于人体姿态的抗疫防护服穿戴行为步骤识别算法；

步骤4：使用MobileNet算法进行抗疫防护用品目标检测；

步骤5：高清监控摄像头实时采集N帧数据输入防护服穿戴行为步骤识别算法，识别该视频是否属于规范行为步骤类别；

步骤6：输入抗疫防护用品穿戴区域监控摄像头采集的实时视频流，使用MobileNet目标检测算法实时检测当前帧，对防护用品类别检测设置目标动态检测算法，进行防护用品穿戴流程是否规范检测。

进一步地，所述步骤1抗疫防护用品正确穿戴规范流程为：行为步骤1：手卫生；行为步骤2：戴一次性帽子；行为步骤3：戴医用防护口罩；行为步骤4：穿防护服；行为步骤5：戴护目镜；行为步骤6：戴手套；行为步骤7：穿靴套；行为步骤8：穿隔离衣；行为步骤9：穿鞋套。

进一步地，所述步骤2：将视频剪辑为以下视频类别：

手卫生规范行为、戴一次性帽子规范行为、戴医用防护口罩规范行为、穿防护服规范行为、戴护目镜规范行为、戴手套规范行为、穿靴套规范行为、穿隔离衣规范行为、穿鞋套规范行为、手卫生不规范行为、戴一次性帽子不规范行为、戴医用防护口罩不规范行为、穿防护服不规范行为、戴护目镜不规范行为、戴手套不规范行为、穿靴套不规范行为、穿隔离衣不规范行为和穿鞋套不规范行为，并对视频类别数据进行清洗和标注，形成防护服穿戴视频的训练、验证与测试数据集。

进一步地，所述步骤3对步骤2得到的防护服穿戴视频数据集进行稀疏采样，每个视频得到T帧图片，使用图片数据对该算法进行训练，得到满足识别率要求的防护服穿戴行为步骤识别算法，所述步骤识别算法包括如下具体步骤：

步骤3.1：训练数据与测试数据前期准备：通过防护用品穿戴清洁区监控收集视频，将视频数据集按照6：2：2划分为训练集、验证集和测试集；将步骤2中的视频数据集均匀划分为T段，并从每段中随机提取一帧图片得到网络输入数据I＝[I

步骤3.2：设计行为识别网络结构：

步骤3.2.1：通过稀疏采样得到的T帧图片，图片分辨率大小为224×224，利用步长为3的滑动窗口进行相邻3帧差分计算，得到T-2帧运动差分灰度图，堆叠后输入3×3卷积提取视频运动特征；

步骤3.2.2：T帧图片输入中心点网络，进行人体姿态17个关键点的提取，所述17个关键点包含：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左腰、右腰、左膝盖、右膝盖、左脚踝、右脚踝，其中中心点网络主干网络使用沙漏网络，每帧图片得到17张关键点热图，二维姿态大小表示为17×56×56，提取每帧图片的关键点热图J；

J的计算公式为：

步骤3.2.3：将运动特征与关键点热图进行堆叠，输入3D卷积神经网络提取姿态特征，通过softmax分类层得到行为步骤类别识别；

步骤3.3：模型训练和测试：将训练数据送入行为识别网络，提取出关节热图后使用10-clip裁剪方案，将热图裁剪为56×56大小，对模型进行参数微调，得到满足识别率要求的防护服穿戴行为步骤识别算法。

进一步地，所述步骤4对步骤3稀疏采样得到的视频帧构建防护用品目标检测数据集，防护用品类别跟步骤2视频内出现防护用品类别一致，分为：防护用品类别一：免洗手液；防护用品类别二：一次性帽子；防护用品类别三：医用防护口罩；防护用品类别四：防护服；防护用品类别五：护目镜；防护用品类别六：手套；防护用品类别七：靴套；防护用品类别八：隔离衣；防护用品类别九：鞋套；使用该数据集对MobileNet算法进行训练，得到满足识别率要求的防护用品目标检测算法。

进一步地，所述步骤5通过步骤识别算法，识别该视频是否属于规范行为步骤类别，若其为不规范行为步骤类别，则直接输出“XX行为步骤不规范”的语音警报；若其为规范行为步骤类别，得到行为发生时刻顺序列表，具体包括如下步骤：

步骤5.1：通过步骤3的防护服穿戴行为识别算法，输入I

进一步地，所述步骤6若目标动态检测算法结果满足防护用品动态存在要求，行为发生时刻列表满足行为发生时刻顺序要求，则输出穿戴流程规范；若不满足其中任何一项要求，则直接反馈给后台，发出“穿戴流程不规范”的语音警报，具体步骤如下：通步骤4的防护用品目标检测算法，输入实时视频流进行防护用品检测，根据防护用品类别出现顺序，设定防护用品类别目标动态存在顺序要求为：防护用品类别一-防护用品类别二-防护用品类别三-防护用品类别四-防护用品类别五-防护用品类别六-防护用品类别七-防护用品类别八-防护用品类别九；

目标动态检测算法首先检测是否存在目标类别一，若不存在防护用品类别一，则进行下一帧图像的防护用品目标检测，直至防护用品类别一出现，检测到防护用品类别一存在后再检测防护用品类别二是否出现，若防护用品类别二出现则检测防护用品类别三是否出现，若不出现则进行下一帧图像的防护用品目标检测，直至防护用品类别二出现。以此类推，若检测到防护用品类别n，则只需检测防护用品类别n+1是否出现，若出现防护用品类别n+1，则进行下一步检测，若不出现，目标动态检测算法一直检测输入视频帧是否出现防护用品类别n+1，检测到防护用品类别n+1后才进行下一类防护用品目标检测；

当所有的防护用品类别都按照防护用品穿戴目标动态存在顺序出现时，表示抗疫防护用品穿戴流程规范；若目标检测算法结果满足目标动态存在顺序要求，步骤5.2满足行为发生时刻顺序要求，则判定为穿戴规范；若不满足其中一项要求，则判定为穿戴不规范，反馈给后台发出“穿戴行为不规范”的语音警报。

本发明的一种基于人体姿态的抗疫防护用品穿戴行为规范检测方法具有以下优点：本发明利用深度学习、行为识别、图像识别等技术对人体关键点特征进行学习处理，得到防护服穿戴行为步骤分类，结合目标检测算法达到防护用品穿戴流程规范检测效果。本发明方法能够快速检验防护用品穿戴流程是否规范，大大降低了医护人员和相关工作人员的感染风险，为防疫工作提供了有力支持。

附图说明

图1是本发明的基于人体姿态的防护用品穿戴行为规范检测流程图；

图2是本发明的防护服穿戴行为识别算法结构示意图；

图3是本发明的行为识别算法3D卷积神经网络结构图；

图4是本发明的目标动态检测算法流程图。

具体实施方式

为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明一种基于人体姿态的抗疫防护用品穿戴行为规范检测方法做进一步详细的描述。

如图1所示，本发明的一种基于人体姿态的抗疫防护用品穿戴行为规范检测方法，包括如下步骤：

步骤1：抗疫防护用品正确穿戴规范流程为：行为步骤1：手卫生；行为步骤2：戴一次性帽子；行为步骤3：戴医用防护口罩；行为步骤4：穿防护服；行为步骤5：戴护目镜；行为步骤6：戴手套；行为步骤7：穿靴套；行为步骤8：穿隔离衣；行为步骤9：穿鞋套。收集相关人员穿戴防护用品的视频。

步骤2：将视频剪辑为以下视频类别：1手卫生规范行为、2戴一次性帽子规范行为、3戴医用防护口罩规范行为、4穿防护服规范行为、5戴护目镜规范行为、6戴手套规范行为、7穿靴套规范行为、8穿隔离衣规范行为、9穿鞋套规范行为、10手卫生不规范行为、11戴一次性帽子不规范行为、12戴医用防护口罩不规范行为、13穿防护服不规范行为、14戴护目镜不规范行为、15戴手套不规范行为、16穿靴套不规范行为、17穿隔离衣不规范行为、18穿鞋套不规范行为，并对视频类别数据进行清洗和标注，形成防护服穿戴视频的训练、验证与测试数据集。

步骤3：构建基于人体姿态的抗疫防护服穿戴行为步骤识别算法。对步骤2得到的防护服穿戴视频数据集进行稀疏采样，每个视频得到T帧图片，使用图片数据对该算法进行训练，得到满足识别率要求的防护服穿戴行为步骤识别算法。如图2所示，识别算法具体步骤如下：

步骤3.1：训练数据与测试数据前期准备：通过防护用品穿戴清洁区监控收集视频，将视频数据集按照6：2：2划分为训练集、验证集和测试集。将步骤2中的视频数据集均匀划分为T段，并从每段中随机提取一帧图片得到网络输入数据I＝[I

步骤3.2：行为识别网络结构设计：

步骤3.2.1：通过稀疏采样得到的T帧图片，图片分辨率大小为224×224，利用步长为3的滑动窗口进行相邻3帧差分计算，得到T-2帧运动差分灰度图，堆叠后输入3×3卷积提取视频运动特征；

步骤3.2.2：T帧图片输入中心点网络(CenterNet网络)，进行人体姿态17个关键点的提取(17个关键点包含：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左腰、右腰、左膝盖、右膝盖、左脚踝、右脚踝)，其中中心点网络主干网络使用沙漏网络，每帧图片得到17张关键点热图，二维姿态大小表示为17×56×56，提取每帧图片的关键点热图J；

J的计算公式为：

步骤3.2.3：将运动特征与关键点热图进行堆叠，输入3D卷积神经网络提取姿态特征，通过softmax分类层得到行为步骤类别识别。

步骤3.3：模型训练和测试：将训练数据送入行为识别网络，提取出关节热图后使用10-clip裁剪方案，将热图裁剪为56×56大小，对模型进行参数微调，得到满足识别率要求的防护服穿戴行为步骤识别算法。

步骤4：使用MobileNet算法进行抗疫防护用品目标检测。对步骤3稀疏采样得到的视频帧构建防护用品目标检测数据集，防护用品类别跟步骤2视频内出现防护用品类别一致，分为：防护用品类别一：免洗手液；防护用品类别二：一次性帽子；防护用品类别三：医用防护口罩；防护用品类别四：防护服；防护用品类别五：护目镜；防护用品类别六：手套；防护用品类别七：靴套；防护用品类别八：隔离衣；防护用品类别九：鞋套。使用该数据集对MobileNet算法进行训练，得到满足识别率要求的防护用品目标检测算法。

步骤5：高清监控摄像头实时采集N帧数据输入防护服穿戴行为步骤识别算法，识别该视频是否属于规范行为步骤类别，若其为不规范行为步骤类别，则直接输出“XX行为步骤不规范”的语音警报；若其为规范行为步骤类别，得到行为发生时刻顺序列表，如图3所示，具体包括如下步骤：

步骤5.1：通过步骤3的防护服穿戴行为识别算法，输入I

步骤5.2：存储算法检测到的行为发生时刻

步骤6：输入抗疫防护用品穿戴区域监控摄像头采集的实时视频流，使用MobileNet目标检测算法实时检测当前帧，对防护用品类别检测设置目标动态检测算法，进行防护用品穿戴流程是否规范检测，若目标动态检测算法结果满足防护用品动态存在要求，行为发生时刻列表满足行为发生时刻顺序要求，则输出穿戴流程规范；若不满足其中任何一项要求，则直接反馈给后台，发出“穿戴流程不规范”的语音警报。具体步骤如下：

通步骤4的防护用品目标检测算法，输入实时视频流进行防护用品检测。根据防护用品类别出现顺序，设定防护用品类别目标动态存在顺序要求为：防护用品类别1-防护用品类别2-防护用品类别3-防护用品类别4-防护用品类别5-防护用品类别6-防护用品类别7-防护用品类别8-防护用品类别9。

如图4所示，目标动态检测算法首先检测是否存在目标类别一，若不存在防护用品类别一，则进行下一帧图像的防护用品目标检测，直至防护用品类别一出现，检测到防护用品类别一存在后再检测防护用品类别二是否出现，若防护用品类别二出现则检测防护用品类别三是否出现，若不出现则进行下一帧图像的防护用品目标检测，直至防护用品类别二出现。以此类推，若检测到防护用品类别n，则只需检测防护用品类别n+1是否出现，若出现防护用品类别n+1，则进行下一步检测，若不出现，目标动态检测算法一直检测输入视频帧是否出现防护用品类别n+1，检测到防护用品类别n+1后才进行下一类防护用品目标检测。

当所有的防护用品类别都按照防护用品穿戴目标动态存在顺序出现时，表示抗疫防护用品穿戴流程规范。若目标检测算法结果满足目标动态存在顺序要求，步骤5.2满足行为发生时刻顺序要求，则判定为穿戴规范；若不满足其中一项要求，则判定为穿戴不规范，反馈给后台发出“穿戴行为不规范”的语音警报。

可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。