智能识别并实时反馈的洗手监测系统

技术领域

本发明涉及医疗设备领域，特别涉及一种智能识别并实时反馈的洗手监测系统。

背景技术

正确的洗手方法可确保医护人员的双手洁净，有效减少因双手传播传染性疾病的情况。但很多医护人员在洗手过程中，有动作错误、速度过快等问题，并且不能得到及时纠正，造成最终洗手效果不佳。不仅在不发达地区，即使在发达国家，手卫生造成的感染发生频率仍高居不下，造成医疗系统的巨大经济损失。

由于医院环境的复杂性，现有洗手监测系统采用人工监测较多，但受制于诸多限制，只能对手卫生进行抽样监测，不能反映医护人员的常规手卫生情况，督促作用有限。设备监测方法，主要使用单模态视频图像数据进行手势识别，使用传统的分类方法进行分割、跟踪和分类，实现对洗手动作的识别。但医院洗手环境在光照、背景色等方面不固定，使用单模态数据易受到环境影响，实际应用中系统适应性受到很多限制。另外传统的特征提取、分类方法，虽然能实现对手势的识别与分类，但技术门槛较高、识别流程复杂，对设备要求较高，实时性也不容易得到保证。

发明内容

为了克服现有技术不足，本发明提供了一种使用多模态数据，结合深度学习的方法，对医院环境中的洗手动作进行高效智能识别，并在洗手过程中实时反馈洗手问题，在结束时对洗手情况可视化展示，帮助医护人员在洗手过程中及时纠正问题，直观地了解洗手情况，从而提升手卫生标准的执行的效率。

本发明通过如下技术方案实现：本发明提出了一种智能识别并实时反馈的洗手监测系统，包括：洗手动作识别评估模块、洗手监督模块、用户交互模块、身份识别模块、数据存储模块、控制模块；所述洗手动作识别评估模块包括：数据采集模块、预处理模块、手势识别模块、手势评估模块；所述用户交互模块包括：显示模块、声音模块；所述数据存储模块包括：通讯模块、数据库模块；具体步骤如下：

步骤1、所述身份识别模块对医生进行身份识别，登录系统；

步骤2、所述数据采集模块实时获取多模态洗手视频数据；

步骤3、所述预处理模块对步骤2中采集的视频数据预处理，

步骤4、所述手势识别模块、手势评估模块，对步骤3中的数据进行分析，与预设固定阈值比较，通过用户交互模块实时显示出评估结果；

步骤5、所述通讯模块将步骤4中的结果上传至数据库模块统计和分析；

步骤6、医院通过洗手监督模块定期或随机采样，监测数据库模块内存储的数据以及专家评估结果，随时对系统进行监督训练。

进一步，所述步骤1中身份识别模块采用了Depth（深度）摄像头，通过用户靠近激活系统，并在显示模块中通过显示屏显示登录信息。

进一步，所述步骤2中数据采集模块采用了RGB（彩色图像）、Depth（深度信息）和IR（红外图像）外设摄像头3种模态视频流，实时获取用户洗手视频数据。

进一步，所述步骤3预处理模块包括对步骤2中获取的RGB、Depth和IR视频流逐帧读取连续洗手图像序列，在连续单个洗手动作图像中分割出洗手区域像素位置作为手部图像，洗手区域像素包括洗手池和主要洗手动作，与此同时IR视频中根据手部图像颜色评估水温。

进一步，所述步骤4包括如下具体步骤：

步骤4-1、所述手势识别模块中通过手势识别模块的2DCNN技术对分割完的图像提取手部信息特征，并对结果融合分类，快速对静态手势预判，得到预判结果；

步骤4-2、所述手势识别模块中通过手势识别模块的ResNet-3DCNN技术对图像序列提取手部信息的时序特征，并对结果进行融合分类，识别动态手势，得到预判结果；

步骤4-3、通过手势评估模块将步骤4-1、步骤4-2中获得的连续单个洗手动作图像帧数预判结果与预设固定阈值比较，判断洗手速度，同时显示模块中显示界面和音频播放相应内容；

步骤4-4、通过手势评估模块将步骤4-1、步骤4-2中获得的单个洗手动作持续时间相加，得到洗手总时长；

步骤4-6、通过手势评估模块对洗手动作的数量、速度、匹配度、时长分析；通过通信模块将结果数据输送至控制模块，由控制模块做出反馈，将洗手结果显示在用户交互模块上。

进一步，所述步骤4-1中提取手部信息的时序特征方法为：使用2DCNN网络识别RGB、Depth和IR三种模态的洗手手势；网络采用3个相同结构的2DCNN分别对RGB、Depth和IR图像序列进行空间和时序特征提取，再通过全连接和softmax层分类，最后在决策层融合，获得手势概率的预判结果。

进一步，所述步骤4-2提取手部信息的时序特征方法为：使用ResNet-3DCNN网络识别RGB、Depth和IR三种模态的洗手手势；网络采用3个相同结构的ResNet-3DCNN分别对RGB、Depth和IR图像序列进行空间和时序特征提取，再通过全连接和softmax层分类，最后在决策层融合，获得手势概率的预判结果。

进一步，所述手势评估模块可以根据外部输入的监督结果指导根据数量、速度、匹配度、时长四个参数训练的评估深度学习神经网络。

进一步，所述用户交互模块对于不符合预设固定阈值的预判结果，做出相应的视频、音频显示。

本发明相对于现有技术，具有以下有益效果：对医院环境中的洗手动作进行高效智能识别，并在洗手过程中实时反馈洗手问题，在结束时对洗手情况可视化展示，帮助医护人员在洗手过程中及时纠正问题，直观地了解洗手情况，从而提升手卫生标准的执行的效率。针对医院的复杂环境以及洗手动作人员自我意识较强等因素，本申请所公开的技术方案中，对洗手动作进行了严格的数字化规范，对于医护人员在洗手过程中的每一个动作，进行采集与分析，并与洗手动作识别评估模块中的预设阈值进行对比，实时在用户交互模块中进行反馈与提示，有效地避免了洗手过程中存在的疏忽，对洗手动作进行了有效干预。同时，本申请的技术方案中，采用了深度学习神经网络，可以在手势评估模块中不断地进行数据更新，以实现更好的监测效果。

附图说明

图1本发明监测系统主要步骤流程示意图；

图2本发明监测系统各模块之间的分布示意图；

图3本发明监测系统各模块之间的关系示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

并且，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

参阅说明书附图1-3，本发明提供一种智能识别并实时反馈的洗手监测系统，与现有洗手监测系统相比，主要的检测流程如下：通过身份识别模块对医生进行身份识别，例如可采用医院现有磁卡等识别模式，也可以用人脸识别模式。通过洗手动作识别评估模块实时获取多模态洗手视频数据；对视频数据预处理；包括通过2DCNN对静态手势进行快速预识别，智能标定洗手开始状态和手势切换状态；以及通过ResNet-3DCNN对动态进行匹配识别，监督洗手动作规范；通过控制模块对数据进行控制反馈，通过用户交互模块，进行洗手教程的显示，并实时显示当前洗手状态并进行音频、视频的提示；同时在洗手动作识别评估模块中根据预定阈值检测洗手速度；记录洗手水温、动作数量及时长；对整体洗手情况进行分析，给出评估结果；通讯模块将洗手情况上传至后台服务器，也就是数据库模块进行统计和分析；医院可以通过洗手监督模块定期或随机采样监测数据以及专家评估结果可以随时对系统进行监督训练。

实施例一

实际操作中，采用Depth（深度）摄像头，根据用户靠近激活系统，显示模块中采用的显示屏显示提示，通过身份识别模块的识别用户身份。通过数据采集模块实时采集多模态洗手数据。数据采集模块可采用RGB（彩色图像）、Depth（深度信息）和IR（红外图像）外设摄像头实时获取用户洗手的3种模态视频流；通过预处理模块对获取的视频流进行预处理；RGB、Depth和IR视频流逐帧读取为连续洗手图像序列，在连续单个洗手动作图像中分割出洗手区域像素位置作为手部图像，洗手区域像素包括洗手池和主要洗手动作，与此同时IR视频中根据手部图像颜色评估水温。

通过手势识别模块的2DCNN技术对分割完的图像提取手部信息特征，并对结果融合分类，快速对静态手势预判；提取手部信息的时序特征方法为：使用2DCNN网络识别RGB、Depth和IR三种模态的洗手手势。网络采用3个相同结构的2DCNN分别对RGB、Depth和IR图像序列进行空间和时序特征提取，再通过全连接和softmax层分类，最后在决策层融合，获得预判的手势概率。将预判结果与与预设阈值比较。如果用户洗手动作的识别概率低于预设阈值，则表明动作无效，继续获取洗手视频；如果用户洗手动作的识别概率高于或等于预设阈值，则表明该动作有效，在视频中做标定，标定洗手或某一手势动作开始，进而执行下一步。

通过手势识别模块的ResNet-3DCNN技术对图像序列提取手部信息的时序特征，并对结果进行融合分类，识别动态手势；提取手部信息的时序特征方法为：使用ResNet-3DCNN网络识别RGB、Depth和IR三种模态的洗手手势。网络采用3个相同结构的ResNet-3DCNN分别对RGB、Depth和IR图像序列进行空间和时序特征提取，再通过全连接和softmax层分类，最后在决策层融合，获得最终的手势概率，控制界面和音频播放相应内容。

通过控制模块控制显示模块和声音模块的播放内容；如果用户洗手动作的识别概率低于预设阈值，则表明洗手动作无效，控制界面和音频提示动作不规范，并展示正确的洗手动作；如果用户洗手动作的识别概率高于或等于预设阈值，则表明该动作有效，计算该动作与标准动作的匹配度，用于最后的评估系统；控制界面演示正在进行的动作和提示未进行的动作。

通过手势评估模块将连续单个洗手动作图像帧数与预设固定阈值比较，判断洗手速度，显示界面和音频播放相应内容；预设固定阈值由摄像机帧率和单个洗手动作最小时长确定。

通过控制模块控制屏幕和音频的播放内容；如果连续单个洗手动作图像帧数小于预设固定阈值，则表示为当前洗手姿势速度过快，控制界面和音频提示动作过快；如果连续有效动作图像帧数小于预设固定阈值，控制界面演示正在进行的动作和提示未进行的动作。

通过手势评估模块获取单个洗手动作时间和总时长；连续单个洗手动作图像帧数除以摄像机录制帧频，可获取单个洗手动作持续时间；单个洗手动作持续时间相加，得到总时长。

通过手势评估模块记录合格洗手动作的数量；将“洗手7步法”按照需识别的动作类别分为12个子动作。因为系统预设12个动作标签，所以可能存在动作数量小于或等于12的情况。当合格洗手动作数量小于12时，则继续获取洗手视频流数据，延时10秒未监测到动作或Depth监测到用户离开，结束当前洗手过程监测，计算洗手总时长；当合格洗手动作数量等于12时，表明洗手动作数量合格，计算洗手总时长，结束当前洗手过程监测。

通过手势评估模块记录洗手总时长；如果洗手总时长小于预设时长15秒，则表明洗手时长不足，通过控制处理模块控制屏幕和音频的播放内容；如果洗手总时大于或等于预设时长15秒，则表明洗手时长足够，并对洗手动作的数量、速度、匹配度、时长分析。

手势评估模块可以根据外部输入的监督结果指导根据数量、速度、匹配度、时长四个参数训练的评估深度学习神经网络，从而提升评估模块的权威性。

通过控制模块控制显示模块和声音模块的播放内容：如果用户洗手总时长小于预设时长15秒时，控制界面和音频提示时长不足，界面显示每个动作持续时长，推荐持续时间短的动作或易脏部位。

通过手势评估模块对洗手动作的数量、速度、匹配度、时长分析；通过控制模块控制显示模块显示洗手结果；通过通讯模块将用户洗手数据上传至后台数据库模块。数据库模块对所有用户洗手情况统计、分析、存储。以方面医院通过洗手监督模块对相关数据进行调取查阅。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。