俯卧位手术患者面部动态监测预警系统、方法及设备

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种俯卧位手术患者面部动态监测预警系统、方法及设备。

背景技术

脊柱、神经外科等手术常采用俯卧位手术姿态，该手术姿态存在眼睛损伤、神经损伤、皮肤压伤等风险，需进行严密的术中观察，以防止出现面部受压不均、眼部受压、眼睑闭合不良、气管导管脱落等危险情况。目前，医护人员主要通过蹲姿进入手术床下观察手术患者面部情况，费时费力，且很难实时观测。相关技术提出了一种俯卧位手术病人面部观察装置，利用反光镜使医护人员在站立位即可观察到患者面部情况，但医护人员仍然需要实时观察患者面部情况，且由于手术床底光线较暗也会影响监测评估效果。

发明内容

有鉴于此，本发明的目的在于提供一种俯卧位手术患者面部动态监测预警系统、方法及设备，可以更为方便快捷、清晰可靠地观察俯卧位手术患者面部情况，还可以自动检测俯卧位手术患者面部危险情况，从而极大地减小医护人员工作量。

第一方面，本发明实施例提供了一种俯卧位手术患者面部动态监测预警系统，包括通信连接的面部数据采集及处理子系统和面部动态监测及预警子系统；其中，

所述面部数据采集及处理子系统用于采集俯卧位手术患者的初始面部图像，并将所述初始面部图像传输至所述面部动态监测及预警子系统；

所述面部动态监测及预警子系统用于对所述初始面部图像进行实时显示，和/或，提取所述初始面部图像对应的第一面部关键特征点，并根据所述第一面部关键特征点的变化情况进行预警，所述预警的类型包括人脸移动预警、眼部变化预警、鼻子遮挡预警、气管导管移动预警中的一种或多种。

在一种实施方式中，所述面部动态监测及预警子系统包括通信连接的面部动态分析模块和预警模块，所述面部动态分析模块包括面部检测单元、特征点提取单元和局部检测单元；其中，

所述面部检测单元用于对所述初始面部图像进行面部检测，以确定目标面部图像；所述特征点提取单元用于提取所述目标面部图像对应的第一面部关键特征点；所述局部检测单元用于检测所述第一面部关键特征点对应的变化情况；

所述预警模块用于在所述第一面部关键特征的所述变化情况超出预警阈值的情况下进行预警。

在一种实施方式中，所述面部检测单元部署有采用第一卷积神经网络、连接网络、预测网络构建的面部动态检测框架，所述面部检测单元还用于：

将训练样本输入至所述面部动态检测框架，以使所述面部动态检测框架输出面部检测结果；

利用三元组损失函数对所述面部检测结果进行比较，以筛选出包含有面部区域的目标面部检测结果；

基于CIoU损失函数和所述目标面部检测结果确定损失值，以利用所述损失值调整所述面部动态监测框架的网络参数。

在一种实施方式中，所述特征点提取单元部署有第二卷积神经网络，所述特征点提取单元还用于：

通过所述第二卷积神经网络，提取所述目标面部检测结果包含的第二面部关键特征点；

如果成功提取到所述第二面部关键特征点，则基于所述第二面部关键特征点调整所述第二卷积神经网络的网络参数；

如果未成功提取到所述第二面部关键特征点，则对所述目标面部检测结果进行反向传播改变图像信息，以得到修正图像；以及，利用对抗式攻击对所述第二卷积神经网络进行增强；

通过增强后的所述第二卷积神经网络，提取所述修正图像包含的第三面部关键特征点，基于所述第三面部关键特征点调整增强后的所述第二卷积神经网络的网络参数。

在一种实施方式中，所述局部检测单元包括人脸移动检测子单元、眼部变化检测子单元、鼻子遮挡检测子单元和气管导管移动检测子单元；其中，

所述人脸移动检测子单元用于根据所述第一面部关键特征点中的人脸特征点确定人脸移动情况；

所述眼部变化检测子单元用于根据所述第一面部关键特征点中的眼部特征点确定眼部变化情况；

所述鼻子遮挡检测子单元用于根据所述第一面部关键特征点中的鼻子特征点确定鼻子遮挡情况；

所述气管导管移动检测子单元用于根据所述第一面部关键特征点中的嘴及气管导管特征点确定气管导管移动情况；

其中，所述第一面部关键特征点包括所述人脸移动情况、所述眼部变化情况、所述鼻子遮挡情况和所述气管导管移动情况。

在一种实施方式中，所述面部动态监测及预警子系统还包括可视化监测模块，所述可视化监测模块对所述初始面部图像进行实时显示，以便于查看所述俯卧位手术患者的面部情况。

在一种实施方式中，所述面部数据采集及处理子系统包括通信连接的面部数据采集模块和数据处理模块；其中，

所述面部数据采集模块包括布设于俯卧位手术床下正对着患者面部的摄像机装置，所述摄像机装置支持微距、夜视和防抖动功能，所述摄像机装置用于采集所述俯卧位手术患者的初始面部图像，对所述初始面部图像进行压缩处理，将所述压缩处理后的所述初始面部图像传输至所述数据处理模块；

所述数据处理模块用于对接收到的所述初始面部图像进行数据解压处理，以得到指定图像格式的初始面部图像。

第二方面，本发明实施例还提供一种俯卧位手术患者面部动态监测预警方法，应用于第一方面提供的任一项所述的俯卧位手术患者面部动态监测预警系统，所述方法包括：

通过面部数据采集及处理子系统，采集俯卧位手术患者的初始面部图像，并将所述初始面部图像传输至面部动态监测及预警子系统；

通过所述面部动态监测及预警子系统，对所述初始面部图像进行实时显示，和/或，提取所述初始面部图像对应的第一面部关键特征点，并根据所述第一面部关键特征点的变化情况进行预警，所述预警的类型包括人脸移动预警、眼部变化预警、鼻子遮挡预警、气管导管移动预警中的一种或多种。

第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现第二方面提供的所述的方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第二方面提供的所述的方法。

本发明实施例提供的俯卧位手术患者面部动态监测预警系统、方法及设备，包括通信连接的面部数据采集及处理子系统和面部动态监测及预警子系统；其中，面部数据采集及处理子系统用于采集俯卧位手术患者的初始面部图像，并将初始面部图像传输至面部动态监测及预警子系统；面部动态监测及预警子系统用于对初始面部图像进行实时显示，和/或，提取初始面部图像对应的第一面部关键特征点，并根据第一面部关键特征点的变化情况进行预警，预警的类型包括人脸移动预警、眼部变化预警、鼻子遮挡预警、气管导管移动预警中的一种或多种。上述系统对俯卧位手术患者的初始面部图像进行采集，以在此基础上对俯卧位手术患者的面部情况进行监测和预警，本发明实施例可以更为方便快捷、清晰可靠地观察俯卧位手术患者面部情况，还可以自动检测俯卧位手术患者面部危险情况，从而极大地减小医护人员工作量。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种俯卧位手术患者面部动态监测预警系统的结构示意图；

图2为本发明实施例提供的一种俯卧位手术患者面部动态监测预警系统的具体结构示意图；

图3为本发明实施例提供的一种面部动态分析模块的结构示意图；

图4为本发明实施例提供的一种俯卧位手术患者面部动态监测预警方法的流程示意图；

图5为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，相关技术提出了一种俯卧位手术病人面部观察装置，利用反光镜使医护人员在站立位即可观察到患者面部情况，但医护人员仍然需要实时观察患者面部情况，且由于手术床底光线较暗也会影响监测评估效果，基于此，本发明实施提供了一种俯卧位手术患者面部动态监测预警系统、方法及设备，可以更为方便快捷、清晰可靠地观察俯卧位手术患者面部情况，还可以自动检测俯卧位手术患者面部危险情况，从而极大地减小医护人员工作量。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种俯卧位手术患者面部动态监测预警系统进行详细介绍，参见图1所示的一种俯卧位手术患者面部动态监测预警系统的结构示意图，该系统包括通信连接的面部数据采集及处理子系统1和面部动态监测及预警子系统2；其中，

在一例中，面部数据采集及处理子系统1用于采集俯卧位手术患者的初始面部图像，并将初始面部图像传输至面部动态监测及预警子系统2。在具体实现时，面部数据采集及处理子系统1包括面部数据采集模块和数据处理模块，面部数据采集模块包括摄像机装置，该摄像机装置布设于俯卧位手术床下方且正对着患者面部，进而实现对患者的初始面部图像进行采集，数据处理模块对初始面部图像进行图像数据还原处理，得到指定图像格式(诸如YUV格式)的初始面部图像。

在一例中，面部动态监测及预警子系统2用于对初始面部图像进行实时显示，和/或，提取初始面部图像对应的第一面部关键特征点，并根据第一面部关键特征点的变化情况进行预警，第一面部关键特征点包括人脸移动情况、眼部变化情况、鼻子遮挡情况和气管导管移动情况，预警的类型包括人脸移动预警、眼部变化预警、鼻子遮挡预警、气管导管移动预警中的一种或多种。在具体实现时，面部动态监测及预警子系统2提供监测功能和预警功能，监测功能也即进行初始面部图像的实时展示，是医护人员能够通过电脑屏幕实时观察俯卧位手术患者面部情况，相较于现有技术更为方便快捷；预警功能采用深度学习和传统图像处理算法相结合，通过自动检测人脸、提取面部关键特征点，根据特征点变化情况进行人脸移动、眼部活动、鼻子遮挡、气管导管移动分析，并根据预设预警阈值进行危险自动报警，相较于传统的人工监测，本发明实施例使医护人员无需实时监测、评估患者面部情况，能极大地减小医护人员工作量。

本发明实施例提供的俯卧位手术患者面部动态监测预警系统，对俯卧位手术患者的初始面部图像进行采集，以在此基础上对俯卧位手术患者的面部情况进行监测和预警，本发明实施例可以更为方便快捷、清晰可靠地观察俯卧位手术患者面部情况，还可以自动检测俯卧位手术患者面部危险情况，从而极大地减小医护人员工作量。

为便于理解，本发明实施例提供了如图2所示的一种俯卧位手术患者面部动态监测预警系统的具体结构示意图，图2示意出面部数据采集及处理子系统包括通信连接的面部数据采集模块和数据处理模块，面部动态监测及预警子系统包括可视化监测模块，以及通信连接的面部动态分析模块和预警模块。此外，俯卧位手术患者面部动态监测预警系统还包括预警设定子系统和数据存储库。其中，面部数据采集模块用于获取患者的初始面部图像；数据处理模块用于对初始面部数据进行解调处理；可视化监测模块用于实时展示初始面部图像；面部动态分析模块用于构建面部动态预警模型，根据处理后的面部图像进行面部动态分析；数据存储库用于存储所采集的初始面部数据以及分析结果数据(也即面部关键特征点的变化情况)；预警设定子系统用于设定预警阈值；预警模块用于根据预警阈值进行预警提示。具体的：

(一)面部数据采集模块包括布设于俯卧位手术床下正对着患者面部的摄像机装置，摄像机装置支持微距、夜视和防抖动功能，摄像机装置用于采集俯卧位手术患者的初始面部图像，对初始面部图像进行压缩处理，将压缩处理后的初始面部图像传输至数据处理模块。

在具体实现时，摄像机支持微距、夜视和防抖动功能，以适应手术床下光线弱、手术床有轻微抖动等环境。面部数据采集模块采集俯卧位手术患者面部图像数据并进行压缩，通过有线或无线网络传输将数据传输到数据处理模块。

在一例中，数据处理模块用于对接收到的初始面部图像进行数据解压处理，以得到指定图像格式的初始面部图像。在具体实现时，数据处理模块将接收到的面部图像数据进行数据解压处理，得到YUV图像数据格式，将YUV图像数据同时传输至可视化监测模块和面部动态分析模块。

(二)可视化监测模块对初始面部图像进行实时显示，以便于查看俯卧位手术患者的面部情况。

在具体实现时，可视化监测模块接收数据处理模块产生的面部图像数据进行实时显示，使医护人员能够通过电脑显示器实时查看俯卧位手术患者面部情况

(三)面部动态分析模块对面部图像数据进行智能分析，参见图3所示的一种面部动态分析模块的结构示意图，面部动态分析模块包括面部检测单元、特征点提取单元和局部检测单元，局部检测单元包括人脸移动检测子单元、眼部变化检测子单元、鼻子遮挡检测子单元和气管导管移动检测子单元。其中，面部检测单元用于对初始面部图像进行面部检测，以确定目标面部图像；特征点提取单元用于提取目标面部图像对应的第一面部关键特征点；局部检测单元用于检测第一面部关键特征点对应的变化情况；在实际应用中，如果特征点提取单元未成功从目标面部图像中提取出面部关键特征点，系统也将发出相应的预警提示。

在一例中，面部检测单元部署有采用第一卷积神经网络、连接网络、预测网络构建的面部动态检测框架。在此基础上，面部检测单元还用于：

(a1)将训练样本输入至面部动态检测框架，以使面部动态检测框架输出面部检测结果。在一例中，可以通过面部YUV图像数据构建训练集与测试集，通过检测框架中的第一卷积神经网络提取YUV图像数据的特征，特征经由连接网络处理并传输至预测网络，预测网络将基于连接网络输出的特征进行面部预测，以得到面部检测结果。

本发明实施例采用了深度学习中的深度卷积神经网络(Deep ConvolutionalNeural Network，DCNN)作为其核心算法。DCNN是一种具有多层卷积和池化的神经网络结构，能够有效地提取图像特征，减少数据维度，并提高模型的泛化能力。

(a2)利用三元组损失函数(也即“triplet-loss”损失函数)对面部检测结果进行比较，以筛选出包含有面部区域的目标面部检测结果。

本发明实施例还使用了深度学习中的“triplet-loss”损失函数。Triplet-loss是一种特殊的对比性损失函数，它会将正样本(人脸图像)和负样本(非人脸图像)进行比较，并尽可能地减小正样本之间的距离，增大负样本之间的距离。这种损失函数能够有效地提高模型的区分能力，从而提升人脸检测的准确率。

(a3)基于CIoU损失函数和目标面部检测结果确定损失值，以利用损失值调整面部动态监测框架的网络参数。

本发明实施例基于CIoU损失函数对目标面部检测结果中包含图像特征的框架以及将图像特征作为目标的框架进行相似性衡量，并基于权重系数进行一致性衡量，实现患者人脸检测。

在一例中，特征点提取单元部署有第二卷积神经网络。在此基础上，特征点提取单元还用于：

(b1)通过第二卷积神经网络，提取目标面部检测结果包含的第二面部关键特征点。在具体实现时，将目标面部检测结果输入至第二卷积神经网络，以得到第二卷积神经网络针对其输出的第二面部关键特征点。

(b2)如果成功提取到第二面部关键特征点，则基于第二面部关键特征点调整第二卷积神经网络的网络参数。在具体实现时，如果目标面部检测结果存在面部关键特征点，则直接将目标面部检测结果输入第二卷积神经网络进行训练。

(b3)如果未成功提取到第二面部关键特征点，则对目标面部检测结果进行反向传播改变图像信息，以得到修正图像；以及，利用对抗式攻击对第二卷积神经网络进行增强；通过增强后的第二卷积神经网络，提取修正图像包含的第三面部关键特征点，基于第三面部关键特征点调整增强后的第二卷积神经网络的网络参数。

在具体实现时，如果目标面部检测结果不存在面部关键特征点，则对所述面部图像进行反向传播改变图像信息，获取修正图像，并对自身进行对抗式攻击实现对卷积神经网络的增强；增强后的卷积神经网络对所述修正图像进行目标检测，进行卷积神经网络训练。

在一例中，人脸移动检测子单元用于根据第一面部关键特征点中的人脸特征点确定人脸移动情况。具体的，根据人脸特征点运动情况进行人脸移动检测，将检测结果输入预警模块进行人脸移动预警管理。

在一例中，眼部变化检测子单元用于根据第一面部关键特征点中的眼部特征点确定眼部变化情况。具体的，根据眼部特征点变化情况进行眼部变化检测，将检测结果输入预警模块进行眼部变化预警提醒。

在一例中，鼻子遮挡检测子单元用于根据第一面部关键特征点中的鼻子特征点确定鼻子遮挡情况。具体的，根据鼻子特征点变化情况进行鼻子遮挡检测，将检测结果输入预警模块进行鼻子遮挡预警管理。

在一例中，气管导管移动检测子单元用于根据第一面部关键特征点中的嘴及气管导管特征点确定气管导管移动情况。具体的，根据嘴及气管导管特征点变化情况进行气管移动检测，将检测结果输入预警模块进行气管导管移动预警管理。

由于本发明实施例应用于俯卧位手术患者监测评估，对算法的准确性、可靠性要求极高，人脸检测算法需具有强大的鲁棒性，同时要能够识别眼部是否处于睁开状态、口内气管导管是否在正确位置等微小的细节变化。深度学习算法具有较强的泛化能力，能够有效应对各种光线变化、部分遮挡、不同分辨率等情形，这种特性带来了人脸区域检测能力的大幅度提升，却降低了细节微表情的识别能力。同时，由于深度学习类算法受训练数据质量和数量限制等因素影响，一般很难实现百分百的准确性。

针对深度学习算法在此领域应用中存在的局限性，本算法采用将深度学习与传统图像处理相结合的方法，利用传统算法的可靠性高的优点，对关键特征点区域进行轮廓比对，将外部环境影响降到最低，形成优势互补，有效增强了深度学习的泛化检测能力，极大的提高的整体系统的可靠性，从而增加了系统的识别鲁棒性。

(五)数据存储库用于进行历史数据、实时数据的存储、加工和计算，同时分别按照数据分析时间、分析结果对存储数据进行排序整理。

(六)预警设置子系统用于设置人脸移动、眼部变化、鼻子遮挡、气管导管移动预警阈值。

(七)预警模块用于在第一面部关键特征的变化情况超出预警阈值的情况下进行预警，诸如进行文字提示和音频播报。示例性的，假设人脸移动距离超出相应的预警阈值，则以文字或音频形式发出人脸移动预警提示，眼部变化情况超出相应的预警阈值，则以文字或音频形式发出眼部变化预警提示；假设鼻子遮挡面积超出相应的预警阈值，则以文字或音频形式发出鼻子遮挡预警提示；假设气管导管移动距离超出相应的预警阈值，则以文字或音频形式发出气管导管移动预警提示。

综上所述，本发明实施例提供的俯卧位手术患者面部动态监测预警系统至少具有以下特点：

1、更方便快捷地观察俯卧位手术患者面部情况：本发明实施例采用摄像机装置实时采集俯卧位手术患者面部图像数据，传输至数据处理子系统进行图像数据还原处理后通过可视化监测子系统进行面部图像数据实时展示，使医护人员能够通过电脑屏幕实时观察俯卧位手术患者面部情况，相较于现有手段更方便快捷。

2、更清晰可靠地观察俯卧位手术患者面部情况：本发明实施例采用支持微距、夜视和防抖动的摄像机采集卧位手术患者面部情况，能够适应摄像机距离手术患者面部距离近以及俯卧位手术过程中手术床下光线弱、手术床有轻微抖动等环境，相较于直接蹲姿床底观察或基于反射镜的俯卧位手术患者面部观察装置，能更清晰、更可靠地观察俯卧位手术患者面部情况。

3、自动检测俯卧位手术患者面部危险情况，极大地减小医护人员工作量：本发明实施例采用深度学习和传统图像处理算法相结合，通过自动检测人脸、提取面部关键特征点，根据特征点变化情况进行人脸移动、眼部活动、鼻子遮挡、气管导管移动分析，并根据预设预警阈值进行危险自动报警。相较于传统的人工监测，本发明使医护人员无需实时监测、评估患者面部情况，能极大地减小医护人员工作量。

在前述实施例的基础上，本发明实施例提供了一种俯卧位手术患者面部动态监测预警方法，该方法应用于前述实施例提供的俯卧位手术患者面部动态监测预警系统，参见图4所示的一种俯卧位手术患者面部动态监测预警方法的流程示意图，该方法主要包括以下步骤S402至步骤S404：

步骤S402，通过面部数据采集及处理子系统，采集俯卧位手术患者的初始面部图像，并将初始面部图像传输至面部动态监测及预警子系统；

步骤S404，通过面部动态监测及预警子系统，对初始面部图像进行实时显示，和/或，提取初始面部图像对应的第一面部关键特征点，并根据第一面部关键特征点的变化情况进行预警，预警的类型包括人脸移动预警、眼部变化预警、鼻子遮挡预警、气管导管移动预警中的一种或多种。

本发明实施例提供的俯卧位手术患者面部动态监测预警方法，对俯卧位手术患者的初始面部图像进行采集，以在此基础上对俯卧位手术患者的面部情况进行监测和预警，本发明实施例可以更为方便快捷、清晰可靠地观察俯卧位手术患者面部情况，还可以自动检测俯卧位手术患者面部危险情况，从而极大地减小医护人员工作量。

本发明实施例所提供的方法，其实现原理及产生的技术效果和前述系统实施例相同，为简要描述，方法实施例部分未提及之处，可参考前述系统实施例中相应内容。

本发明实施例提供了一种电子设备，具体的，该电子设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。

图5为本发明实施例提供的一种电子设备的结构示意图，该电子设备100包括：处理器50，存储器51，总线52和通信接口53，所述处理器50、通信接口53和存储器51通过总线52连接；处理器50用于执行存储器51中存储的可执行模块，例如计算机程序。

其中，存储器51可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口53(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线52可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器51用于存储程序，所述处理器50在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器50中，或者由处理器50实现。

处理器50可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器50中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器50可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器51，处理器50读取存储器51中的信息，结合其硬件完成上述方法的步骤。

本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。