踢被子识别方法与装置、电子设备

技术领域

本申请涉及图像识别技术领域，具体涉及一种踢被子识别方法与装置、电子设备。

背景技术

在睡觉时，无论婴儿或普通人都有可能会踢被子，进而导致人体着凉。人体着凉还可能引发打喷嚏、鼻塞不畅、拉肚子等症状。

目前，识别踢被子方法主要是其他未睡觉者(如婴幼儿的监护人)对睡觉者通过肉眼观察的方式判断睡觉者是否踢被子。然而，未睡觉者通常不能长时间集中注意力观察睡觉者，存在难以及时发现睡觉者踢被子的问题。

发明内容

基于此，为了解决或改善现有技术的问题，本申请提供一种踢被子识别方法与装置、电子设备，可以提高发现睡觉者踢被子的速度。

第一方面，提供一种踢被子识别方法，包括：通过摄像头采集用户睡眠图像；采用人头检测模型检测所述图像中的人头；以所述人头为中心截取至少部分所述图像作为检测区域；采用骨骼关键点识别模型对所述检测区域进行识别，获得目标骨骼关键点；测量所述目标骨骼关键点位置的温度，当所述目标骨骼关键点位置的温度处于人体温度范围内时，则判断所述图像中的用户处于睡觉踢被子状态。。

其中的一个实施例中，所述采用人头检测模型检测所述图像中的人头包括：采用VGG卷积网络对所述图像进行卷积处理，获得特征图；对所述特征图中的每个特征点分别设定多个初始检测框，并通过分类器和回归器校正所述初始检测框的位置和尺寸，得到多个校正检测框；计算每个校正检测框的含有人头的概率值，将所述概率值大于预设概率值的校正检测框作为人头框；通过非最大抑制算法对所述人头框进行去重，将去重后的人头框的位置记为所述图像中的人头的位置。

其中的一个实施例中，所述初始检测框的尺寸为

其中，n为所述VGG卷积网络的卷积层数，L

其中的一个实施例中，人头的特征自上而下包括脑盖特征、额头特征、眼睛特征、耳朵特征、鼻子特征、嘴巴特征、下巴特征以及脖子特征；

所述方法还包括以下获取人头的概率值的步骤：

获取脑盖特征的概率值、额头特征的概率值、眼睛特征的概率值、耳朵特征的概率值、鼻子特征的概率值、嘴巴特征的概率值、下巴特征的概率值以及脖子特征的概率值；

对脑盖特征的概率值、额头特征的概率值、眼睛特征的概率值、耳朵特征的概率值、鼻子特征的概率值、嘴巴特征的概率值、下巴特征的概率值以及脖子特征的概率值进行加权求和，将加权求和后的概率值作为所述人头的概率值；其中，脑盖特征的概率值的权值、额头特征的概率值的权值、眼睛特征的概率值的权值、耳朵特征的概率值的权值、鼻子特征的概率值的权值、嘴巴特征的概率值的权值、下巴特征的概率值的权值以及脖子特征的概率值的权值依次减小，且权值和为1。

其中的一个实施例中，所述人头框为正方形人头检测框。

若所述人头框包括多个，所述通过非最大抑制算法对所述人头框进行去重，将去重后的人头框的位置记为所述图像中的人头的位置的步骤包括：获取各个人头框含有人头的概率值并进行排序，将概率值最大的人头框作为所述去重后的人头框。

若所述人头框包括多个，所述通过非最大抑制算法对所述人头框进行去重，将去重后的人头框的位置记为所述图像中的人头的位置的步骤包括：获取各个人头框含有人头的概率值以及含有脑盖的概率值并分别进行排序，将人头的概率值以及含有脑盖的概率值同时为最大的人头框作为所述去重后的人头框。

其中的一个实施例中，采用骨骼关键点识别模型对所述检测区域进行识别，获得目标骨骼关键点包括：采用骨骼关键点识别模型对所述检测区域中人头框内区域进行人头骨骼关键点识别，得到人头骨骼关键点；根据识别到的人头骨骼关键点确定所述检测区域中头部与躯干的位置关系；根据所述头部与躯干的位置关系将所述检测区域划分为第一区域和第二区域，其中，第一区域为用户躯干和用户四肢所在的区域，第二区域为剩余的区域；采用骨骼关键点识别模型对所述第一区域识别，得到目标骨骼关键点；

所述目标骨骼关键点包括位于人体的肩部，腿部、臂部、手部、脚部中的至少一个部位上的骨骼关键点；所述当所述目标骨骼关键点位置的温度处于人体温度范围内时，则判断所述图像中的用户处于睡觉踢被子状态的步骤包括：当所述目标骨骼关键点至少包括用户脚部的骨骼关键点时判断所述图像中的用户处于睡觉踢被子状态。。

其中的一个实施例中，所述测量所述目标骨骼关键点位置的温度包括：通过红外测温装置采集用户睡眠时的红外温度数据矩阵；建立所述图像中各个像素点与所述红外温度数据矩阵中各个温度数据的映射关系；根据所述映射关系，获得红外温度数据矩阵中对应于所述目标骨骼关键点的位置的温度，得到所述目标骨骼关键点位置的温度。

其中的一个实施例中，所述目标骨骼关键点包括位于人体的肩部，腿部、臂部、手部、脚部中的至少一个部位上的骨骼关键点。

其中的一个实施例中，所述图像为红外图像、可见光图像中的至少一种。

第二方面，提供一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述的踢被子识别方法的步骤。

第三方面，提供一种踢被子识别装置，包括摄像头、测温装置、图像处理芯片、主控板以及报警装置；所述摄像头与所述图像处理芯片连接，所述图像处理芯片与所述主控板连接，所述主控板与所述测温装置连接以及报警装置分别连接；

所述摄像头用于采集用户睡眠图像；所述图像处理芯片用于采用人头检测模型检测所述图像中的人头，并以所述人头为中心截取部分所述图像作为检测区域，采用骨骼关键点识别模型对所述检测区域进行识别，获得目标骨骼关键点；所述测温装置用于测量所述目标骨骼关键点位置的温度；所述主控板用于当所述目标骨骼关键点位置的温度为预设温度值时判断所述图像中的人睡觉踢被子，并用于在判定踢被子状态时控制报警装置进行报警。

其中的一个实施例中，所述踢被子识别装置还包括感光探测器；所述摄像头包括红外摄像头和可见光摄像头；

所述感光探测器与所述主控板连接，所述主控板与所述红外摄像头和所述可见光摄像头分别连接；

所述感光探测器用于检测感知范围内的可见光线强度并输出光线强度信号；所述主控板还用于响应可见光线强度信号中光线强度低于预设光线强度时输出第五控制信号和第六控制信号；所述红外摄像头用于响应所述第五控制信号进行启动；所述可见光摄像头用于响应第六控制信号进行关闭。

上述踢被子识别方法，通过采用人头检测模型检测所述图像中的人头，采用骨骼关键点识别模型对所述图像进行识别，获得目标骨骼关键点，并测量所述目标骨骼关键点位置的温度，通过比较目标骨骼关键点位置的温度与预设温度值的尺寸，实现当目标骨骼关键点位置的温度小于预设温度值时识别睡觉者处于踢被子状态，达到实时监控睡觉者是否踢被子的目的，从而提高发现睡觉者踢被子的速度。而且，通过在识别到目标骨骼关键点后增加了对目标骨骼关键点的位置进行测温的过程，能够减少在对盖有较薄被子的睡觉者的图像识别时也能识别到目标骨骼关键点而被错误识别为未盖被子状态的问题，从而提高识别准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。应当理解的是，下面描述中的附图仅仅用以解释本申请，并不用于限定本申请。

图1是本申请一实施例的电子设备的内部结构示意图；

图2是本申请一实施例的踢被子识别方法流程示意图；

图3是本申请一实施例的踢被子识别方法中采用人头检测模型检测所述图像中的人头的流程示意图；

图4是本申请一实施例的踢被子识别方法中骨骼关键点在人体上的分布示意图；

图5是本申请一实施例的踢被子识别装置的结构示意图；

图6是本申请一实施例的踢被子识别装置应用场景示意图；

图7为本申请一实施例的踢被子识别装置的连接关系示意图；

图8为本申请一实施例的踢被子识别装置的红外摄像头的结构示意图；

图9为本申请一实施例的踢被子识别装置的多个红外摄像头的应用场景示意图；

图10为本申请一实施例踢被子识别装置的连接关系示。

具体实施方式

下面结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而非全部实施例。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中电子设备的内部结构示意图。如图1所示，该终端包括通过系统总线连接的处理器、存储器和网络接口。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于电子设备的无线网络通信方法。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种踢被子识别方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等，用于与外部的电子设备进行通信。

其中的踢被子识别方法，请参阅图2，包括步骤10至步骤50。

步骤100、通过摄像头采集用户睡眠图像；

步骤200、采用人头检测模型检测所述图像中的人头；

步骤300、以所述人头为中心截取至少部分所述图像作为检测区域；

步骤400、采用骨骼关键点识别模型对所述检测区域进行识别，获得目标骨骼关键点；

步骤500、测量所述目标骨骼关键点位置的温度，当所述目标骨骼关键点位置的温度处于人体温度范围内时，则判断所述图像中的用户处于睡觉踢被子状态

上述踢被子识别方法能够对踢被子进行实时检测，有利于及时发现睡觉者踢被子。具体地，通过人头检测模型检测图像中的人头，采用骨骼关键点识别模型对图像进行识别，获得目标骨骼关键点，并测量目标骨骼关键点位置的温度，通过比较目标骨骼关键点位置的温度与预设温度值的尺寸，实现当目标骨骼关键点位置的温度小于预设温度值时识别睡觉者处于踢被子状态，达到实时监控睡觉者是否踢被子的目的，从而提高发现睡觉者踢被子的速度。

上述踢被子识别方法有利于减少识别目标骨骼关键点所需时间。具体地，在采用骨骼关键点识别模型识别图像中的目标关键点时，并非是对整个图像处理，而仅是以人头为中心截取部分图像作为检测区域，有利于减少处理图像的尺寸，从而减少识别目标骨骼关键点所需时间。

上述踢被子识别方法可以提高踢被子识别准确率。具体地，通常人脸识别模型难以识别人面部背向摄像头所拍摄的图像中的人头，即人脸识别模型难以对人头后脑(人头背面)图像进行有效识别，造成漏识别的问题。本实施例并非对图像进行人脸识别，而是通过人头检测模型检测图像中的人头，有利于识别到人头后脑(人头背面)图像，有利于提高踢被子识别准确率。

上述踢被子识别方法有利于减少错误识别的情况。具体地，对于盖有较薄被子的睡觉者，由于被子较薄容易在图像中出现人形，导致在图像识别时容易识别到图像中的目标骨骼关键点，而错误判断为睡觉者踢被子。基于此，本申请实施例通过在识别到目标骨骼关键点后增加了对目标骨骼关键点的位置进行测温的过程，能够减少在图像识别时对盖有较薄被子的睡觉者也能识别到目标骨骼关键点而被错误识别为未盖被子状态的问题。

人头检测模型是用于识别摄像头拍摄的图像中的人头，并确定人头在图像中的位置。具体地，人头检测模型是一种深度学习神经网络模型，通过对深度学习神经网络模型进行训练，得到基于人头检测的深度学习神经网络模型，即人头检测模型。

可见，人头检测模型是检测图像中的人头而非人脸识别，从而有利于即使摄像头对睡觉时面部朝下的睡觉者拍摄得到人头后脑图像，通过人头检测模型也能够检测出图像中的人头，提高识别准确率。

请参阅图3，其中的一个实施例中，采用人头检测模型检测图像中的人头包括：

步骤201、采用VGG卷积网络对图像进行卷积处理，获得特征图；

步骤202、对特征图中的每个特征点分别设定多个初始检测框，并通过分类器和回归器校正初始检测框的位置和尺寸，得到多个校正检测框；

步骤203、计算每个校正检测框的含有人头的概率值，将概率值大于预设概率值的校正检测框作为人头框；

步骤204、通过非最大抑制算法对人头框进行去重，将去重后的人头框的位置记为图像中的人头的位置。

本实施例是一种利用神经网络算法从图像中获取图像中的人头的位置。具体是利用VGG卷积网络提取图像特征，通过分类器和回归器校正初始检测框的位置和尺寸，将概率值大于预设概率值以及去重后校正检测框作为人头框，具有识别效果好、运算速度快的特点。

步骤201中，VGG卷积网络是一种卷积神经网络，用于提取图像特征。VGG卷积网络可分为VGG16卷积网络和VGG19卷积网络，其中，VGG16卷积网络包含了16个隐藏层，VGG19卷积网络包含了19个隐藏层。

步骤202中，分类器是用于初始检测框进行分类，例如，根据初始检测框中是否包含有人头进行分类。具体地，特征图中的每个特征点都有多个初始检测框，每个初始检测框都有两个可能的标签(含有人头，不含人头)。分类器采用logit提供给softmax/logistic回归激活函数，实现预测检测框的标签，如可以将检测框分为含有人头的检测框和不含有人头的检测框。

回归器是对初始检测框进行平移和缩放实现初始检测框的边框回归。具体是通过回归器寻找一种关系使得输入初始检测框经过映射得到一个跟真实人头框更接近得分高的校正检测框。

步骤203是进一步对校正检测框进行筛选，减少含有人头的概率值较低的校正检测框。可选地，预设概率值可以为30％～70％。

步骤204是去重叠的处理。通常步骤203得到的人头框可能会存在图像的同一人头上重叠多个。利用通过非最大抑制算法对重叠的人头框进行去重，使一个人头对应一个人头框。

其中的一个实施例中，初始检测框的尺寸为

其中，n为VGG卷积网络的卷积层数，L

本实施例中初始检测框的尺寸S可以理解为初始检测框在图像中覆盖的像素点的数量。在卷积神经网络中，感受野(Receptive Field)是指特征图上的某个点能看到的输入图像的区域，即特征图上的点是由输入图像中感受野尺寸区域的计算得到的。感受野的值越大表示其能接触到的原始图像范围就越大。

VGG中需要通过卷积核依次与不同位置的图像块做卷积，得到相应输出。一般地，VGG卷积网络各层都用3作为卷积核尺寸，也即是f

预设调节系数用于在VGG卷积网络的卷积层数不变的情况下调节初始检测框的尺寸，具体可以根据实际应用中人头在图像中的所占区域尺寸确定。

在对人头检测模型训练过程中发现，合理设置初始检测框的尺寸能够有效提高人头检测模型的检测速度。举例来说，VGG16得到的特征图像中每个特征点的感受野的尺寸往往大于图像中人头的尺寸，因此需要寻找一个小于特征点的感受野尺寸的人头框。

通过将初始检测框的尺寸S与VGG卷积网络的卷积层数n的平方成反比，与VGG卷积网络中第n-1层对应的感受野尺寸呈正比，有利于获得合适尺寸的初始检测框，提高检测速度。具体地，随着VGG卷积网络的卷积层数的增加，特征图对应的感受野也会增加会导致初始检测框的尺寸变大会增加校正所用的时间。基于此，初始检测框的尺寸S与卷积网络的卷积层数n呈反比可以抑制初始检测框的尺寸S随VGG卷积网络的卷积层数n而变大，特别地，初始检测框的尺寸S与卷积网络的卷积层数n的平方呈反比，在人头检测速度具有较佳的表现。

其中的一个实施例中，人头的特征自上而下包括脑盖特征、额头特征、眼睛特征、耳朵特征、鼻子特征、嘴巴特征、下巴特征以及脖子特征；

所述方法还包括以下获取人头的概率值的步骤：

获取脑盖特征的概率值、额头特征的概率值、眼睛特征的概率值、耳朵特征的概率值、鼻子特征的概率值、嘴巴特征的概率值、下巴特征的概率值以及脖子特征的概率值；

对脑盖特征的概率值、额头特征的概率值、眼睛特征的概率值、耳朵特征的概率值、鼻子特征的概率值、嘴巴特征的概率值、下巴特征的概率值以及脖子特征的概率值进行加权求和，将加权求和后的概率值作为所述人头的概率值；其中，脑盖特征的概率值的权值、额头特征的概率值的权值、眼睛特征的概率值的权值、耳朵特征的概率值的权值、鼻子特征的概率值的权值、嘴巴特征的概率值的权值、下巴特征的概率值的权值以及脖子特征的概率值的权值依次减小，且权值和为1。

举例地，对于脑盖特征的概率值、额头特征的概率值、眼睛特征的概率值、耳朵特征的概率值、鼻子特征的概率值、嘴巴特征的概率值、下巴特征的概率值以及脖子特征的概率值，拍到了就是1，没拍到概率就是0。

在一些实施例中，对于有头发的用户，脑盖可以用头发来表征。对于光头用户，脑盖可以通过检测是否符合脑盖形状来表征。

其中的一个实施例中，所述人头框为正方形人头检测框。若所述人头框包括多个，所述通过非最大抑制算法对所述人头框进行去重，将去重后的人头框的位置记为所述图像中的人头的位置的步骤包括：获取各个人头框含有人头的概率值并进行排序，将概率值最大的人头框作为所述去重后的人头框。

若所述人头框包括多个，所述通过非最大抑制算法对所述人头框进行去重，将去重后的人头框的位置记为所述图像中的人头的位置的步骤包括：获取各个人头框含有人头的概率值以及含有脑盖的概率值并分别进行排序，将人头的概率值以及含有脑盖的概率值同时为最大的人头框作为所述去重后的人头框。

其中的一个实施例中，基于图像中人头的宽度和高度相差不多，可选地，初始检测框为正方形检测框，可以减少校正次数，有利于快速获得校正后的检测框。

其中的一个实施例中，检测区域的尺寸为人头框的尺寸的5-20倍，减少人头框过大或过小导致校正时间增加的问题。

步骤30的目的是获得检测区域，其中检测区域的尺寸小于图像的尺寸，也即是在骨骼关键点识别过程中无需对整个图像进行骨骼关键点检测，可以减少骨骼关键点识别所需要的时间。

其中，检测区域是图像一部分，其目的是提取出图像中人体所在区域的图像以用于进行骨骼关键点检测。具体地，检测区域是以人头为中心截取部分图像作为检测区域，有利于使检测区域覆盖人头以及人体的其他部位所在的区域。可选地，检测区域为圆形区域或矩形区域，其中圆形区域的半径可以为图像中人头长度的7-15倍，矩形区域的边长可以为图像中人头长度的14-30倍

其中的一个实施例中，采用骨骼关键点识别模型对检测区域进行识别，获得目标骨骼关键点包括步骤401至步骤404。

步骤401、采用骨骼关键点识别模型对检测区域中人头框内区域进行人头骨骼关键点识别，得到人头骨骼关键点；

步骤402、根据识别到的人头骨骼关键点确定检测区域中头部与躯干的位置关系；

步骤403、根据头部与躯干的位置关系将检测区域划分为第一区域和第二区域，其中，第一区域为用户躯干和用户四肢所在的区域，第二区域为剩余的区域；

步骤404、采用骨骼关键点识别模型从第一区域识别，得到目标骨骼关键点。

请参阅图4，人体骨骼关键点1031是人体姿态识别中的术语，具体是在对人体位姿识别时通常在人体103的骨骼关节处人为设置的一系列关键点，通过多个骨骼关键点1031的位置变化确定人体103的位姿。骨骼关键点识别模型是一种深度学习神经网络模型，能够检测人体的一些骨骼关键点1031，如关节，五官等，通过骨骼关键点1031描述人体骨骼信息。

步骤401是对人头骨骼关键点进行识别，步骤402是通过获得头部中骨骼关键点的位置，进而判断除人头部之外的人身体其他部位(即躯干和四肢)与人头部的相对位置关系。举例地，通过骨骼关键点识别模型识别出人头部的下巴和鼻子处的骨骼关键点，按照鼻子、下巴、躯干由上到下排列的顺序从而可以判断出躯干在检测区域中的范围。

步骤403继续缩小进行目标骨骼关键识别的范围，具体是将躯干和四肢所在的第一区域从检测区域提取出来。根据头部与躯干的位置关系将检测区域划分为第一区域和第二区域，其中，第一区域为躯干和四肢所在的区域。举例地，通过垂直于鼻子骨骼关键点和下巴的骨骼关键点连线的直线将检测区域对半分开，其中第一区域即为从鼻子骨骼关键点和下巴的骨骼关键点指向的区域。

步骤404通过骨骼关键点识别模型处理第一区域，从而获取目标骨骼关键点。本申请所描述的目标骨骼关键点是一些特定的人体骨骼关键，具体可以认为人在睡觉未踢被子时被被子所覆盖的一个或多个人体骨骼关键点，是骨骼关键点识别模型从图像识别的目标。

本实施例通过将检测区域划分为第一区域和第二区域，再通过骨骼关键模型对第一区域进行识别，减少了骨骼关键点识别模型识别的区域尺寸，从而有利于提高目标骨骼关键点识别的速度。

目标骨骼关键点包括位于人体的肩部，腿部、臂部、手部、脚部中的至少一个部位上的骨骼关键点；当目标骨骼关键点位置的温度处于人体温度范围内时，则判断图像中的用户处于睡觉踢被子状态的步骤包括：当目标骨骼关键点至少包括用户脚部的骨骼关键点时判断图像中的用户处于睡觉踢被子状态。

步骤50是在识别得到目标骨骼关键点后，对目标骨骼关键点位置测量温度。通过目标关键点的温度是否满足预设温度值从而判断图像中的用户踢被子。

其中的一个实施例中，测量目标骨骼关键点位置的温度包括步骤501至步骤503。

步骤501、通过红外测温设备采集用户睡眠时的红外温度数据矩阵；

步骤502、建立图像各个像素点与红外温度数据矩阵中各个温度的映射关系；

步骤503、根据映射关系，获得红外温度数据矩阵中对应于目标骨骼关键点的位置的温度，得到目标骨骼关键点位置的温度。

步骤501是通过红外测温设备获取感知范围内各个位置的红外温度，将测量得到的红外温度形成红外温度数据矩阵。其中红外测温设备可以是红外热成像仪。

步骤502中的映射关系是图像中各个像素点与红外温度数据矩阵中各个温度的对应关系，从而实现通过图像中各个像素点的位置在红外温度数据矩阵中获得与该像素点位置对应的温度。

步骤503根据映射关系，获得红外温度数据矩阵中对应于目标骨骼关键点的位置的温度。例如，通过脚部关键点在图像中位置，从而在红外温度矩阵中获得相应脚部关键点的温度。

其中的一个实施例中，目标骨骼关键点包括位于人体的肩部，腿部、臂部、手部、脚部中的至少一个部位上的骨骼关键点。目标骨骼关键点具体在人体的位置可以根据需要进行设定，举例地，目标骨骼关键点可以包括位于肩部，腿部、臂部、手部、脚部位置的骨骼关键点中的至少一个，目标骨骼关键点可以包括也可以不包括头部关键点(睡觉时头部一般都未被被子盖住)。

其中的一个实施例中，图像为红外图像、可见光图像中的至少一种。红外图像通过红外摄像头进行拍摄获取，可见光图像通过可见光摄像头拍摄获取。在一个应用场景中，在晚上用户睡眠时的环境往往光线比较暗，即可见光线比较弱，因此可见光摄像头难以满足要求，此时可以采用红外摄像头拍摄相应的红外图像。人头检测模型可以细分为红外图像人头检测模型和可见光图像检测模型，骨骼关键点识别模型也可分为红外图像骨骼关键点识别模型和可见光骨骼关键点识别模型，分别用于处理红外图像和可见光图像。其中，红外图像人头检测模型和可见光图像检测模型是分别采用红外图像和可见光图像进行训练后得到的模型，红外图像骨骼关键点识别模型和可见光骨骼关键点识别模型分别采用红外图像和可见光图像进行训练后得到的模型。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

还提出一种电子设备，包括存储器及处理器，存储器中储存有计算机程序，计算机程序被处理器执行时，使得处理器执行如上任一实施例中的客流量分析方法的步骤。其中描述的电子设备可以包括诸如手机、平板电脑、导航装置、可穿戴设备、智能手环、计步器等移动终端。

后续描述中将以移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本申请的实施方式的构造也能够应用于固定类型的终端。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

还提出一个或多个存储有计算机可读指令的非易失性可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上任一实施例中的客流量分析方法的步骤。

请参阅图5，还提出一种踢被子识别装置，包括摄像头601、测温装置602、主控板604、图像处理芯片603、报警装置605；

摄像头601与图像处理芯片603连接，图像处理芯片603与主控板604连接，主控板604与测温装置602连接以及报警装置605分别连接；

摄像头601用于采集用户睡眠图像；所述摄像头用于采集用户睡眠图像；所述图像处理芯片603用于采用人头检测模型检测所述图像中的人头，并以所述人头为中心截取部分所述图像作为检测区域，采用骨骼关键点识别模型对所述检测区域进行识别，获得目标骨骼关键点；所述测温装置602用于测量所述目标骨骼关键点位置的温度；所述主控板604用于当所述目标骨骼关键点位置的温度为预设温度值时判断所述图像中的人睡觉踢被子，并用于在判定踢被子状态时控制报警装置605进行报警。

上述踢被子识别装置能够对踢被子进行实时检测，有利于及时发现睡觉者踢被子。具体地，通过人头检测模型检测图像中的人头，采用骨骼关键点识别模型对图像进行识别，获得目标骨骼关键点，并测量目标骨骼关键点位置的温度，通过比较目标骨骼关键点位置的温度与预设温度值的尺寸，实现当目标骨骼关键点位置的温度小于预设温度值时识别睡觉者处于踢被子状态，达到实时监控睡觉者是否踢被子的目的，从而提高发现睡觉者踢被子的速度。

上述踢被子识别装置有利于减少识别目标骨骼关键点所需时间。具体地，在采用骨骼关键点识别模型识别图像中的目标关键点时，并非是对整个图像处理，而仅是以人头为中心截取部分图像作为检测区域，有利于减少处理图像的尺寸，从而减少识别目标骨骼关键点所需时间。

上述踢被子识别装置可以提高踢被子识别准确率。具体地，通常人脸识别模型难以识别人面部背向摄像头所拍摄的图像中的人头，即人脸识别模型难以对人头后脑(人头背面)图像进行有效识别，造成漏识别的问题。本实施例并非对图像进行人脸识别，而是通过人头检测模型检测图像中的人头，有利于识别到人头后脑(人头背面)图像，有利于提高踢被子识别准确率。

上述踢被子识别装置有利于减少错误识别的情况。具体地，对于盖有较薄被子的睡觉者，由于被子较薄容易在图像中出现人形，导致在图像识别时容易识别到图像中的目标骨骼关键点，而错误判断为睡觉者踢被子。基于此，本申请实施例通过在识别到目标骨骼关键点后增加了对目标骨骼关键点的位置进行测温的过程，能够减少在图像识别时对盖有较薄被子的睡觉者也能识别到目标骨骼关键点而被错误识别为未盖被子状态的问题。

其中，测温装置602用于采集感知范围内的温度信息并输出温度数据矩阵；主控板604用于从温度数据矩阵中获得目标骨骼关键点位置的温度，当目标骨骼关键点位置的温度为预设温度值时判断图像中的用户踢被子，控制报警装置605进行报警。

请参阅图6，在踢被子识别装置的一个应用场景中，通过摄像头601和测温装置602对睡在床101上的睡觉者103进行拍摄图像和测温。当睡觉者103未踢被子102，且被子102厚度较厚时，骨骼关键点识别模型难以从图像检测出覆盖于被子102下的目标骨骼关键点，即可识别为睡觉者103未踢被子102；当睡觉者103未踢被子102，且被子102厚度较薄时，骨骼关键点识别模型可能会错误从红外图像或可见光图像检测出覆盖于被子102下的目标骨骼关键点，此时，通过检测目标骨骼关键点的温度，并与预设温度值比较确定睡觉者103是否踢被子102。可以理解的是，人体的体温一般在35.5-37.5℃之间，当睡觉者103盖上被子后，即使骨骼关键模型检测到位于被子下方的目标骨骼关键点，在测温装置的目标骨骼关键点的温度进行测量时会被被子102阻挡，而实际上是对目标骨骼关键点对应被子的位置进行测温，得到的温度为被子的温度，被子的温度要小于预设温度值(如35.5℃)，即可判断睡觉者103未踢被子102；若当睡觉者103踢被子后，骨骼关键模型能够检测出目标骨骼关键点，且对目标骨骼关键点对应被子的位置进行测得的温度满足预设温度值，即可判定睡觉者103踢被子102。

关于踢被子识别装置的具体限定可以参见上文中对于踢被子识别方法的限定，在此不再赘述。上述踢被子识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本申请还提供了一种踢被子识别装置，可以实时监控睡觉者是否踢被子，从而及时发现睡觉者踢被子的效果。具体地，请参阅图7，踢被子识别装置包括：红外摄像头11、可见光摄像头12、测温装置13、图像处理芯片14、主控板15、报警装置16；红外摄像头11与图像处理芯片14连接，可见光摄像头12与图像处理芯片14连接，测温装置13与主控板15连接，图像处理芯片14与主控板15连接，主控板15与报警装置16连接；红外摄像头11用于采集感知范围内的图像信息并输出红外图像；可见光摄像头12用于采集感知范围内的图像信息并输出可见光图像；测温装置13用于采集感知范围内的温度信息并输出温度信号；图像处理芯片14用于识别到红外图像和/或可见光图像中的预设目标骨骼关键点时，输出识别信号；主控板15用于响应识别信号输出第一控制信号；测温装置13用于响应第一控制信号测量预设目标骨骼关键点位置的温度并输出温度信号；主控板15还用于响应温度信号中的温度为预设温度值时，输出第二控制信号；报警装置16用于响应第二控制信号进行报警；其中，预设目标骨骼关键点包括位于人体的肩部，腿部、臂部、手部、脚部中的至少一个部位上的骨骼关键点。

本实施例的踢被子识别装置是通过红外摄像头11和可见光摄像头12分别获取红外图像和可见光图像，图像处理芯片14识别出红外图像和可见光图像中的预设目标骨骼关键点，再通过测温装置13检测预设目标骨骼关键点位置处的温度，通过比较预设目标骨骼关键点位置的温度和预设温度值的大小，实现当预设目标骨骼关键点的温度小于预设温度值时识别睡觉者踢被子，从而实时监控睡觉者是否踢被子，可以提高发现睡觉者踢被子的速度。

对于盖有较薄被子的睡觉者，由于被子较薄容易在红外图像中和可见光图像中出现人形，在图像识别时容易识别到红外图像中和可见光图像中的预设目标骨骼关键点。基于此，本申请实施例通过在识别到预设目标骨骼关键点后增加了对预设目标骨骼关键点的位置进行测温的过程，能够减少在图像识别时对盖有较薄被子的睡觉者也能识别到预设目标骨骼关键点而被错误识别为未盖被子状态的问题，提高识别准确率。

请参阅图9，在本申请踢被子识别装置的一个应用场景中，踢被子识别装置可以安装在卧室内部，例如卧室的墙壁上或者床101上，其中红外摄像头11、可见光摄像头12、测温装置13均朝向床101所在的位置，分别用于采集睡觉者103的红外图像、可见光图像、睡觉者骨骼关键点的温度。当睡觉者103未踢被子102，且被子102厚度较厚时，图像处理芯片14难以从红外图像或可见光图像检测出覆盖于被子102下的预设目标骨骼关键点，即可识别为睡觉者103未踢被子102；当睡觉者103未踢被子102，且被子102厚度较薄时，图像处理芯片14可能会错误从红外图像或可见光图像检测出覆盖于被子102下的预设目标骨骼关键点，再通过测温装置13检测预设目标骨骼关键点的温度，通过与预设温度值比较确定睡觉者103是否踢被子102。可以理解的是，人体的体温一般在35.5-37.5℃之间，当睡觉者103盖上被子后，即使图像处理芯片14检测到位于被子下方的预设目标骨骼关键点，测温装置对预设目标骨骼关键点的温度进行测量时会被被子102阻挡，而实际上是对预设目标骨骼关键点对应被子的位置进行测温，得到的温度为被子的温度，被子的温度要小于预设温度值(如35.5℃)，即可判断睡觉者103未踢被子102；若当睡觉者103踢被子后，图像处理芯片14能够检测出预设目标骨骼关键点，且对预设目标骨骼关键点对应被子的位置进行测得的温度满足预设温度值，即可判定睡觉者103踢被子102。

其中，图像处理芯片14是能够根据图像处理算法对图像进行识别的芯片。图像处理算法可以是本领域惯用的基于神经网络的人体关键点算法，可以获取预设目标骨骼关键点。具体地，图像处理芯片14可以是一种神经元芯片。

请参阅图4，人体骨骼关键点1031是人体姿态识别中的术语，具体是在对人体位姿识别时通常在人体103的骨骼关节处人为设置的一系列关键点，通过多个关键点的位置变化确定人体103的位姿。本申请所描述的预设目标骨骼关键点是一些特定的人体骨骼关键，具体可以认为人在睡觉时被被子所覆盖的一个或多个人体骨骼关键点，是图像处理芯片14从红外图像或可见光图像识别的目标。预设目标骨骼关键点具体在人体的位置可以根据需要进行设定，举例地，预设目标骨骼关键点可以包括位于肩部，腿部、臂部、手部、脚部位置的骨骼关键点中的至少一个，预设目标骨骼关键点可以包括也可以不包括头部关键点(睡觉时头部一般都未被被子盖住)。

主控板15是一种能起到控制作用的电路板。主控板15上具有处理器，能够进行信号处理并输出多种控制信号，实现对踢被子识别装置内部的电子元件进行控制。

测温装置13是一种能够检测人体体温的装置，具体可以是红外测温装置13，例如红外测温仪。通过测温装置13能够对预设目标骨骼关键点进行测温，并后去预设目标骨骼关键点的温度。实现时，图像处理芯片14从红外图像或可见光图像中获取人体骨骼关键的位置信息，主控板15根据人体骨骼关键的位置信息控制测温装置13获取相关预设目标骨骼关键点位置的温度。

测温装置13具体为红外测温仪，且与红外摄像头11或可见光摄像头12的朝向相同(朝向平行)，可实现测温装置13与红外摄像头11或可见光摄像头12的感知范围相同，有利于获取人体关键点的温度。可选地，将红外摄像头11与可见光摄像头12集成为双目摄像头，其中，红外摄像头11有利于拍摄光线较暗的环境的图片，可见光摄像头12在拍摄可见光环境下的图片具有优势。

请参阅图8，为调节红外摄像头11的朝向，其中的一个实施例中，红外摄像头11包括底座112、镜头111；其中，底座112与镜头111活动连接。摄像头的底座112可以固定在卧室内部，镜头111可以相对底座112活动(如转动)，有利于用户根据床的位置调整镜头111的朝向。

为实现红外摄像头的镜头111朝向的自动化调整，其中的一个实施例中，请参阅图8，红外摄像头11还包括电机113，固定设置在底座112上，且电机113的转轴上固定设置镜头111，电机113与主控板15连接；主控板15还用于输出控制电机113转动的第三控制信号；电机113用于响应第三控制信号进行转动。可见，通过主控板15输出第三控制信号，控制电机113进行转动，从而带动电机113转轴上的镜头111进行转动，实现红外摄像头的镜头111朝向的自动化调整。

在一些场景中，一个红外摄像头11的拍摄范围有限，而床的尺寸较大，通过一个红外摄像头11仅能拍摄到床的局部图像，需要增加红外摄像头11的拍摄范围。其中的一个实施例中，红外摄像头11的数量为多个。通过多个摄像头分别拍摄床的不同位置，达到对床的多个位置进行实时监控的效果。

请参阅图9，进一步地，任意两个红外摄像头的镜头111方向形成开口朝向目标位置的夹角小于180°。其中，目标位置是用户监控的区域，通常为床所在的位置。任意两个红外摄像头11的镜头方向形成夹角，该夹角的开口朝向可以理解角平分线的方向，且该夹角的开口朝向目标位置可以理解为夹角的平分线靠近目标位置。具体地，红外摄像头11包括第一红外摄像头1111和第二红外摄像头1112，第一红外摄像头1111朝向所在直线L

请参阅图10，为便于用户端与踢被子识别装置进行信息交互，其中的一个实施例中，踢被子识别装置还包括通信模块17，与主控板15连接，以及用于与用户终端建立连接；用户终端用于通过通信模块17传输转动信号至主控板15；主控板15用于响应转动信号输出第三控制信号。可见，用户能够通过通信模块17发送相关指令，例如发送摄像头转动信号，使主控板15响应转动信号输出第三控制信号，实现电机113响应第三控制信号进行转动的目的。可选地，通信模块17可以为蓝牙模或NB-IoT模块。

基于红外摄像头11有利于拍摄光线较暗的环境的图片，可见光摄像头12在拍摄可见光环境下的图片具有优势，在一些场景中，用户为节省电能，需要在光线较暗时仅开启红外摄像头11，关闭可见光摄像头12；而在可见光条件下，仅开启可见光摄像头12，关闭红外摄像头11。

请参阅图10，其中的一个实施例中，踢被子识别装置还包括感光探测器18；感光探测器18与主控板15连接，主控板15与红外摄像头11和可见光摄像头12分别连接；感光探测器18用于检测感知范围内的可见光线强度并输出光线强度信号；主控板15还用于响应可见光线强度信号中光线强度低于预设光线强度时输出第五控制信号和第六控制信号；红外摄像头11用于响应第五控制信号进行启动；可见光摄像头12用于响应第六控制信号进行关闭。

可见，通过感光探测器18检测可见光线的强弱输出光线强度信号，在可见光线较弱时主控板15输出第五信号开启红外摄像头11，以及主控板15输出第六信号关闭可见光摄像头12，减少红外摄像头11和可见光摄像头12同时开启耗能较大的问题。此外，主控板15还用于响应可见光线强度信号中光线强度大于或等于预设光线强度时输出第七控制信号和第八控制信号；红外摄像头11用于响应第七控制信号进行关闭；可见光摄像头12用于响应第八控制信号进行启动。

在一些场景中，踢被子识别装置的开启与关闭，通常与用户的作息有关，例如用户通常在晚上十点到早上七点睡觉以及中午一点到中午两点午睡，需要踢被子识别装置在晚上十点和中午一点开启，在早上七点和中午两点关闭。

请参阅图10，其中的一个实施例中，踢被子识别装置还包括可充电电池20、驱动电路21、定时器19；充电电池与驱动电路21连接，驱动电路21与定时器19连接，驱动电路21与主控板15连接；可充电电池20用于为驱动电路21提供电能；定时器19用于在设定的时刻输出高电平信号(时间信号)；驱动电路21用于在电路导通状态下使主控板15通电，以及响应高电平信号由电路截止状态转为电路导通状态。可见，通过定时器19在设定的时间输出高电平信号，使驱动电路21导通，实现为主控板15供电，达到定时开启与关闭踢被子识别装置的目的。

具体地，第二驱动电路21包含有MOS管，分别与电池、定时器19、主控板15连接。在实现时，定时器19输出高电平信号，MOS管响应高电平信号处于导通状态，MOS管导通状态下为主控板15供电，使踢被子装置运行；MOS管响应低电平信号处于截止状态。具体地，MOS管可以为NMOS管。

请参阅图10，其中的一个实施例中，警报装置包括：警报指示灯、声音警报器中的至少一种。具体地，在用户踢被子时，警报指示灯可以通过亮起提示用户；声音警报器可以通过发出声音提示用户。

请参阅图10，其中的一个实施例中，通过设置显示器22显示红外摄像头11和可见光摄像头12拍摄的红外图像和可见光图像，方便监控人员观察睡觉者的情况，具体地，踢被子识别装置还包括显示器22，与红外摄像头11、可见光摄像头12分别连接；显示器22用于显示红外图像和可见光图像。显示器22可以设置在便于监控人员观察的位置，监控人员能够通过显示器22显示的红外图像和可见光图像，监控睡觉者的情况。以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。