一种人员摔倒检测方法、装置及电子设备

技术领域

本发明涉及电子领域，具体涉及一种人员摔倒检测方法、装置及电子设备。

背景技术

基于目前研究，居家环境中，老年人或者儿童摔倒是造成老年人或儿童伤害的主要原因之一。若能够及时发现老人或儿童跌落并针对不同情况进行及时处理，能够大幅降低摔倒对老人或者儿童造成的伤害。

相关技术中，通过将监控图像输入至神经网络，得到监控图像中人体关键点，对人体关键点组成的人体姿态与预先存储的人体姿态特征进行匹配，从而判断人体是否摔倒。然而，实际上人体的活动具有多样性，某些姿态特征与摔倒姿态特征较为接近，比如，父母坐在地上陪孩子玩耍时的姿态特征与摔倒姿势特征相似，很有可能被判定为摔倒，导致摔倒检测准确性低。

发明内容

有鉴于此，本发明实施例提供了一种人员摔倒检测方法、装置及电子设备，以解决现有技术中摔倒检测准确性低的缺陷。

根据第一方面，本发明实施例提供一种人员摔倒检测方法，包括如下步骤：获取监控视频图像；将所述监控视频图像输入至预先训练好的神经网络，得到监控视频图像中的人体关键位置特征以及人体运动特征；将所述人体关键位置特征和所述人体运动特征进行融合，将融合后的特征进行分类，判断是否发生摔倒。

可选地，将所述监控图像输入至预先训练好的神经网络，得到监控图像中的人体关键位置特征以及人体运动特征，包括：将所述监控图像输入至预先训练好的Pix2Pose网络，当所述人体被遮挡，得到人体遮挡部分的预测坐标；根据人体遮挡部分的预测坐标，得到监控图像中的人体关键位置特征以及人体运动特征。

可选地，所述人体运动特征包括：在多个视频帧之间的人体质心变化以及人体躯干与水平方向的角度变化。

可选地，在视频帧之间的人体躯干与水平方向的角度变化通过以下公式确定：

其中，θ表示在视频帧之间的人体躯干与水平方向的角度变化，y

可选地，将所述监控图像输入至预先训练好的Pix2Pose网络，当所述人体被遮挡，得到人体遮挡部分的预测坐标，包括：获取所述监控图像中的被遮挡的人体检测框；将所述人体检测框平移，使所述人体检测框的中心与所述被遮挡的人体中心重合，消除背景和不确定像素，得到待检测图像，所述不确定像素根据像素的误差和外点阈值确定；根据待检测图像确定出的预测误差与内点阈值，确定人体遮挡部分的预测坐标。

可选地，当判断发生摔倒，则发出报警。

可选地，所述监控视频图像为红外视频图像。

根据第二方面，本发明实施例提供一种人员摔倒检测装置，包括：视频图像获取模块，用于获取监控视频图像；特征确定模块，用于将所述监控视频图像输入至预先训练好的神经网络，得到监控视频图像中的人体关键位置特征以及人体运动特征；特征融合模块，用于将所述人体关键位置特征和所述人体运动特征进行融合，将融合后的特征进行分类，判断是否发生摔倒。

根据第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面或第一方面任一实施方式所述的人员摔倒检测方法的步骤。

根据第四方面，本发明实施例提供一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现第一方面或第一方面任一实施方式所述的人员摔倒检测方法的步骤。

本发明技术方案，具有如下优点：

本实施例提供的人员摔倒检测方法，通过预先训练好的神经网络对获取到的监控视频图像中人体关键位置特征以及人体运动特征进行提取，根据融合人体关键位置特征和人体运动特征的特征进行分类，能够排除人体姿势与摔倒姿势相似，但运动特征并不相同的人体举动，提高了摔倒检测的准确性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中人员摔倒检测方法的一个具体示例的流程图；

图2为本发明实施例中人员摔倒检测装置的一个具体示例原理框图；

图3为本发明实施例中电子设备的一个具体示例的原理框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本实施例提供一种人员摔倒检测方法，如图1所示，包括如下步骤：

S101，获取监控视频图像；

示例性地，监控视频图像可以是自然光下的监控视频图像，当然为了保护用户的隐私，也可以选择红外光监控视频图像。获取监控视频图像的方式可以是在需要监控的范围安装自然光摄像头或者红外摄像头。本实施例对获取监控视频图像的方式以及监控视频图像的类型不做限定，本领域技术人员可以根据需要确定。

S102，将监控视频图像输入至预先训练好的神经网络，得到监控视频图像中的人体关键位置特征以及人体运动特征；

示例性地，预先训练好的神经网络可以是密集卷积神经网络。通过密集卷积神经网络得到监控视频图像中的人体关键位置特征以及人体运动特征，有效减轻训练过程中梯度消散的问题，同时由于特征被大量复用，因此通过少量卷积核即可生成大量特征，得到较小的模型尺寸，对于模型精细度要求较高的人体姿态判断具有良好的应用性，能够得到更高的分辨率。

密集卷积神经网络采用Pre－activation策略进行单元设计，将BN操作从主支上移到分支之前，(BN->ReLU->1x1Conv->BN->ReLU->3x3Conv)，在每个阶段后进行下采样，通过卷积层将特征维度压缩至当前输入的一半，进行池化操作；采用dense block的设计，使得每个卷积层的输出feature map的数量都很小，每一层都直接连接input与loss，并且与残差网络ResNet不同，输入直接传入输出，非映射关系如下：

x

其中[x

在对密集卷积神经网络进行训练时，可以以COCO数据集作为训练样本，也可以以摄像设备拍摄到的大量图像作为训练样本，进行预训练，得到预训练参数。在生成训练样本时，首先对COCO数据集中的图片或者摄像设备拍摄到的大量图像进行预处理，比如矩阵化以及颜色处理操作。在对样本设置标签时，可以使用LabelImg工具对样本中的的关键位置特征进行标注，生成一一对应的.xml文件，送入密集卷积神经网络进行预训练。

为了实现对更多人体关键位置特征进行提取，可以将人体躯干多个部分视为多任务学习，设定多任务S＝{S

人体运动特征可以由人体在视频帧间的质心高度变化以及人体与水平方向的角度变化确定。人体在视频帧间的质心高度变化可以是将检测出的人体检测框对角线进行连接，提取连接交点，作为人体质心，随着人体由站立逐渐跌倒，质心高度逐渐降低，因此，可以将质心的高度变化作为人体运动特征，另外，为了进一步提高对摔倒检测的准确性，由于摔倒时，质心的变化速率相对于蹲下、坐下的变化速率更高，因此还可以通过人体在每一帧的高度，得到在多个视频帧之间的质心高度变化速率，将质心的高度变化速率作为人体运动特征。确定人体与水平方向的角度变化可以通过以下步骤得到：首先，获取相邻视频帧中同一人体关键位置特征，比如，脚等，建立以脚为原点的坐标系；其次，获取相邻视频帧的另一人体关键位置特征在该坐标系下的坐标，比如，当前视频帧坐标系下头部的坐标；最后，根据相邻两个视频帧的头部坐标，确定人体与地面水平方向的角度变化。

根据相邻两个视频帧的头部坐标，确定人体与地面水平方向的角度变化的方式可以是通过以下公式得到：

其中，θ表示在相邻视频帧的人体躯干与水平方向的角度变化，y

S103，将人体关键位置特征和人体运动特征进行融合，将融合后的特征进行分类，判断是否发生摔倒。

示例性地，将人体关键位置特征和人体运动特征进行融合的方式可以是利用全连接层将人体关键位置特征以及人体运动特征进行特征融合，映射到同一特征空间；将卷积层进行拉伸操作，进入全连接层得到169维的特征向量，经过Sigmoid激活后的人体运动特征得到12维向量，经过一个具有3个节点的全连接神经网络进行特征融合，得到融合特征数据。

将融合后的特征进行分类，判断是否发生摔倒的方式可以是利用随机森林对融合特征数据进行分类，设置N个样本，每个样本存在M个属性，在决策树的每个节点需要分裂时，随机从这M个属性中选取出m个属性，满足条件m＜＜M。然后从这m个属性中基于基尼系数，选择1个属性作为该节点的分裂属性，一直到不能继续分裂位置，按照上述步骤建立较多决策树，构成随机森林，完成分类。

本实施例提供的人员摔倒检测方法，通过预先训练好的神经网络对获取到的监控视频图像中人体关键位置特征以及人体运动特征进行提取，根据融合人体关键位置特征和人体运动特征的特征进行分类，能够排除人体姿势与摔倒姿势相似，但运动特征并不相同的人体举动，提高了摔倒检测的准确性。

作为本实施例一种可选的实施方式，将监控图像输入至预先训练好的神经网络，得到监控图像中的人体关键位置特征以及人体运动特征，包括：将监控图像输入至预先训练好的Pix2Pose网络，当人体被遮挡，得到人体遮挡部分的预测坐标；根据人体遮挡部分的预测坐标，得到监控图像中的人体关键位置特征以及人体运动特征。

示例性地，将监控图像输入至预先训练好的Pix2Pose网络，可以输出目标坐标系中每个像素的归一化三维坐标l3D和每个预测的估计误差l

其中，n表示像素数量，

得到人体遮挡部分的预测坐标具体步骤可以包括：首先，获取监控图像中的被遮挡的人体检测框；其次，将人体检测框平移，使人体检测框的中心与被遮挡的人体中心重合，消除背景和不确定像素，得到待检测图像。预测的坐标图像l3D通过获取非零值像素来指定包括遮挡部分的对象像素，若像素的误差预测大于外点阈值θ

本实施例提供的人员摔倒检测方法，通过将监控图像输入至预先训练好的Pix2Pose网络，当人体被遮挡，得到人体遮挡部分的预测坐标，根据人体遮挡部分的预测坐标得到监控图像中的人体关键位置特征以及人体运动特征以供后续进行摔倒判断，可以在监控环境非常复杂的情况下，即使环境的部分遮挡也能够识别摔倒行为，进一步提高了人员摔倒检测的准确性。

作为本实施例一种可选的实施方式，当判断发生摔倒，则发出报警。

示例性地，发出报警的方式可以以短信或者应用提醒的方式将摔倒信息发送至与之关联的终端设备，比如，以短信的方式发送至家庭成员手机终端或者在相应APP/网页中发出提醒，发出报警的方式还可以是发出声光警报，以及时提醒相关人员进行处理。

本发明实施例提供一种人员摔倒检测装置，如图2所示，包括：

视频图像获取模块201，用于获取监控视频图像；具体内容参见方法实施例对应部分，在此不再赘述。

特征确定模块202，用于将所述监控视频图像输入至预先训练好的神经网络，得到监控视频图像中的人体关键位置特征以及人体运动特征；具体内容参见方法实施例对应部分，在此不再赘述。

特征融合模块203，用于将所述人体关键位置特征和所述人体运动特征进行融合，将融合后的特征进行分类，判断是否发生摔倒。具体内容参见方法实施例对应部分，在此不再赘述。

本实施例提供的人员摔倒检测装置，通过预先训练好的神经网络对获取到的监控视频图像中人体关键位置特征以及人体运动特征进行提取，根据融合人体关键位置特征和人体运动特征的特征进行分类，能够排除人体姿势与摔倒姿势相似，但运动特征并不相同的人体举动，提高了摔倒检测的准确性。

作为本实施例一种可选的实施方式，特征确定模块202，包括：

坐标预测模块，用于将所述监控图像输入至预先训练好的Pix2Pose网络，当所述人体被遮挡，得到人体遮挡部分的预测坐标；具体内容参见方法实施例对应部分，在此不再赘述。

特征确定子模块，用于根据人体遮挡部分的预测坐标，得到监控图像中的人体关键位置特征以及人体运动特征。具体内容参见方法实施例对应部分，在此不再赘述。

作为本实施例一种可选的实施方式，特征融合模块203中包括：质心角度变化提取模块，用于在多个视频帧之间的人体质心变化以及人体躯干与水平方向的角度变化。具体内容参见方法实施例对应部分，在此不再赘述。

作为本实施例一种可选的实施方式，质心角度变化提取模块，包括执行：

其中，θ表示在视频帧之间的人体躯干与水平方向的角度变化，y

作为本实施例一种可选的实施方式，坐标预测模块，包括：

人体检测框获取模块，用于获取所述监控图像中的被遮挡的人体检测框；具体内容参见方法实施例对应部分，在此不再赘述。

待检测图像确定模块，用于将所述人体检测框平移，使所述人体检测框的中心与所述被遮挡的人体中心重合，消除背景和不确定像素，得到待检测图像，所述不确定像素根据像素的误差和外点阈值确定；具体内容参见方法实施例对应部分，在此不再赘述。

坐标预测子模块，用于根据待检测图像确定出的预测误差与内点阈值，确定人体遮挡部分的预测坐标。具体内容参见方法实施例对应部分，在此不再赘述。

作为本实施例一种可选的实施方式，人员摔倒检测装置还包括：报警模块，用于当判断发生摔倒，则发出报警。具体内容参见方法实施例对应部分，在此不再赘述。

作为本实施例一种可选的实施方式，视频图像获取模块201包括红外视频图像获取模块，用于获取红外视频图像。具体内容参见方法实施例对应部分，在此不再赘述。

本申请实施例还提供一种电子设备，如图3所示，处理器310和存储器320，其中处理器310和存储器320可以通过总线或者其他方式连接。

处理器310可以为中央处理器(Central Processing Unit，CPU)。处理器310还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器320作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的人员摔倒检测方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理。

存储器320可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器320可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器320中，当被所述处理器310执行时，执行如图1所示实施例中的人员摔倒检测方法。

上述电子设备的具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例1中人员摔倒检测方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。