基于深度学习的人体跌倒检测方法、装置及系统

技术领域

本申请涉及跌倒检测技术领域，尤其涉及一种基于深度学习的人体跌倒检测方法、装置及系统。

背景技术

随着我国老龄化问题日益严重，跌倒在老年人群体中十分常见，对于年轻人来说，摔倒是一件拍拍屁股爬起来的小事；但对于老年人来说，危险不亚于心脏病和中风发作。年龄越大，发生跌倒的可能性也就越大，而且多数老年人都会有骨质疏松、骨质变脆的现象，跌倒对于他们来说可能产生很严重的后果。

目前现有的跌倒检测设备可分为穿戴式和非穿戴式，可穿戴式装置一般采用加速度计或重力传感器。其通常放置在身体手腕、颈部等单一位置，通过对传感器的输出信号进行处理后再判断用户是否跌倒。虽然其检测精准度高，但由于使用的多数人员为年龄大的老人，其记忆力衰退较为明显，很容易发生忘记佩戴的情况，导致设备无法时刻呵护用户的安全。非穿戴设备不需要与用户有直接接触，最为常见的装置为摄像机，采用图像识别技术可以很轻松的完成人群姿态的判断。但是目前市面上的大部分设备采用云端识别的技术，这对于老人隐私的保护不是很好。

发明内容

本申请提供一种基于深度学习的人体跌倒检测方法、装置及系统，旨在解决由于现有技术对用户跌倒检测准确率低、实现难、成本高、隐私性差的问题。

为了实现上述目的，本发明采用以下技术：

一种基于深度学习的人体跌倒检测方法，包括步骤：

S100、将摄像头对区域内进行采集的图片输入预先部署于边缘嵌入式终端设备中的已经训练好的模型Model1中，对人体目标进行识别，获得人体区域信息和头部区域信息；

S200、对人体区域信息和头部区域信息进行记录和过滤，根据过滤后的信息判断人体重心的偏移和人体高宽比例的变化是否均超过预定值，若超过，则作为潜在跌倒风险对象，并执行S300，若未超过，则判断为未发生跌倒，结束；

S300、采用预先部署于边缘嵌入式终端设备中的已经训练好的模型Model2对潜在跌倒风险对象进行人体关键点特征识别，获取关键点坐标信息，对潜在跌倒风险对象的姿态进行判断，并将姿态判断结果与S200中的判断结果进行融合，以最终判断潜在跌倒风险对象是否发生跌倒；

S400、在S300的判断结果为跌倒时，通过与边缘嵌入式终端设备连接的外拓IoT设备将跌倒状态发送至服务器云平台，以使服务器云平台向预先绑定的紧急联系人终端发送报警信息。

一种基于深度学习的人体跌倒检测装置，包括：

第一识别模块，用于将摄像头对区域内进行采集的图片输入预先部署于边缘嵌入式终端设备中的已经训练好的模型Model1中，对人体目标进行识别，获得人体区域信息和头部区域信息；

第一判断模块，用于对人体区域信息和头部区域信息进行记录和过滤，根据过滤后的信息判断人体重心的偏移和人体高宽比例的变化是否均超过预定值，若超过，则作为潜在跌倒风险对象，并执行第二判断模块，若未超过，则判断为未发生跌倒，结束；

第二判断模块，用于采用预先部署于边缘嵌入式终端设备中的已经训练好的模型Model2对潜在跌倒风险对象进行人体关键点特征识别，获取关键点坐标信息，对潜在跌倒风险对象的姿态进行判断，并将姿态判断结果与第一判断模块的判断结果进行融合，以最终判断潜在跌倒风险对象是否发生跌倒；

发送模块，用于在第二判断模块的判断结果为跌倒时，通过与边缘嵌入式终端设备连接的外拓IoT设备将跌倒状态发送至服务器云平台，以使服务器云平台向预先绑定的紧急联系人终端发送报警信息。

一种基于深度学习的人体跌倒检测系统，包括边缘嵌入式终端设备和IoT设备，边缘嵌入式终端设备包括视频处理子系统、神经网络模块和判断处理模块，IoT设备包括模型控制模块和网络连接模块；

视频处理子系统用于接收通过摄像头对区域内进行采集的图片，并输出；

神经网络模块用于加载已训练好的模型Model1对视频处理子系统输入的图片进行人体目标识别，获得人体区域信息和头部区域信息；

判断处理模块用于对人体区域信息和头部区域信息进行记录和过滤，根据过滤后的信息判断人体重心的偏移和人体高宽比例的变化是否均超过预定值，若超过，则作为潜在跌倒风险对象，若未超过，则判断为未发生跌倒，结束；

网络连接模块用于接收判断处理模块的判断结果并传输给模型控制模块；

模型控制模块用于在收到判断结果为潜在跌倒风险对象时，控制神经网络模块加载已训练好的模型Model2，以对潜在跌倒风险对象进行人体关键点特征识别，获取关键点坐标信息；

判断处理模块用于根据关键点坐标信息对潜在跌倒风险对象的姿态进行判断，将姿态判断结果与第一判断模块的判断结果进行融合，以最终判断潜在跌倒风险对象是否发生跌倒；

网络连接模块用于接收判断处理模块的最终判断结果，并在判断结果为跌倒时将跌倒状态发送至服务器云平台，以使服务器云平台向预先绑定的紧急联系人终端发送报警信息。

本发明有益效果在于：

1、通过模型Modle1进行识别后进行过滤，初次判断是否为潜在跌倒对象，判断中不仅考虑人体高宽比变化、重心偏移，同时还进一步考虑头部加速度，进一步通过Modle2进行二次的关键点坐标信息提取，分析出姿态，以姿态结果结合初判断结果进行最终判断，提高了判断准确率，降低误判率；

2、通过将预先训练的模型部署到边缘嵌入式设备中，利用外拓IoT设备将跌倒信息发送出去，所有的检测算法均在本地进行边缘推理，不涉及任何云端互联网技术，可以极大程度上保护用户的隐私问题。

附图说明

图1是本申请实施例的人体跌倒检测方法的一种流程示例。

图2是本申请实施例的人体关键点坐标信息提取示意图。

图3是本申请实施例的跌倒判定流程的一种运行流程示例。

图4是本申请实施例的模型Modle1的一种结构示例。

图5是本申请实施例的模型Modle2的一种结构示例。

图6是本申请实施例的人体跌倒检测装置结构框图。

图7是本申请实施例的人体跌倒检测系统结构框图。

图8是本申请实施例的模型Modle1的一种推演效果演示示例。

图9是本申请实施例的模型Modle2的一种推演效果演示示例。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面结合附图对本发明的实施方式进行详细说明，但本发明所描述的实施例是本发明一部分实施例，而不是全部的实施例。

本申请实施例的一个方面，提供一种基于深度学习的人体跌倒检测方法，如图1、图3所示为一些示例流程图，具体的，本示例的检测方法包括如下步骤：

S100、将摄像头对区域内进行采集的图片输入预先部署于边缘嵌入式终端设备中的已经训练好的模型Model1中，对人体目标进行识别，获得人体区域信息和头部区域信息。

其中，模型Model1采用ResNet18为主干特征提取网络的YOLO V2模型，其结构如图4所示。如图8所示为模型Modle1的一种推演效果演示示例。

在一些更加具体的实施方式中，通过摄像设备采集不同场景下的人体图像，拍摄场景包括但不限于客厅，卧室，书房，走廊，室外等地方；人体动作包括但不限于站立，坐下，跌倒，弯腰，蹲，侧卧等。其中，对于白天光照充足和夜晚光照不足的情况，需要摄像设备进行不同的采集，即夜晚光照不足情况下是采集的含有红外信息的图像。

作为一可选实施方式，为了提升模型算法的识别准确读，本实施例在所述不同场景应该从多个角度拍摄人体的动作序列，提取所述人体动作视频中的帧图像；所述多个角度拍摄包括人体的侧面、正面和背面。

S200、对人体区域信息和头部区域信息进行记录和过滤，对于重心偏移过大和人体高宽比例变化剧烈的目标，则激活下一个模型Modle2。

具体的，过滤后，根据过滤后的信息判断人体重心的偏移和人体高宽比例的变化是否均超过预定范围，若超过，则作为潜在跌倒风险对象，并激活下一个模型Modle2，执行S300；若未超过，则判断为未发生跌倒，结束。

通过步骤S100可以获得拍摄区域内的人体坐标信息和头部坐标信息，将其进行保存和滤波。由于会受到环境和不确定因素的影响，模型所推理出来的结果会发生一定的误差，此处采用卡尔曼滤波算法对观测到的数据进行一个滤波。

当人体发生跌倒时，其重心和人体的高宽比会发生较大的变化。由于重心和人体高宽比的变化只能反应人体的动作发生了大幅度的变化，并不能说明其发生跌倒事件。此处需要对人体头部的加速度进行一个测量，从而辅助系统进行跌倒风险判断，即，在判断人体重心的偏移和人体高宽比例的变化是否均超过预定值时，同时还需要判断人体头部加速度是否超过预设值，若均超过，才判断为潜在跌倒风险对象。

具体S200中判断人体重心的偏移、人体高宽比例的变化、人体头部加速度是否超过预设值是通过如下加权求和方式进行：

设

其中，

N

N

定义潜在跌倒风险系数

其中，

当潜在跌倒风险系数

从而，通过对人体重心、高宽比和头部加速度的综合判断，选择是否激活下一模型Model2。

S300、采用预先部署于边缘嵌入式终端设备中的已经训练好的模型Model2对潜在跌倒风险对象进行人体关键点特征识别，获取关键点坐标信息，对潜在跌倒风险对象的姿态进行判断，并将姿态判断结果与S200中的判断结果进行融合，以最终判断潜在跌倒风险对象是否发生跌倒。

当模型Model2被激活时，则说明区域内具有潜在跌倒的对象，此时可以通过模型Model2获取该对象的关键点坐标信息，进一步对该对象的姿态进行细致判断。模型Model2的结构如图5所示，为采用Resnet18为主干特征提取网络的YOLO V3 Tiny模型，识别的人体关键点如图2所示。如图9所示为模型Modle2的一种推演效果演示示例。

获取到监测对象的特征关键点后则对该对象的姿态进行进一步的判断，包括站立、弯腰、跌倒、坐下，进一步结合步骤S200的结果可对该对象是否发生跌倒进行综合评判。

具体的，设S300中采用模型Modle2进行识别时的为

S300中将姿态判断结果与S200中的判断结果进行融合，采用如下公式：

L

其中，

判断

S400、在S300的判断结果为跌倒时，通过与边缘嵌入式终端设备连接的外拓IOT设备将跌倒状态发送至服务器云平台，以使服务器云平台向预先绑定的紧急联系人终端发送报警信息。

由于摄像机和边缘嵌入式终端设备并不具有互联网功能，所以当检测到发生异常跌倒行为时需要借助其它IOT设备将报警信息发送出去。本实例中，所有的检测算法均在本地进行边缘推理，不涉及任何云端互联网技术，可以极大程度上保护用户的隐私问题。

在上述实例中，模型Model1和模型Model2通过如下步骤进行训练：

1）在计算机端通过Darknet框架搭建对应的神经网络模型；

2）对所采集的图片进行特征的标注；

3）利用标注的图片在服务器端对神经网络模型进行训练。

训练好的模型Model1和模型Model2通过如下步骤部署到边缘嵌入式终端设备：

1）使用量化算法对训练的神经网络模型进行量化和剪枝；

2）将量化和剪枝后的模型转换为底层芯片可识别的指令文件，得到文件模型；

3）将文件模型部署于边缘嵌入式终端设备中，以供用户构建的应用程序调用，从而运行对应的神经网络模型。

本申请实施例的另一方面，提供一种基于深度学习的人体跌倒检测装置，如图6所示，其结构包括第一识别模块、第一判断模块、第二判断模块和发送模块。

其中，第一识别模块将摄像头对区域内进行采集的图片输入预先部署于边缘嵌入式终端设备中的已经训练好的模型Model1中，对人体目标进行识别，获得人体区域信息和头部区域信息。

第一判断模块对人体区域信息和头部区域信息进行记录和过滤，根据过滤后的信息判断人体重心的偏移和人体高宽比例的变化是否均超过预定值，若超过，则作为潜在跌倒风险对象，并执行第二判断模块，若未超过，则判断为未发生跌倒，结束。

第二判断模块采用预先部署于边缘嵌入式终端设备中的已经训练好的模型Model2对潜在跌倒风险对象进行人体关键点特征识别，获取关键点坐标信息，对潜在跌倒风险对象的姿态进行判断，并将姿态判断结果与第一判断模块的判断结果进行融合，以最终判断潜在跌倒风险对象是否发生跌倒。

发送模块在第二判断模块的判断结果为跌倒时，通过与边缘嵌入式终端设备连接的外拓IoT设备将跌倒状态发送至服务器云平台，以使服务器云平台向预先绑定的紧急联系人终端发送报警信息。

本申请实施例的又一方面，提供一种基于深度学习的人体跌倒检测系统，主要包括边缘嵌入式终端设备(Edge Device)和IoT设备(IoT Device)。

如图7所示，边缘嵌入式终端设备包括视频处理子系统(VPSS)、神经网络模块(CNNAccelerators)、判断处理模块(Post Processing)、视频图像子系统(VGS)、视频编码模块(VC)、视频输出模块(VO)等，IoT设备包括模型控制模块(Modle Control)和网络连接模块(Network Agent)。神经网络模块可以从外置SD卡加载已训练好的模型Model1和模型Model2，以对图像数据进行推理计算。神经网络模块的运行可由Core0/1或IoT设备的模型控制模块控制。

边缘嵌入式终端设备和IoT设备之间通过Soft BUS软总线连接。视频处理子系统连接视频图像子系统和神经网络模块，神经网络模块连接判断处理模块，判断处理模块连接网络连接模块，网络连接模块连接模型控制模块，模型控制模块连接神经网络模块，视频图像子系统连接视频编码模块和视频输出模块，视频编码模块通过SDIO接口连接SD卡，视频输出模块通过MIPI/HDMI接口连接到外部显示器。

视频处理子系统接收来自摄像设备对区域内进行采集的RGB Stream视频数据并输出两路图像，通道CH0为高分辨率图像，用于存储和输出显示，通道CH1输出小分辨率图像用于神经网络检测。

对于通道CH1输出的图片，神经网络模块加载已训练好的模型Model1对其进行人体目标识别，获得人体区域信息和头部区域信息，然后送入判断处理模块，判断处理模块对人体区域信息和头部区域信息进行记录和过滤，根据过滤后的信息判断人体重心的偏移和人体高宽比例的变化是否均超过预定值，若超过，则作为潜在跌倒风险对象，若未超过，则判断为未发生跌倒，结束；并将判断结果输送给网络连接模块。进一步的，判断是否均超过预定值时，一并考虑头部加速度，将头部加速度、人体重心偏移、人体高宽比例加权求和进行综合判断。

网络连接模块接收判断处理模块的判断结果并传输给模型控制模块；模型控制模块在收到判断结果为潜在跌倒风险对象时，控制神经网络模块加载已训练好的模型Model2，使模型Model2激活。

模型Model2在激活时，在激活时对潜在跌倒风险对象进行人体关键点特征识别，获取关键点坐标信息；判断处理模块根据关键点坐标信息对潜在跌倒风险对象的姿态进行判断，将姿态判断结果与第一判断模块的判断结果进行融合，以最终判断潜在跌倒风险对象是否发生跌倒；并将判断结果再次输送给网络连接模块。

网络连接模块接收判断处理模块的最终判断结果，并在判断结果为跌倒时将跌倒状态发送至服务器云平台，以使服务器云平台向预先绑定的紧急联系人终端发送报警信息。

另一方面，视频图像子系统等待神经网络模块的检测结果，再通道CH0的图像上进行结果叠加，再分为两路，一路视频送给视频编码模块进行H.264编码存储于SD卡，另一路送给视频视出模块，通过接口在外部显示器上显示叠加有检测信息的视频图像。

作为一些可选的方式，IoT设备可以选用搭载Home Assistant的树莓派，Soft BUS可选用蓝牙的方式进行连接。

以上所述仅为本申请的优选实施例，并不用于限制本申请，显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。