一种跌倒检测方法及装置

技术领域

本发明涉及计算机科学和深度学习技术领域，尤其涉及一种跌倒检测方法及装置。

背景技术

2021年5月11日，第七次全国人口普查结果显示，中国60岁及以上人口占比超18％，人口老龄化程度进一步加深，随着老人年龄的增加，老人身体机能水平逐渐衰退，健康风险逐渐将会增加。尤其是相当多的老人独居家中，对于独居老人，一旦发生跌倒，如果不能及时被人发现并采取相应的救护措施，往往可能会引起骨折、出血、神经损伤、瘫痪等严重的身体伤害。若能在老人发生跌倒的第一时间及时检测出跌倒行为，将可以使老人在第一时间得到有效救治，避免老人跌倒未被及时发现造成的严重伤害，在日益老龄化的社会中，将带来巨大的经济效益和社会效益。

目前的主要方法基本分为两类：1、利用单目(单个摄像头)的深度学习的人体骨骼关键点检测，可以产生2D人体骨架，进而评估人体的姿态或识别动作、检测跌倒等，但是2D人体骨架缺乏深度信息，动作识别会产生歧义，对跌倒的检测也不够准确，尤其对假跌倒动作不能很好识别；2、利用可穿戴传感装置，通过传感器感知人体在三维空间的多个方向的速度或者加速度做跌倒判断，由于其携带的舒适性差等原因，造成老年人在晚上睡觉或洗澡等易发生跌倒的时间恰恰没有携带或由于其它原因而忘记携带，需要使用者佩戴相关装置和设备，无法真正有效的在跌倒发生时报警。

发明内容

为了解决上述技术问题，本发明提出一种跌倒检测方法及装置。在所述方法及装置中，构建了人的3D骨架和地面平面参数，通过计算上身关键点距离地面平面的距离来判断该关键点是否着地，方法稳定且高效，实现了极高的跌倒检出率。

为了达到上述目的，本发明的技术方案如下：

一种跌倒检测方法，包括如下步骤：

接收双目相机拍摄的左镜头画面和有右镜头画面，其中所述左镜头画面和有右镜头画面中均具有目标人物；

提取所述左镜头画面和有右镜头画面中目标人物的2D人体骨架，所述2D人体骨架包括脚底关键点和上身关键点；

基于所述左镜头画面和有右镜头画面中目标人物的2D人体骨架以及提前标定的相机参数，构建目标人物的3D人体骨架；

实时计算目标人物的3D人体骨架中上身关键点与待测区域中地面平面的相对关系，并根据计算结果判定是否发生跌倒。

优选地，所述脚底关键点包括左脚脚底和右脚脚底，所述上身关键点包括头、左脚膝盖、左肩、左肘、左手腕、左臀、右脚膝盖、右肩、右肘、右手腕和右臀。

优选地，采用openpose或alphapose提取所述左镜头画面和有右镜头画面中目标人物的2D人体骨架。

优选地，所述基于所述左镜头画面和有右镜头画面中目标人物的2D人体骨架以及提前标定的相机参数，构建目标人物的3D人体骨架，具体包括如下步骤：

对所述左镜头画面和有右镜头画面中目标人物的2D人体骨架进行关键点匹配，获得人体2D人体骨架关键点对；

基于提前标定的相机参数和最小二乘法获得人体2D人体骨架关键点对对应在空间点坐标；

遍历图像中所有匹配成功的人体2D人体骨架关键点对，得到每对人体2D人体骨架关键点对对应的空间点坐标，即获得3D人体骨架。

优选地，所述提前标定的相机参数是采用张氏标定法标定双目相机，并计算获得。

优选地，所述地面平面的获取，具体包括如下步骤：

采集空间中多个地面的点，构成点云数据；

基于点云数据使用最小二乘法进行地面平面拟合，得到地面的地面平面参数。

优选地，所述采集空间中多个地面的点，具体包括如下步骤：采集处于站定状态下目标人物在地面多个位置下3D骨架的脚底关键点坐标。

优选地，所述实时计算目标人物的3D人体骨架中上身关键点与地面平面的相对关系，根据计算结果判定是否发生跌倒，具体包括如下步骤：

实时计算目标人物的3D人体骨架中上身关键点到地面平面的距离，当距离小于预设阈值时，判定发生跌倒。

一种跌倒检测装置，包括接收单元、处理单元、构建单元和判定单元，其中，

所述接收单元，用于接收双目相机拍摄的左镜头画面和有右镜头画面，其中所述左镜头画面和有右镜头画面中均具有目标人物；

所述处理单元，用于提取所述左镜头画面和有右镜头画面中目标人物的2D人体骨架，所述2D人体骨架包括脚底关键点和上身关键点；

所述构建单元，用于基于所述左镜头画面和有右镜头画面中目标人物的2D人体骨架以及提前标定的相机参数，构建目标人物的3D人体骨架；

所述判定单元，用于实时计算目标人物的3D人体骨架中上身关键点与待测区域中地面平面的相对关系，并根据计算结果判定是否发生跌倒。

一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如上述中任意一项所述的方法中的步骤。

基于上述技术方案，本发明的有益效果是：本发明提前构建了待测区域地面的平面坐标参数，实时计算目标人物的3D人体骨架中上身关键点到地面平面的距离，当距离小于预设阈值时，判定发生跌倒，其跌倒检出率大于99.5％，由于是直接通过3D人体骨架中上身关键点到地面平面间的关系判定是否跌倒，对于假跌倒动作、躺下睡觉或休息式的甄别效果明显优于现有的技术，降低了误检的可能性，可以稳定区分蹲坐、跌倒和躺卧这类2D骨架表现歧义较大的动作，且无需使用者穿戴任何设备，可以应用于协助养老机构、独居老人等的看护工作，使用便捷、使用成本低。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明。

图1是一个实施例中一种跌倒检测方法流程图；

图2是一个实施例中一种跌倒检测方法中构建目标人物的3D人体骨架的方法流程图；

图3是一个实施例中一种跌倒检测方法中提取地面平面的参数示意图；

图4是一个实施例中目标人物在沙发上处于躺卧状态下的3D人体骨架示意图；

图5是一个实施例中跌倒状态下目标人物的3D人体骨架示意图；

图6是一个实施例中一种跌倒检测装置的原理框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

如图1所示，本发明提供一种跌倒检测方法，包括如下步骤：

步骤101，接收双目相机拍摄的左镜头画面和有右镜头画面，其中所述左镜头画面和有右镜头画面中均具有目标人物。

本实施例中，通过双目相机在前端实时拍摄目标人物，其视频流数据中左镜头画面和右镜头画面中均具有目标人物。

步骤102，提取所述左镜头画面和有右镜头画面中目标人物的2D人体骨架，所述2D人体骨架包括脚底关键点和上身关键点；

本实施例中，如图2所示，通过深度学习姿态评估算法对双目摄像头的左右镜头画面分别进行2D姿态评估，得到左右两组2D人体骨架，本实施例采用的深度学习2d姿态估计算法包括openpose，但不仅限于此，还可以根据需求使用alphapose等业内开源算法，其中，脚底关键点包括左脚脚底和右脚脚底，通过脚底关键点可以帮助获得地面平面参数，上身关键点包括头、左脚膝盖、左肩、左肘、左手腕、左臀、右脚膝盖、右肩、右肘、右手腕和右臀，通过分析上身关键点与地面平面之间的距离，实时判断目标人物是否摔跤，检出率高。

步骤103，基于所述左镜头画面和有右镜头画面中目标人物的2D人体骨架以及提前标定的相机参数，构建目标人物的3D人体骨架；

本实施例中，首先对所述左镜头画面和有右镜头画面中目标人物的2D人体骨架进行关键点匹配，获得人体2D人体骨架关键点对；

基于提前标定的相机参数和最小二乘法获得人体2D人体骨架关键点对对应在空间点坐标；

遍历图像中所有匹配成功的人体2D人体骨架关键点对，得到每对人体2D人体骨架关键点对对应的空间点坐标，即获得3D人体骨架，

其中，提前标定的相机参数预先离线采用张氏标定法计算获得。

步骤104，实时计算目标人物的3D人体骨架中上身关键点与地面平面的相对关系，并根据计算结果判定是否发生跌倒。

本实施例中，如图3所示，地面平面的参数通过离线方式预先获得：首先，目标人物站立在地面，利用双目相机拍摄目标人物现场实时数据，并利用算法提取现场中，人物脚底关键点的3D坐标；然后，人物多次更换位置，提取多组脚底关键点的3D坐标，形成小型点云(一般5～7组)；基于点云数据使用最小二乘法进行地面平面拟合，得到地面平面的参数。

在得到了地面平面的参数以后，只需要基于简单的规则即可非常有效地进行跌倒的判定。判定过程中，先计算各个3D人体骨架中上身关键点与地面的距离，当距离小于预设阈值(比如5cm)时，判断目标人物该关键点着地了，只有当上身关键点着地才判定跌倒。对于假跌倒动作、躺下睡觉或休息式的甄别效果明显优于现有的技术，降低了误检的可能性。如图4所示，当目标人物趟在沙发上时，其上身关键点与地面间有一段距离，因此，不会判定为跌倒，只有当上身关键点与地面距离小于5cm，才判定跌倒，如图5所示，可以稳定区分蹲坐、跌倒和躺卧这类2D骨架表现歧义较大的动作。

以上所述仅为本发明所公开的一种跌倒检测方法的优选实施方式，并非用于限定本说明书实施例的保护范围。凡在本说明书实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的保护范围之内。

如图6所示，本实施例提供一种跌倒检测装置，包括接收单元201、处理单元202、构建单元203和判定单元204，其中，

所述接收单元201，用于接收双目相机拍摄的左镜头画面和有右镜头画面，其中所述左镜头画面和有右镜头画面中均具有目标人物；

所述处理单元202，用于提取所述左镜头画面和有右镜头画面中目标人物的2D人体骨架，所述2D人体骨架包括脚底关键点和上身关键点；

所述构建单元203，用于基于所述左镜头画面和有右镜头画面中目标人物的2D人体骨架以及提前标定的相机参数，构建目标人物的3D人体骨架；

所述判定单元204，用于实时计算目标人物的3D人体骨架中上身关键点与地面平面的相对关系，并根据计算结果判定是否发生跌倒。

上述实施例阐明的装置或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

本实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如下步骤：

接收双目相机拍摄的左镜头画面和有右镜头画面，其中所述左镜头画面和有右镜头画面中均具有目标人物；

提取所述左镜头画面和有右镜头画面中目标人物的2D人体骨架，所述2D人体骨架包括脚底关键点和上身关键点；

基于所述左镜头画面和有右镜头画面中目标人物的2D人体骨架以及提前标定的相机参数，构建目标人物的3D人体骨架；

实时计算目标人物的3D人体骨架中上身关键点与待测区域中地面平面的相对关系，并根据计算结果判定是否发生跌倒。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书实施例中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。