一种跌倒检测方法及系统

技术领域

本申请属于跌倒检测技术领域，尤其涉及一种跌倒检测方法及系统。

背景技术

老年人摔倒是一种常见但危险的事件，尤其是对于那些身体虚弱、行动不便或有慢性疾病的老年人来说。摔倒可能会导致严重的伤害，如骨折、头部损伤、内出血等，甚至可能导致残疾或死亡。现有的主流摔倒检测方法有两种，分别是基于传感器和基于计算机视觉的摔倒检测方法。然而，基于传感器的方法存在着适用范围窄、准确度低等问题；基于计算机视觉的方法容易因光照、视角变化等因素的影响而准确度低。

发明内容

本申请实施例提供了一种跌倒检测方法及系统，可以解决跌倒检测准确度低的问题。

第一方面，本申请实施例提供了一种跌倒检测方法，包括：

获取监控对象的监控视频，并确定监控视频中监控对象被遮挡的遮挡视频帧；

给监控视频中的遮挡视频帧添加高斯噪声，得到添加噪声后的噪声视频；

将噪声视频重塑为空间主导向量和时间主导向量；

将空间主导向量和时间主导向量输入视频帧复原模型进行复原处理，得到复原视频；

从复原视频的每个视频帧中提取人体姿态特征图，并获取每个人体姿态特征图在高度方向上的第一特征图、在宽度方向上的第二特征图以及在时间方向上的第三特征图；

根据每个人体姿态特征图在高度方向上的第一特征图、在宽度方向上的第二特征图以及在时间方向上的第三特征图，获取每个人体姿态特征图对应的人体姿态特征向量，并将所有人体姿态特征图对应的人体姿态特征向量输入跌倒预测模型进行跌倒预测，得到跌倒判定初值；跌倒预测模型包括依次连接的第一拼接层、Transformer编码器和多层感知机；

根据跌倒判定初值、采集监控视频时监控对象在重力方向上的加速度以及采集监控视频时监控对象的心率变化量，判断采集监控视频时监控对象是否发生跌倒。

可选的，视频帧复原模型包括空间采样网络、时序采样网络、第二拼接层和三维卷积层；

将空间主导向量和时间主导向量输入视频帧复原模型进行复原处理，得到复原视频，包括：

将空间主导向量输入空间采样网络进行特征提取，得到空间感知特征；

将时间主导向量输入时序采样网络进行特征提取，得到时间感知特征；

利用第二拼接层对空间感知特征和时间感知特征进行拼接，得到时空融合特征；

利用三维卷积层对时空融合特征进行联合时空建模，得到复原视频。

可选的，空间采样网络包括：依次连接的三个下采样通道、空间注意力模块、T个除噪复原模块和三个上采样通道；T的值为遮挡视频帧被添加高斯噪声的次数。

可选的，时序采样网络包括：依次连接的三个下采样通道、时间注意力模块、T个除噪复原模块和三个上采样通道；T的值为遮挡视频帧被添加高斯噪声的次数。

可选的，根据每个人体姿态特征图在高度方向上的第一特征图、在宽度方向上的第二特征图以及在时间方向上的第三特征图，获取每个人体姿态特征图对应的人体姿态特征向量，包括：

分别针对每个人体姿态特征图，将人体姿态特征图对应的第一特征图、第二特征图和第三特征图输入预测编码网络进行处理，得到人体姿态特征图对应的人体姿态特征向量；

预测编码网络包括三个二维卷积层、token模块、位置编码模块、加权融合模块以及依次连接的第三拼接层、最大池化层、乘法模块和全连接层，三个二维卷积层的输入端一一对应的接收第一特征图、第二特征图和第三特征图，三个二维卷积层的输出端均与第三拼接层的输入端连接，乘法模块用于对人体姿态特征图和最大池化层输出的特殊特征向量进行元素相乘，token模块用于对全连接层输出的特征向量进行token编码，位置编码模块用于对全连接层输出的特征向量进行绝对位置编码，加权融合模块用于对token模块输出的token编码向量和位置编码模块输出的绝对位置编码向量进行加权融合，并输出人体姿态特征向量。

可选的，跌倒检测方法还包括：

通过公式

其中，p

可选的，根据跌倒判定初值、采集监控视频时监控对象在重力方向上的加速度以及采集监控视频时监控对象的心率变化量，判断采集监控视频时监控对象是否发生跌倒，包括：

通过公式X＝λ

将输入值X输入跌倒判定模型中进行跌倒判定，得到跌倒预测值；

若跌倒预测值大于预设跌倒阈值，则确定采集监控视频时监控对象发生跌倒；

若跌倒预测值小于或等于预设跌倒阈值，则确定采集监控视频时监控对象未发生跌倒。

可选的，跌倒检测方法还包括：

在确定采集监控视频时监控对象发生跌倒时，向与监控对象关联的移动终端发送报警信息；报警信息用于提示监控对象处于跌倒状态。

可选的，给监控视频中的遮挡视频帧添加高斯噪声，包括：

通过公式

其中，x

第二方面，本申请实施例提供了一种跌倒检测系统，包括生理数据采集设备、图像采集设备和云端服务器，生理数据采集设备用于采集监控对象的心率值，并将心率值输出给云端服务器，图像采集设备用于采集监控对象的监控视频，并将监控视频输出给云端服务器，云端服务器用于执行上述的跌倒检测方法。

本申请的上述方案有如下的有益效果：

在本申请的实施例中，通过给监控视频中的遮挡视频帧添加噪声，并将添加噪声后的噪声视频重塑为空间主导向量和时间主导向量，再利用空间主导向量和时间主导向量进行视频复原，从而完成对被遮挡人体部位的复原得到复原视频；然后再提取复原视频中的人体姿态特征图，利用人体姿态特征图在高度、宽度和时间方向上的特征图，获取人体姿态特征图对应的人体姿态特征向量，并利用跌倒预测模型对人体姿态特征向量进行跌倒预测得到跌倒判定初值；最终结合监控对象在重力方向上的加速度、心率变化量以及跌倒判定初值进行跌倒检测，这种基于多个维度数据进行跌倒检测的方式与现有技术中仅依赖传感器数据或基于视觉图像进行跌倒检测的方式相比，能大大提高跌倒检测的准确度。

本申请的其它有益效果将在随后的具体实施方式部分予以详细说明。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的跌倒检测方法的流程图；

图2为本申请一实施例提供的视频帧复原模型的结构示意图；

图3为本申请一实施例提供的预测编码网络的结构示意图；

图4为本申请一实施例提供的跌倒检测系统的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

针对目前跌倒检测准确度低的问题，本申请实施例提供了一种跌倒检测方法，该方法通过给监控视频中的遮挡视频帧添加噪声，并将添加噪声后的噪声视频重塑为空间主导向量和时间主导向量，再利用空间主导向量和时间主导向量进行视频复原，从而完成对被遮挡人体部位的复原得到复原视频；然后再提取复原视频中的人体姿态特征图，利用人体姿态特征图在高度、宽度和时间方向上的特征图，获取人体姿态特征图对应的人体姿态特征向量，并利用跌倒预测模型对人体姿态特征向量进行跌倒预测得到跌倒判定初值；最终结合监控对象在重力方向上的加速度、心率变化量以及跌倒判定初值进行跌倒检测，这种基于多个维度数据进行跌倒检测的方式与现有技术中仅依赖传感器数据或基于视觉图像进行跌倒检测的方式相比，能大大提高跌倒检测的准确度。

下面结合具体实施例对本申请实施例提供的跌倒检测方法进行示例性说明。

如图1所示，本申请实施例提供的跌倒检测方法包括如下步骤：

步骤11，获取监控对象的监控视频，并确定监控视频中监控对象被遮挡的遮挡视频帧。

上述监控对象为需要进行跌倒监测的对象，以便在其发生跌倒时及时对其进行救助。示例性的，该监控对象可以为老年人。上述监控视频可以通过安装于监控对象获取区域的图像采集设备(如监控摄像头)获得。

在本申请的一些实施例中，可使用Canny边缘检测算法(Canny边缘检测是一种经典的边缘检测算法)来检测监控视频中的被遮挡视频帧。具体的，可通过对监控视频的每一帧图像应用Canny边缘检测算法，得到每个视频帧中的边缘信息；然后对每一帧图像进行边缘连接操作，在连接后的边缘图像中，如果存在边缘断裂或边缘截断现象，则表示此视频帧被遮挡。

步骤12，给监控视频中的遮挡视频帧添加高斯噪声，得到添加噪声后的噪声视频。

在本申请的一些实施例中，可通过如下公式给监控视频中的遮挡视频帧添加T次高斯噪声，得到添加噪声后的噪声视频：

其中，x

此处对遮挡视频帧进行加噪处理，主要是为了后续提升复原视频的真实性。

步骤13，将噪声视频重塑为空间主导向量和时间主导向量。

上述添加噪声后的噪声视频可以表示为R

步骤14，将空间主导向量和时间主导向量输入视频帧复原模型进行复原处理，得到复原视频。

上述视频帧复原模型主要用于基于空间主导向量和时间主导向量进行视频复原，得到复原视频。

步骤15，从复原视频的每个视频帧中提取人体姿态特征图，并获取每个人体姿态特征图在高度方向上的第一特征图、在宽度方向上的第二特征图以及在时间方向上的第三特征图。

在本申请的一些实施例中，可将复原视频输入OpenPose网络进行人体姿态特征图的提取，得到复原视频的每个视频帧的人体姿态特征图。OpenPose网络是一个开源的实时多人姿态估计库，由卡耐基梅隆大学开发。它通过分析图像或视频中的人体关键点来估计人体的姿态，识别身体的各个部分，并推断出人体的姿势信息。

在得到复原视频的人体姿态特征图后，可分别针对每个人体姿态特征图，对其沿着高度H轴进行编码，得到其在高度方向上的第一特征图(即H轴特征图)、对其沿着宽度W轴进行编码，得到其在宽度方向上的第二特征图(即W轴特征图)、对其沿着时间T轴进行编码，得到其在时间方向上的第三特征图(即T轴特征图)。

步骤16，根据每个人体姿态特征图在高度方向上的第一特征图、在宽度方向上的第二特征图以及在时间方向上的第三特征图，获取每个人体姿态特征图对应的人体姿态特征向量，并将所有人体姿态特征图对应的人体姿态特征向量输入跌倒预测模型进行跌倒预测，得到跌倒判定初值。。

上述跌倒预测模型包括依次连接的第一拼接层、Transformer编码器和多层感知机。该第一拼接层主要用于对各人体姿态特征图对应的人体姿态特征向量进行拼接操作，并将拼接后的人体姿态特征向量输出至Transformer编码器；该Transformer编码器主要用于对拼接后的人体姿态特征向量进行特征提取，并将提取到的特征输出至多层感知机；多层感知机主要用于基于该特征执行跌倒预测，输出跌倒判定初值。

步骤17，根据跌倒判定初值、采集监控视频时监控对象在重力方向上的加速度以及采集监控视频时监控对象的心率变化量，判断采集监控视频时监控对象是否发生跌倒。

在本申请的一些实施例中，可将监控对象在重力方向(即垂直方向)上的加速度作为动态参数进行计算，通过设置摄像头(即前文的图像采集设备)的角度得出拍摄图像的等比例高度，并对视频连续帧中的监控对象高度进行计算，得出监控对象在垂直方向上的平均速度，并基于该平均速度计算出平均加速度(即步骤17中的加速度)。

其中，可通过如下公式对视频连续帧中的监控对象高度进行计算：

其中，h

平均速度的计算公式为：

其中，

可通过如下公式计算出平均加速度

计算公式计算得到)，t

在本申请的一些实施例中，可通过如下公式计算采集监控视频时监控对象的心率变化量HR：

其中，p

值得一提的是，基于跌倒判定初值、监控对象在重力方向上的加速度和心率变化量这多个维度数据进行跌倒检测的方式与现有技术中仅依赖传感器数据或基于视觉图像进行跌倒检测的方式相比，能大大提高跌倒检测的准确度。

在本申请的一些实施例中，基于跌倒判定初值、监控对象在重力方向上的加速度和心率变化量这多个维度数据进行跌倒检测的具体实现方式包括如下步骤：

步骤17.1，通过公式X＝λ

上述ω

GELU激活函数，即高斯误差线性单元。它可以提供更光滑的激活响应，从而减少梯度的突变，提高模型的稳定性；并且具有更大的输出范围和更好的非线性拟合能力，能够更好地捕捉输入数据中的跌倒特征模式。GELU激活函数的表达式为：

x表示上述输入值X。

Sigmoid激活函数的输出范围在0到1之间，可以将其输出作为跌倒预测值。

步骤17.2，将输入值X输入跌倒判定模型中进行跌倒判定，得到跌倒预测值；若跌倒预测值大于预设跌倒阈值，则执行步骤17.3，若跌倒预测值小于或等于预设跌倒阈值，则执行步骤17.4；

步骤17.3，确定采集监控视频时监控对象发生跌倒；

步骤17.4，确定采集监控视频时监控对象未发生跌倒。

上述预设跌倒阈值可根据实际情况进行设定，例如设定为0.65。

在本申请的一些实施例中，在确定采集监控视频时监控对象发生跌倒时，还可向与监控对象关联的移动终端发送报警信息，该报警信息用于提示监控对象处于跌倒状态。

其中，与监控对象关联的移动终端可以为监控对象亲属的移动终端，以便及时通知相关人员监控对象处于跌倒状态，便于相关人员及时实施救助措施，实现远程预警。

下面结合具体实施例对上述视频帧复原模型以及视频复原过程进行示例性说明。

在本申请的一些实施例中，如图2所示，上述视频帧复原模型包括空间采样网络、时序采样网络、第二拼接层和三维卷积层。相应的，上述步骤14，将空间主导向量F

步骤14.1，将空间主导向量输入空间采样网络进行特征提取，得到空间感知特征X

上述空间采样网络包括：依次连接的三个下采样通道、空间注意力模块、T个除噪复原模块和三个上采样通道。T的值为遮挡视频帧被添加高斯噪声的次数。

步骤14.2，将时间主导向量输入时序采样网络进行特征提取，得到时间感知特征X

上述时序采样网络包括：依次连接的三个下采样通道、时间注意力模块、T个除噪复原模块和三个上采样通道。T的值为遮挡视频帧被添加高斯噪声的次数。

步骤14.3，利用第二拼接层对空间感知特征X

上述空间感知特征X

步骤14.4，利用三维卷积层对时空融合特征进行联合时空建模，得到复原视频。

由于三维卷积层具有处理基于视频的上下文的良好特性，因此利用三维卷积层进行联合时空建模，能提高生成视频(即复原视频)的时间一致性。示例性的，该三维卷积层可以具体为2×3×3的卷积层。

其中，视频帧复原模型中下采样通道、上采样通道、除噪复原模块、空间注意力模块和时间注意力模块的具体结构和作用如下：

其中，每个下采样通道均由2个5×5的卷积层和1个3×3的最大池化层构成；使用下采样通道是为了减少输入特征图的空间尺寸，增加特征图的通道数，从而在更高级别上捕获视频帧中底层特征模式。

每个上采样通道均由1个3×3的反卷积层和2个5×5的卷积层构成；上采样卷积层是为了增加特征图的空间尺寸，将低分辨率的特征映射扩展到高分辨率，以便更好地捕捉视频帧中的细节和空间信息，从而可以更好地定位和还原视频帧高层特征。

空间注意力模块和时间注意力模块均采用注意力机制，其具体由1个最大池化层、2个3×3的卷积层和1个平均池化层构成；使用空间注意力模块是为了增强模型对于视频帧被遮挡局部空间的关注度，利用视频帧像素之间的相对位置，来捕获被遮挡部位对图像全局信息的空间依赖性；使用时间注意力模块是为了增强模型对于视频序列中不同时间步的关注度，获取视频帧的图像特征和嵌入时序特征之间的关联信息。

上述除噪复原模块可以为一除噪复原函数(如常用的去噪函数)，T个除噪复原模块主要用于进行T次除噪复原操作，对应上述加噪的T步，用于复原图像。由于上述加噪的T步符合高斯分布，逆向推导复原图像时需要使用贝叶斯定理，逆向推导公式为：

其中，p

值得一提的是，上述上述视频帧复原模型能够在监控对象身体部位被遮挡(如被家具遮挡)的情况下，对被遮挡人体部位进行复原，以提高跌倒检测的准确性。

下面结合具体实施例对人体姿态特征图对应的人体姿态特征向量的获取过程进行示例性说明。

在本申请的一些实施例中，根据每个人体姿态特征图在高度方向上的第一特征图、在宽度方向上的第二特征图以及在时间方向上的第三特征图，获取每个人体姿态特征图对应的人体姿态特征向量的具体实现方式包括如下步骤：

分别针对每个人体姿态特征图，将人体姿态特征图对应的第一特征图、第二特征图和第三特征图输入预测编码网络进行处理，得到人体姿态特征图对应的人体姿态特征向量。

如图3所示，上述预测编码网络包括三个二维卷积层、token模块、位置编码模块、加权融合模块以及依次连接的第三拼接层、最大池化层、乘法模块和全连接层，三个第五二维卷积层的输入端一一对应的接收第一特征图、第二特征图和第三特征图，三个第五二维卷积层的输出端均与第三拼接层的输入端连接，乘法模块用于对人体姿态特征图和最大池化层输出的特殊特征向量进行元素相乘，以放大人体姿态特征图中与人体姿态相关的那些像素点块(如图像中人体躯干、头部等等)，抑制与人体姿态无关的那些像素点块(如图像中不包含人的背景等)，token模块用于对全连接层输出的特征向量进行token编码，位置编码模块用于对全连接层输出的特征向量进行绝对位置编码，加权融合模块用于对token模块输出的token编码向量和位置编码模块输出的绝对位置编码向量进行加权融合，并输出人体姿态特征向量。

上述二维卷积层可以为1×1的二维卷积核，上述三个二维卷积层主要用于分别对第一特征图、第二特征图和第三特征图进行压缩，得到高度方向、宽度方向和时间方向上的特征向量；上述第三拼接层主要用于对高度方向、宽度方向和时间方向上的特征向量进行拼接操作，得到特征向量；上述最大池化层主要用于对拼接后的特征向量进行最大池化操作，以聚合图像中最具区分的人体姿态局部块，得到特殊特征向量；上述乘法模块主要用于对该特殊特征向量和OpenPose网络输出的人体姿态特征图(该人体姿态特征图的表现形式可以为原始特征向量)进行元素相乘，使得包含重要人体姿态的局部块被强化，无用的信息块被抑制，从而定位出视频中不同的局部信息块的位置；上述全连接层主要用于将乘法模块输出的数据映射为特征向量；上述token模块用于对全连接层输出的特征向量进行token编码，输出token编码向量；上述位置编码模块用于对全连接层输出的特征向量进行绝对位置编码，输出绝对位置编码向量；上述加权融合模块用于对token编码向量和绝对位置编码向量进行加权融合，并输出人体姿态特征向量。

在本申请的一些实施例中，在得到每个人体姿态特征图对应的人体姿态特征向量后，上述跌倒预测模型的第一拼接层会对所有人体姿态特征图对应的绝对位置编码向量进行拼接，得到复原视频频的人体姿态特征向量；然后由跌倒预测模型的Transformer编码器对该绝对位置编码向量进行特征提取，并将提取到的特征输入跌倒预测模型的多层感知机进行跌倒预测，得到跌倒判定初值，以便基于跌倒判定初值、监控对象在重力方向上的加速度和心率变化量这多个维度数据进行跌倒检测。

在此以监控对象为老人为例，对上述跌倒检测方法的工作流程进行示例性说明。

在对老人进行跌倒检测时，上述跌倒检测方法流程如下：

①部署老人居家环境智能实时监测设备，以一个家庭为单位形成一个云端服务平台，获取实时监测数据上传家庭云端服务器；

②采集老人日常生活视频数据以及智能传感器检测到的老人生理指标数据(主要为心率数据)；

③基于老人生理指标数据检测老人心率变化量；

④对遮挡视频帧进行复原得到无遮挡完整视频，并基于无遮挡完整视频进行跌倒预测，得到跌倒判定初值；

⑤基于老人心率变化量、跌倒判定初值和身体部位的动态参数进行跌倒检测；

⑥如果跌倒监测的输出结果表征老人处于跌倒状态，则云端服务器向各个家庭成员的移动终端发送警报信息。

如图4所示，本申请实施例还提供了一种跌倒检测系统，包括生理数据采集设备、图像采集设备和云端服务器，生理数据采集设备用于采集监控对象的心率值，并将心率值输出给云端服务器，图像采集设备用于采集监控对象的监控视频，并将监控视频输出给云端服务器，云端服务器用于执行上述的跌倒检测方法。

上述生理数据采集设备可以为传感器设备，以检测监控对象的心率值。

上述图像采集设备可以为监控摄像头，以采集监控对象的监控视频。

上述云端服务器用于基于生理数据采集设备输出的心率值和图像采集设备输出监控视频执行上述跌倒检测方法，通过给监控视频中的遮挡视频帧添加噪声，并将添加噪声后的噪声视频重塑为空间主导向量和时间主导向量，再利用空间主导向量和时间主导向量进行视频复原，从而完成对被遮挡人体部位的复原得到复原视频；然后再提取复原视频中的人体姿态特征图，利用人体姿态特征图在高度、宽度和时间方向上的特征图，获取人体姿态特征图对应的人体姿态特征向量，并利用跌倒预测模型对人体姿态特征向量进行跌倒预测得到跌倒判定初值；最终结合监控对象在重力方向上的加速度、心率变化量以及跌倒判定初值进行跌倒检测，这种基于多个维度数据进行跌倒检测的方式与现有技术中仅依赖传感器数据或基于视觉图像进行跌倒检测的方式相比，能大大提高跌倒检测的准确度。

以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。