一种跌倒检测方法、装置、电子设备及存储介质

技术领域

本发明涉及计算机技术领域，特别涉及一种跌倒检测方法、装置、电子设备及存储介质。

背景技术

跌倒检测可采用机器学习模型对人体对象的跌倒情况进行检测，这对于及时发现特殊人群(如老年人、具有特殊健康需求的人群)的跌倒情况、方便其在紧急情况下及时得到医疗援助具有重要作用。相关技术中，跌倒检测通常只是对当前帧的目标姿态进行检测，难以将跌倒与躺下、坐下等正常动作进行有效区分，容易产生误报。

发明内容

本发明的目的是提供一种跌倒检测方法、装置、电子设备及存储介质，可结合人体对象最近一段时间内所进行的一系列动作及人体对象在最新图像帧中的最新人体骨架信息综合判定该人体对象是否跌倒，从而可提升跌倒检测的准确性及可靠性。

为解决上述技术问题，本发明提供一种跌倒检测方法，包括：

在监控视频流中的各张图像帧中检测人体骨架信息；所述人体骨架信息包含人体关键点的位置及各所述人体关键点间的连接关系；

将连续生成的预设数量的图像帧设置为待判定图像帧，在所述待判定图像帧间匹配同一人体对象的人体骨架信息，并根据所述人体对象在所述待判定图像帧中的人体骨架信息确定所述人体对象在所述待判定图像帧间的运动轨迹；

根据所述运动轨迹及所述人体对象在最新图像帧中的最新人体骨架信息确定所述人体对象是否跌倒。

可选地，所述在所述待判定图像帧间匹配同一人体对象的人体骨架信息，包括：

针对所述待判定图像帧中任意相邻的第一图像帧和第二图像帧，为所述第一图像帧初始化掩码数组；所述掩码数组用于记录所述第一图像帧中已匹配的人体关键点；

将所述第二图像帧中的人体骨架信息所包含的首个人体关键点设置为待匹配关键点，并在所述第一图像帧中查找与所述待匹配关键点对应相同关节的候选关键点；所述候选关键点不位于所述掩码数组；

若未查找到所述候选关键点，则将所述第二图像帧中的人体骨架信息所包含的下个人体关键点设置为所述待匹配关键点，并进入所述在所述第一图像帧中查找与所述待匹配关键点对应相同关节的候选关键点的步骤；

若已查找到所述候选关键点，则计算所述待匹配关键点与各所述候选关键点间的相似度；

将所述待匹配关键点与相似度最高的候选关键点建立匹配关系，将已匹配的候选关键点添加至所述掩码数组中，将所述第二图像帧中的人体骨架信息所包含的下个人体关键点设置为所述待匹配关键点，并进入所述在所述第一图像帧中查找与所述待匹配关键点对应相同关节的候选关键点的步骤。

可选地，所述计算所述待匹配关键点与各所述候选关键点间的相似度，包括：

根据所述待匹配关键点的位置和所述候选关键点的位置，确定所述待匹配关键点与所述候选关键点间的欧式距离；

确定根据所述待匹配关键点所在的人体骨架信息构成的第一姿态边界框以及根据所述候选关键点所在的人体骨架信息构成的第二姿态边界框，并确定所述第一姿态边界框的面积和所述第二姿态边界框的面积中的面积最大值；

根据如下公式确定所述待匹配关键点与所述候选关键点间的相似度：

其中，e为自然常数，distance为所述欧氏距离，area为所述面积最大值，σ

可选地，所述根据所述人体对象在所述待判定图像帧中的人体骨架信息确定所述人体对象在所述待判定图像帧间的运动轨迹，包括：

利用所述人体对象在各所述待判定图像帧中的人体骨架信息，确定所述人体对象在各所述待判定图像帧中的中心点坐标；

根据各所述待判定图像帧中的中心点坐标确定所述运动轨迹。

可选地，在所述待判定图像帧间匹配同一人体对象的人体骨架信息之后，还包括：

对所述人体对象在所述待判定图像帧中的人体骨架信息进行滤波处理；

将处理后的人体骨架信息标记至对应的图像帧中，并将标记后的图像帧输出至显示设备。

可选地，所述在监控视频流中的各张图像帧中检测人体骨架信息，包括：

利用已训练的姿态估计模型在所述图像帧中识别人体骨架信息。

可选地，所述根据所述运动轨迹及所述人体对象在最新图像帧中的最新人体骨架信息确定所述人体对象是否跌倒，包括：

根据所述运动轨迹及所述监控视频流的图像采集帧率确定所述人体对象在各所述待判定图像帧中对应的运动加速度，并判断所有所述待判定图像帧中对应的运动加速度是否均大于第一预设阈值；

若确定所有所述待判定图像帧中对应的运动加速度均大于所述第一预设阈值，则在所述最新人体骨架信息中确定肩部关键点、髋部关键点和脚部关键点，并判断所述肩部关键点和所述髋部关键点间的第一连线与所述髋部关键点和脚部关键点间的第二连线所形成的夹角角度是否大于第二预设阈值；

若确定所述第一连线与所述第二连线间的夹角角度大于所述第二预设阈值，则利用所述最新人体骨架信息生成人体骨架图，将所述人体骨架图输入分类模型得到行为类型，并判断所述行为类型是否为跌倒类型；

若确定所述行为类型为所述跌倒类型，则判定所述人体对象跌倒。

本发明还提供一种跌倒检测装置，包括：

人体骨架检测模块，用于在监控视频流中的各张图像帧中检测人体骨架信息；所述人体骨架信息包含人体关键点的位置及各所述人体关键点间的连接关系；

时序检测模块，用于将连续生成的预设数量的图像帧设置为待判定图像帧，在所述待判定图像帧间匹配同一人体对象的人体骨架信息，并根据所述人体对象在所述待判定图像帧中的人体骨架信息确定所述人体对象在所述待判定图像帧间的运动轨迹；

跌倒检测模块，用于根据所述运动轨迹及所述人体对象在最新图像帧中的最新人体骨架信息确定所述人体对象是否跌倒。

本发明还提供一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上所述的跌倒检测方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上所述的跌倒检测方法的步骤。

本发明提供一种跌倒检测方法，包括：在监控视频流中的各张图像帧中检测人体骨架信息；所述人体骨架信息包含人体关键点的位置及各所述人体关键点间的连接关系；将连续生成的预设数量的图像帧设置为待判定图像帧，在所述待判定图像帧间匹配同一人体对象的人体骨架信息，并根据所述人体对象在所述待判定图像帧中的人体骨架信息确定所述人体对象在所述待判定图像帧间的运动轨迹；根据所述运动轨迹及所述人体对象在最新图像帧中的最新人体骨架信息确定所述人体对象是否跌倒。

可见，本发明首先可在监控视频流中的各张图像帧中检测人体骨架信息，即可确定人体目标在各张图像帧中的人体姿态；随后，本发明可将连续生成的预设数量的图像帧设置为待判定图像帧，并在待判定图像帧间匹配同一人体对象的人体骨架信息，以根据人体对象在待判定图像帧中的人体骨架信息确定人体对象在待判定图像帧间的运动轨迹，以便根据运动轨迹确定该人体对象最近一段时间内所进行的一系列动作；最后，本发明能够根据运动轨迹及人体对象在最新图像帧中的最新人体骨架信息确定人体对象是否跌倒，即能够结合人体对象最近一段时间内所进行的一系列动作及人体对象在最新图像帧中的最新人体骨架信息综合判定该人体对象是否跌倒，从而能够将跌倒与躺下、坐下等正常动作进行有效区分，并可提升跌倒检测的准确性及可靠性。本发明还提供一种跌倒检测装置、电子设备及计算机可读存储介质，具有上述有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的一种跌倒检测方法的流程图；

图2为本发明实施例所提供的一种针对基于最新人体骨架信息进行跌倒检测的流程图；

图3为本发明实施例所提供的一种人体骨架图的示意图；

图4为本发明实施例所提供的一种人体骨骼信息处理的流程图；

图5为本发明实施例所提供的一种跌倒检测装置的结构框图；

图6为本发明实施例所提供的一种电子设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

跌倒检测可采用机器学习模型对人体对象的跌倒情况进行检测，这对于及时发现特殊人群(如老年人、具有特殊健康需求的人群)的跌倒情况、方便其在紧急情况下及时得到医疗援助具有重要作用。相关技术中，跌倒检测通常只是对当前帧的目标姿态进行检测，难以将跌倒与躺下、坐下等正常动作进行有效区分，容易产生误报。有鉴于此，本发明可提供一种跌倒检测方法，可结合人体对象最近一段时间内所进行的一系列动作及人体对象在最新图像帧中的最新人体骨架信息综合判定该人体对象是否跌倒，从而可提升跌倒检测的准确性及可靠性。

需要说明的是，本发明实施例并不限定执行本方法的硬件设备，其可以是个人电脑、服务器等，也可以是带有计算性能的摄像设备，如监控摄像头，可根据实际应用需求进行设定。

请参考图1，图1为本发明实施例所提供的一种跌倒检测方法的流程图，该方法可以包括：

S101、在监控视频流中的各张图像帧中检测人体骨架信息；人体骨架信息包含人体关键点的位置及各人体关键点间的连接关系。

为实现跌倒检测，首先需要确定人体对象在监控视频流中的各张图像帧中的人体姿态。为此，本发明实施例可在各张图像帧中检测人体骨架信息，其中，人体骨架信息包含人体关键点的位置及各人体关键点间的连接关系，人体关键点与人体的各个关节对应，例如可以包括头部、颈部关节、肩关节、肘关节、腕关节、髋关节、膝盖、踝关节等；位置指人体关键点在图像帧中的位置；连接关系规定了各关键点间的连接顺序，并用于将各个人体关键点形成人体骨架，如规定了肘关节仅能和腕关节和肩关节连接。

需要说明的是，本发明实施例并不限定人体骨架信息的检测方式及检测所使用的姿态估计模型，可根据实际应用需求进行设定。例如，对于检测方式，可采用热力图和部位亲和场(Part Affinity Fields，PAFS)进行检测。其中，热力图表征某种人体关节在图像帧各个像素位置出现的置信度。部位亲和场表征不同关键点之间的亲和力，如属于同一个人的不同关节则亲和力大，而属于不同人之间的关节则亲和力小。部位亲和场可以用以下公式表示：

其中，

其中ν＝(x

在得到关节置信图和关节亲和场的预测值之后，还需要将各个人的关节点联接起来。对于任意两个关节点位置d

所求的E表示一个关键点到另一个关键点可能是同一个身体的概率。这样就可以将同一身体上的关键点一一连接起来。最终生成人体对象的人体骨架信息。

进一步的，对于姿态估计模型，为降低模型体积并确保模型可部署于计算性能较弱的设备中，本发明实施例可采用采用轻量级的Shuffle-Net作为姿态估计模型的骨干网络。可以理解的是，姿态估计模型需经过训练之后才可用于识别人体骨架信息。

基于此，在监控视频流中的各张图像帧中检测人体骨架信息，可以包括：

步骤11：利用已训练的姿态估计模型在图像帧中识别人体骨架信息。

S102、将连续生成的预设数量的图像帧设置为待判定图像帧，在待判定图像帧间匹配同一人体对象的人体骨架信息，并根据人体对象在待判定图像帧中的人体骨架信息确定人体对象在待判定图像帧间的运动轨迹。

本步骤在检测有人体骨架信息的基础上，将进一步确定人体对象在最近一段时间内的运动情况，这是由于人体对象在跌倒前通常会发生一系列大幅度动作，因此结合运动情况进行跌倒分析能够进一步提升检测的准确性及可靠性。为此，本发明实施例可将连续生成的预设数量的图像帧设置为待判定图像帧，并在待判定图像帧间匹配同一人体对象的人体骨架信息，随后将根据人体对象在待判定图像帧中的人体骨架信息确定人体对象在待判定图像帧间的运动轨迹，从而可根据运动轨迹确定人体对象在这多张待判定图像帧中的运动情况。需要指出的是，由于人体对象始终在运动，因此人体对象上的任一点在各张图像帧中所对应的位置均不同。基于此，本发明实施例可在人体对象上设置观察点，确定该观察点在各张待判定图像帧中的位置，进而依照图像帧顺序将该观察点在各张待判定图像帧中的位置顺次连接，便得到了运动轨迹。显然，运动轨迹记录有观察点在相邻两张图像帧之间的位移距离、位移方向，基于此便可确定人体对象在帧间的位移距离变化情况及位移方向变化情况，进而本发明实施例可根据该位移距离变化情况及位移方向变化情况确定人体在各待判定图像帧中的运动情况。另外，考虑到图像帧通常是基于固定的图像采集帧率拍摄的，即帧与帧之间的采集时间是固定的，进而本发明实施例还可结合位移距离变化情况、位移方向变化情况及帧率确定人体对象在相邻帧之间的速度、加速度，并可进一步确定人体对象在各待判定图像帧之间的速度变化情况和加速度变化情况。进而，本发明实施例便可基于上述位移距离、位移距离差值、位移方向、位移方向变化角度、速度、速度变化值、加速度、加速度变化值中的任一种或任多种对人体对象的运动情况进行有效分析。

需要说明的是，本发明实施例并不限定具体的观察点，可根据实际应用需求进行设定。例如，本发明实施例可利用人体对象在各待判定图像帧中的人体骨架信息，确定人体对象在各待判定图像帧中的中心点坐标，并将该中心点作为上述观察点，以根据各待判定图像帧中的中心点坐标确定运动轨迹

基于此，根据人体对象在待判定图像帧中的人体骨架信息确定人体对象在待判定图像帧间的运动轨迹，可以包括：

步骤21：利用人体对象在各待判定图像帧中的人体骨架信息，确定人体对象在各待判定图像帧中的中心点坐标；

步骤22：根据各待判定图像帧中的中心点坐标确定运动轨迹。

进一步，本发明实施例并不限定对人体对象进行帧间跟踪的具体方式，其所涉及的各类操作(如人体关键点匹配操作)均可根据实际应用需求进行设定。

进一步，本发明实施例并不限定预设数量的具体数值，例如可以为5帧，即本发明实施例将结合连续5帧的人物对象运动轨迹判断人物对象是否跌倒。另外，上述待匹配图像帧可以为最近生成的图像帧，即本发明实施例也可以根据最近生成的、连续的、预设数量张待匹配图像帧确定人物对象的运动轨迹。

S103、根据运动轨迹及人体对象在最新图像帧中的最新人体骨架信息确定人体对象是否跌倒。

在确定运动轨迹之后，本步骤将根据运动轨迹及人体对象在最新图像帧中的最新人体骨架信息确定人体对象是否跌倒。为提升检测效率，本发明实施例可使用多步过滤，对跌倒的人体对象进行层层筛选，从而得到一个较为准确可靠的检测结果。具体的，本发明实施例将首先利用运动轨迹对跌倒的人体对象进行筛选。如上所述，在人体对象跌倒之前，通常会执行一系列幅度较大的动作，如趴下、倒下、大幅度坐下等，而运动幅度通常由运动加速度所表现，如运动加速度越大，则运动幅度越大。因此，本发明实施例可根据运动轨迹及监控视频流的图像采集帧率确定人体对象在各待判定图像帧中对应的运动加速度，并判断所有待判定图像帧中对应的运动加速度是否均大于第一预设阈值。进一步，在确定人物对象的运动加速度符合要求之后，由于仍可能将正常运动的人体对象(如跑步中的人体对象)判定为跌倒人体对象，即存在误报，因此本发明实施例将继续使用人体对象在最新图像帧中的最新人体骨架信息确认人体对象是否跌倒。针对最新人体骨架信息，本发明实施例还可提供两步确认，其一为角度确定，其二为分类模型确认。为方便理解，请参考图2，图2为本发明实施例所提供的一种针对基于最新人体骨架信息进行跌倒检测的流程图。针对角度确认步骤，由于人体对象在跌倒之后，部分肢体间的夹角通常为特定角度，例如肩部关键点和髋部关键点间的第一连线与髋部关键点和脚部关键点间的第二连线所形成的夹角角度一般会大于特定阈值，因此本发明实施例首先可基于肢体间的夹角确定人体对象是否跌倒，具体可在最新人体骨架信息中确定肩部关键点、髋部关键点和脚部关键点，并判断肩部关键点和髋部关键点间的第一连线与髋部关键点和脚部关键点间的第二连线所形成的夹角角度是否大于第二预设阈值。在确定上述夹角角度符合要求之后，本发明实施例将执行分类模型确认。具体的，本发明实施例可利用最新人体骨架信息生成人体骨架图，将人体骨架图输入分类模型得到行为类型，并判断行为类型是否为跌倒类型。其中，人体骨架图可以为黑白图像，为方便理解，请参考图3，图3为本发明实施例所提供的一种人体骨架图的示意图。而分类模型为二分类模型，可对输入图像进行分类，以确定输入图像是对应跌倒类型还是正常类型。经过上述三步筛选之后，本发明实施例便可得到较为准确、可靠的跌倒检测结果。同时，值得指出的是，上述三步筛选对应的单帧计算量逐层加大，且若确定上一层未通过，则不会进入下一层筛选，以此可减轻下一层筛选的压力。因此，本发明实施例也能够在尽可能节约计算资源的情况下完成跌倒检测，从而更适合部署于计算资源较为紧缺的设备中。

基于此，根据运动轨迹及人体对象在最新图像帧中的最新人体骨架信息确定人体对象是否跌倒，可以包括：

步骤31：根据运动轨迹及监控视频流的图像采集帧率确定人体对象在各待判定图像帧中对应的运动加速度，并判断所有待判定图像帧中对应的运动加速度是否均大于第一预设阈值；若是，则进入步骤32；若否，则进入步骤35；

步骤32：若确定所有待判定图像帧中对应的运动加速度均大于第一预设阈值，则在最新人体骨架信息中确定肩部关键点、髋部关键点和脚部关键点，并判断肩部关键点和髋部关键点间的第一连线与髋部关键点和脚部关键点间的第二连线所形成的夹角角度是否大于第二预设阈值；若是，则进入步骤33；若否，则进入步骤35；

步骤33：若确定第一连线与第二连线间的夹角角度大于第二预设阈值，则利用最新人体骨架信息生成人体骨架图，将人体骨架图输入分类模型得到行为类型，并判断行为类型是否为跌倒类型；若是，则进入步骤34；若否，则进入步骤35；

步骤34：若确定行为类型为跌倒类型，则判定人体对象跌倒。

步骤35：判定人体对象未跌倒。

需要说明的是，本发明实施例并不限定上述第一预设阈值、第二预设阈值的具体数值，可根据实际应用需求进行设定。本发明实施例也不限定具体的分类模型，可选用任意类型的二分类模型，例如可以为选择ResNet18模型。

基于上述实施例，本发明首先可在监控视频流中的各张图像帧中检测人体骨架信息，即可确定人体目标在各张图像帧中的人体姿态；随后，本发明可将连续生成的预设数量的图像帧设置为待判定图像帧，并在待判定图像帧间匹配同一人体对象的人体骨架信息，以根据人体对象在待判定图像帧中的人体骨架信息确定人体对象在待判定图像帧间的运动轨迹，以便根据运动轨迹确定该人体对象最近一段时间内所进行的一系列动作；最后，本发明能够根据运动轨迹及人体对象在最新图像帧中的最新人体骨架信息确定人体对象是否跌倒，即能够结合人体对象最近一段时间内所进行的一系列动作及人体对象在最新图像帧中的最新人体骨架信息综合判定该人体对象是否跌倒，从而能够将跌倒与躺下、坐下等正常动作进行有效区分，并可提升跌倒检测的准确性及可靠性。

基于上述实施例，下面将具体介绍对同一人体对象进行帧间跟踪的具体过程。基于此，在待判定图像帧间匹配同一人体对象的人体骨架信息，可以包括：

S201、针对待判定图像帧中任意相邻的第一图像帧和第二图像帧，为第一图像帧初始化掩码数组；掩码数组用于记录第一图像帧中已匹配的人体关键点。

本发明实施例将在待判定图像帧中的任意两帧之间进行人体关键点匹配。其中，第一图像帧可以为第二图像帧的上一帧，而第二图像帧也可称为当前帧。为方便记录第一图像帧中的有哪些人体关键点已被匹配，本发明实施例还可为第一图像帧初始化掩码数组，该数组用于记录第一图像帧中已匹配的人体关键点，且在刚初始化时为空数组。

S202、将第二图像帧中的人体骨架信息所包含的首个人体关键点设置为待匹配关键点，并在第一图像帧中查找与待匹配关键点对应相同关节的候选关键点；候选关键点不位于掩码数组。

在本步骤中，可以理解的是人体关键点与人体各关节相对应，因此人体关键点具有类型，该类型与人体各关节相对应。同样可以理解的是，人体关键点仅可与属于相同关节的另一人体关键点进行匹配。因此，本发明实施例可将第二图像帧中的人体骨架信息所包含的首个人体关键点设置为待匹配关键点，并在第一图像帧中查找与待匹配关键点对应相同关节的候选关键点。此处需要指出的是，由于第一图像帧中可能存在多个人体对象，因此候选关键点可能有多个。

S203、若未查找到候选关键点，则将第二图像帧中的人体骨架信息所包含的下个人体关键点设置为待匹配关键点，并进入在第一图像帧中查找与待匹配关键点对应相同关节的候选关键点的步骤。

若没有与待匹配关键点相匹配的候选关键点，则可直接忽略当前的待匹配关键点，并将第二图像帧中的人体骨架信息所包含的下个人体关键点设置为待匹配关键点。此处需指出的是，若当前在第二图像帧中关注的人体骨架信息中还有未经过步骤S202处理的人体关键点，则可将该人体骨架信息中未处理的下一人体关键点设置为待匹配关键点。若当前在第二图像帧中关注的人体骨架信息中以没有未经过步骤S202处理的人体关键点，而第二图像帧中还存在未经过步骤S202处理的另一组人体骨架信息，则可继续对下一组人体骨架信息进行步骤S202的处理。若第二图像帧中的所有人体骨架信息均已完成处理，则完成第一图像帧与第二图像帧间的匹配处理。

S204、若已查找到候选关键点，则计算待匹配关键点与各候选关键点间的相似度。

本发明实施例旨在通过待匹配关键点与候选关键点间的相似度进行关键点匹配。具体的，计算待匹配关键点与各候选关键点间的相似度，可以包括：

步骤41：根据待匹配关键点的位置和候选关键点的位置，确定待匹配关键点与候选关键点间的欧式距离；

步骤42：确定根据待匹配关键点所在的人体骨架信息构成的第一姿态边界框以及根据候选关键点所在的人体骨架信息构成的第二姿态边界框，并确定第一姿态边界框的面积和第二姿态边界框的面积中的面积最大值；

步骤43：根据如下公式确定待匹配关键点与候选关键点间的相似度：

其中，e为自然常数，distance为欧氏距离，area为面积最大值，σ

可见，本发明实施例不仅可根据待匹配关键点与候选关键点间的欧式距离衡量其二者的相似度，同时还可进一步结合待匹配关键点所在的人体骨架信息所构成的姿态边界框以及根据候选关键点所在的人体骨架信息所构成的姿态边界框来确定上述待匹配关键点与候选关键点间的相似度，从而能够提升关键点匹配的准确性。此处需要指出的是，姿态边界框为基于人体骨架信息中所有人体关键点位置所确定的矩形框，姿态边界框刚好可覆盖人体骨架信息中的所有人体关键点。

S205、将待匹配关键点与相似度最高的候选关键点建立匹配关系，将已匹配的候选关键点添加至掩码数组中，将第二图像帧中的人体骨架信息所包含的下个人体关键点设置为待匹配关键点，并进入在第一图像帧中查找与待匹配关键点对应相同关节的候选关键点的步骤。

在完成相似度计算之后，本发明实施例可将待匹配关键点与相似度最高的候选关键点建立匹配关系，从而可完成人体关键点的最佳匹配。在完成匹配之后，本发明实施例需将已匹配的候选关键点添加至掩码数组，以避免已匹配的候选关键点再次参与匹配。进一步的，若当前在第二图像帧中关注的人体骨架信息中还有未经过步骤S202处理的人体关键点，则可将该人体骨架信息中未处理的下一人体关键点设置为待匹配关键点。若当前在第二图像帧中关注的人体骨架信息中以没有未经过步骤S202处理的人体关键点，而第二图像帧中还存在未经过步骤S202处理的另一组人体骨架信息，则可继续对下一组人体骨架信息进行步骤S202的处理。若第二图像帧中的所有人体骨架信息均已完成处理，则完成第一图像帧与第二图像帧间的匹配处理。

进一步的，在匹配到关键点后，为了防止关键点跳变，本发明实施例还可对人体对象在各待判定图像帧中的人体骨架信息进行滤波处理，以确保处理后的人体骨架信息在可视化输出时更加平滑。具体的，本发明实施例可采用一欧元滤波来过滤高频抖动的关键点。一欧元滤波的定义如下：

其中X

其中T

基于此，在待判定图像帧间匹配同一人体对象的人体骨架信息之后，还可以包括：

步骤51：对人体对象在待判定图像帧中的人体骨架信息进行滤波处理；

步骤52：将处理后的人体骨架信息标记至对应的图像帧中，并将标记后的图像帧输出至显示设备。

为方便理解，请参考图4，图4为本发明实施例所提供的一种人体骨骼信息处理的流程图。

下面对本发明实施例提供的跌倒检测装置、电子设备及计算机可读存储介质进行介绍，下文描述的跌倒检测装置、电子设备及计算机可读存储介质与上文描述的跌倒检测方法可相互对应参照。

请参考图5，图5为本发明实施例所提供的一种跌倒检测装置的结构框图，该装置可以包括：

人体骨架检测模块501，用于在监控视频流中的各张图像帧中检测人体骨架信息；人体骨架信息包含人体关键点的位置及各人体关键点间的连接关系；

时序检测模块502，用于将连续生成的预设数量的图像帧设置为待判定图像帧，在待判定图像帧间匹配同一人体对象的人体骨架信息，并根据人体对象在待判定图像帧中的人体骨架信息确定人体对象在待判定图像帧间的运动轨迹；

跌倒检测模块503，用于根据运动轨迹及人体对象在最新图像帧中的最新人体骨架信息确定人体对象是否跌倒。

可选地，人体骨架检测模块501，可以包括：

初始化子模块，用于针对待判定图像帧中任意相邻的第一图像帧和第二图像帧，为第一图像帧初始化掩码数组；掩码数组用于记录第一图像帧中已匹配的人体关键点；

查找子模块，用于将第二图像帧中的人体骨架信息所包含的首个人体关键点设置为待匹配关键点，并在第一图像帧中查找与待匹配关键点对应相同关节的候选关键点；候选关键点不位于掩码数组；

设置子模块，用于若未查找到候选关键点，则将第二图像帧中的人体骨架信息所包含的下个人体关键点设置为待匹配关键点，并进入在第一图像帧中查找与待匹配关键点对应相同关节的候选关键点的步骤；

相似度计算子模块，用于若已查找到候选关键点，则计算待匹配关键点与各候选关键点间的相似度；

匹配子模块，用于将待匹配关键点与相似度最高的候选关键点建立匹配关系，将已匹配的候选关键点添加至掩码数组中，将第二图像帧中的人体骨架信息所包含的下个人体关键点设置为待匹配关键点，并进入在第一图像帧中查找与待匹配关键点对应相同关节的候选关键点的步骤。

可选地，相似度计算子模块，可以包括：

距离计算单元，用于根据待匹配关键点的位置和候选关键点的位置，确定待匹配关键点与候选关键点间的欧式距离；

面积计算单元，用于确定根据待匹配关键点所在的人体骨架信息构成的第一姿态边界框以及根据候选关键点所在的人体骨架信息构成的第二姿态边界框，并确定第一姿态边界框的面积和第二姿态边界框的面积中的面积最大值；

相似度计算单元，用于根据如下公式确定待匹配关键点与候选关键点间的相似度：

其中，e为自然常数，distance为欧氏距离，area为面积最大值，σ

可选地，时序检测模块502，可以包括：

中心点确定子模块，用于利用人体对象在各待判定图像帧中的人体骨架信息，确定人体对象在各待判定图像帧中的中心点坐标；

运动轨迹确定子模块，用于根据各待判定图像帧中的中心点坐标确定运动轨迹。

可选地，时序检测模块502，还可以包括：

滤波子模块，用于对人体对象在待判定图像帧中的人体骨架信息进行滤波处理；

输出子模块，用于将处理后的人体骨架信息标记至对应的图像帧中，并将标记后的图像帧输出至显示设备。

可选地，人体骨架检测模块501，可以包括：

检测子模块，用于利用已训练的姿态估计模型在图像帧中识别人体骨架信息。

可选地，跌倒检测模块503，可以包括：

加速度检测子模块，用于根据运动轨迹及监控视频流的图像采集帧率确定人体对象在各待判定图像帧中对应的运动加速度，并判断所有待判定图像帧中对应的运动加速度是否均大于第一预设阈值；

角度检测子模块，用于若确定所有待判定图像帧中对应的运动加速度均大于第一预设阈值，则在最新人体骨架信息中确定肩部关键点、髋部关键点和脚部关键点，并判断肩部关键点和髋部关键点间的第一连线与髋部关键点和脚部关键点间的第二连线所形成的夹角角度是否大于第二预设阈值；

分类检测子模块，用于若确定第一连线与第二连线间的夹角角度大于第二预设阈值，则利用最新人体骨架信息生成人体骨架图，将人体骨架图输入分类模型得到行为类型，并判断行为类型是否为跌倒类型；

判定子模块，用于若确定行为类型为跌倒类型，则判定人体对象跌倒。

请参考图6，图6为本发明实施例所提供的一种电子设备的结构框图，本发明实施例提供了一种电子设备60，包括处理器61和存储器62；其中，所述存储器62，用于保存计算机程序；所述处理器61，用于在执行所述计算机程序时执行前述实施例提供的跌倒检测方法。

关于上述跌倒检测方法的具体过程可以参考前述实施例中提供的相应内容，在此不再进行赘述。

并且，所述存储器62作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，存储方式可以是短暂存储或者永久存储。

另外，所述电子设备60还包括电源63、通信接口64、输入输出接口65和通信总线66；其中，所述电源63用于为所述电子设备60上的各硬件设备提供工作电压；所述通信接口64能够为所述电子设备60创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本发明技术方案的任意通信协议，在此不对其进行具体限定；所述输入输出接口65，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任意实施例的跌倒检测方法的步骤。

由于计算机可读存储介质部分的实施例与跌倒检测方法部分的实施例相互对应，因此存储介质部分的实施例请参见跌倒检测方法部分的实施例的描述，这里不再赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种跌倒检测方法、装置、电子设备及存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。