一种关节点分类和关节点推理的人体姿态估计分析方法

技术领域

本发明涉及一种智能分析视频场景中行人体姿态的方法，属于智能安防领域。

背景技术

随着人工智能的快速发展，图像处理的比重不断扩大。如何让机器按照人的思维去识别图像，并且准确率高于人的观察，是计算机视觉领域中不断突破的难题。

现如今安防领域监控摄像头的覆盖面不断扩大，也是不可缺少的社会必需品，同时产生的视频数据呈指数式增长。但是，绝大多数的摄像头都是传输媒介，并不是一个智能摄像头，不能对视频场景中行人姿态做出准确的分析。如果将这些有效的视频数据利用起来，将视频中的行人的行为做出准确的判断，如果行为异常，可以触发警示系统，这样可以极大的提高公共场所的安全指数。

在深度学习快速发展之前，行人姿态估计分析都是借助传统的图像处理技术，采用一些形状建模，模板匹配的方法来评估人体的姿态，鲁棒性不好，效果差，在复杂的现实场景中不能有很好的表现，并未得到很好的应用。现在随着技术的发展，研究多人姿态估计方面一般采用自上而下或者自下而上两种方法。前者这种方法有利于关节点定位和内在关联比较明确，只要将目标人物锁定，那么姿态估计就变得相对容易。但是，这种方法不适于拥挤的环境下，这样的情况下效果不是很好；后者对于多人姿态估计，不需要对人物进行标注，只需要对人体关键点检测和聚类，而难点在于如何能正确挑选出属于一个人的关节点。

发明内容

本次采用的自下而上的方法进行人体姿态估计。针对此方法的难点在于关节点聚类，提出了一种可以分析行人姿态估计的方法。

本发明采用的技术方案为一种关节点分类和关节点推理的人体姿态估计分析方法，一个分支负责检测人体关节点，一个分支负责对关节点进行聚类。

S1，将视频帧中的行人输入卷积神经网络中检测人体关节点，网络输出所有行人的关节点的位置信息和方向信息；将关节点位置信息进行两两相减取绝对值，获得几组相等的坐标信息，将这些相等的关节点位置信息标注为固定关节点，其余标注为非固定关节点。

S2，通过S1获得固定关节点，将这些固定关节点作为人体姿态初步框架。然后通过人体姿态初步框架推理属于本人的非固定关节点。人体姿态的初步框架中的关节点包含着方向信息，通过两个关节点之间的方向信息，形成一组肢体，然后肢体的关节点与其他的关节点之间具有方向信息，进行两两部位连接。

S3，由S2得到肢体信息组。利用肢体之间的共享关节点进行两两肢体部位连接甚至两段关节部位的连接，从而人体姿态的初步框架寻找到属于自己的“非固定关节点”，获得行人的人体姿态估计。

采用自上而下的方法实现人体姿态估计。这种实现的人体姿态估计方法的思想就是首先检测出人体关节点位置坐标，然后将人体的关节点聚类，从而判断出这个人的姿态(或行为)。具体如下：

首先，截取视频帧中的行人一帧尺寸为w*h(w代表图片的宽度，h代表图片的高度)输入到卷积神经网络中，输出图像中所有的关节点，输出的关节点信息中既包含着位置信息又有方向信息。位信息如公式(1)：

L＝(L

其中L代表关节点的位置信息，L

关节点的方向信息如公式(2)：

D＝(D

其中D表示关节点和关节点的方向信息，D

从图像中检测出人体的所有关节点的坐标，两两坐标进行绝对值计算。例如关节点L

(x

通过公式(3)式可以计算出检测的所有关节点坐标的差值计算。在这些结果中，其中至少有4对坐标是相同的(在误差范围之内)，就是上述中的人体初步姿态框架。比如鼻子的坐标是L

根据公式(3)可以推出4组坐标是相等的。分别是左右耳朵，左右眼睛，左右肩膀，和左右臀部与鼻子和脖子计算得出来的。那么将其4组分为一组，其余的为另一组。如下形式，

上述的式子(1)为“固定关节点”，式子(2)称为“非固定关节点”。其中，式子(1)中(x

本发明的主要创新在于通过“固定关节点”寻找“非固定关节点”。其中，“固定骨骼关节点”包括左右眼睛，左右耳朵，左右肩膀和左右臀部；“非固定关节点”包括鼻子，左右手肘，左右手腕，左右膝盖，左右脚踝，脖子。主要是行人中那些“固定关节点”相对于“非固定关节点”的位置是相对不变的，不像手腕、膝盖等关节点是随着行人的动作变化而发生着改变。

考虑到在复杂的行人场景中，可能有不止一个关节点是不在视野的，也就是关节点遮挡的问题。得到式子(1)和式子(2)这样的关节点信息是不现实的。对于关节点的遮挡将不利于“固定关节点”的定位。像一个人的左肩或者左肩和左臀被遮挡了，在这种情况下研究起来是有难度的。

对于上诉的困难，解决的主要思想就是数据增强。第一种就是将难以检测关节点重新复制喂入网络中，这样有助于训练数据提高网络的学习能力。第二种就是人工插入关节点坐标，对于“固定关节点”来说，可能是左右肩膀或者左右臀部检测到一个部位，根据对称性可以人工插入对应的关节点坐标。如图4人工插入关节点图，遮挡了人的右肩膀关节点，解决的方法就是人工标定关节点。再加入模型中进行训练，增强数据从而获得更加准确的人体姿态估计。

根据对称性来进行人工插入关节点，这个时候需要一个辅助关节点坐标F＝(x

|K-F|＝|U-F| 公式(4)由公式(2)坐标点之间的距离相等，计算出x

通过“固定关键点”寻找属于式子(1)的“非固定关节点”，进而推测出人体的18个关节点的姿态信息。利用公式(2)关节点与关节点之间的方向信息，以及共享关节点的信息，进行关节点检索，进而查询到属于自己的关节点。如式子(3)所示

(x

然而在视频中得到行人的动态信息。所以采取的策略是在行人时序序列上的特征变化采取间隔一秒的帧截取，每帧的处理如上所述，得到行人的动态特征变化。之后将2*18维的特征向量后面的视频帧与前面的视频帧做差值的绝对值计算，具体如公式(5)，

其中，

其中(x

与现有技术相比较，本发明提出了一种在人体姿态估计中关节点聚类的思想，先是确定人体的初步框架，也就是“固定关节点”，然后根据“固定关节点”推测“非固定关节点”，从而检测出整个人的姿态或是行为。对于这个行人的行为，通过后台监视作出判断，如果是异常行为，那么可以出发相关的报警信号，达到一个智能的人体行为分析系统。在安防领域，可以辅助安保人员完成工作，提高安保质量，并且能24小时不断的监控周围环境，避免安保人员疲劳带来的隐患。

附图说明

图1是姿态估计模型图。

图2是固定关节点图。

图3是非固定关节点图。

图4是人工插入关节图。

具体实施方式

结合附图对本发明的具体实施进行详细的描述。对人体姿态进行估计，借助PAF算法思想，该算法有上下两个分支，一个分支负责检测人体骨骼关节点，一个分支负责对关节点聚类，如图1所示。

S1，对视频中的行人进行关节点检测，得到所有人的关节点的位置信息和方向信息；将关节点位置信息进行两两相减，之后取绝对值。这样会得到几组相等的坐标信息，将这些相等的位置信息作为“固定关节点”。如图2所示，“固定关节点”图(黑色圆圈)，其余的标注为“非固定关节点”，分成两类。“非固定关节点”图(白色圆圈)，如图3。

S2，通过S1确定的人体初步框架，推理“非固定关节点”。根据人体的初步框架，其中的关节点具有方向信息，通过两个关节点之间的方向信息，进行两两部位连接；此外，利用共享关节点与其他两个关节点的位置和方向信息，进行两两部位连接甚至两段关节部位的连接。

S3，人体的初步框架寻找到属于自己的“非固定关节点”，进而得到行人的姿态估计。