一种行为识别方法、装置、设备及介质

技术领域

本发明涉及图像处理技术领域，特别涉及一种行为识别方法、装置、设备及介质。

背景技术

在公共安全、医疗监护、交通管控等领域中，常常会使用行为识别算法来监测人们的异常行为。比如：在公共安全领域中，需要使用行为识别算法来检测公共场所中是否出现打架斗殴、盗窃等异常行为；在医疗监护领域，需要使用行为识别算法来检测病人是否出现跌倒、抽搐等异常行为；在交通管控领域中，需要使用行为识别算法来检测道路上是否出现交通事故等异常行为。

在现有技术中，一般是基于RGB(Red Green Blue，红绿蓝色彩模式)图像的行为识别模型来对人们的异常行为检测，但是，该方法会受到周围环境、背景复杂度以及图像采集视角等因素的影响，这样就导致行为识别结果的精确度较差。目前，针对这一技术问题，还没有较为有效的解决办法。

发明内容

有鉴于此，本发明的目的在于提供一种行为识别方法、装置、设备及介质，以进一步提高待识别对象行为识别结果的准确度。其具体方案如下：

一种行为识别方法，包括：

获取待识别对象在连续时间上的图像序列，并利用姿态估计算法提取所述图像序列的关节点，得到目标关节点信息；

提取所述目标关节点信息的时空特征信息，并利用所述时空特征信息构建带有时间维度和空间维度的多维邻接矩阵；其中，所述多维邻接矩阵中的每一个关节点均具有权重；

将所述目标关节点信息划分为不同的区域，并确定各个区域内关节点之间的关联信息以及不同区域关节点之间的关联信息，得到目标关联信息；

对所述多维邻接矩阵和所述目标关联信息进行图卷积操作，得到目标卷积信息，并利用所述目标卷积信息对所述待识别对象的动作进行分类识别。

优选的，所述利用姿态估计算法提取所述图像序列的关节点，得到目标关节点信息的过程，包括：

利用Openpose算法提取所述图像序列的关节点，得到所述目标关节点信息。

优选的，所述提取所述目标关节点信息的时空特征信息，并利用所述时空特征信息构建带有时间维度和空间维度的多维邻接矩阵的过程，包括：

利用第一模型提取所述目标关节点信息的时空特征信息；

其中，所述第一模型的表达式为：

/>

式中，A(v

利用所述时空特征信息和第二模型构建带有时间维度和空间维度的所述多维邻接矩阵；

其中，所述第二模型的表达式为：

式中，U

优选的，所述将所述目标关节点信息划分为不同的区域，并确定各个区域内关节点之间的关联信息以及不同区域关节点之间的关联信息，得到目标关联信息的过程，包括：

将所述目标关节点信息划分为头部区域、左上肢区域、右上肢区域、左下肢区域和右下肢区域；

根据第三模型分别确定所述头部区域、所述左上肢区域、所述右上肢区域、所述左下肢区域和所述右下肢区域内关节点之间的关联信息，并根据第四模型确定所述头部区域、所述左上肢区域、所述右上肢区域、所述左下肢区域和所述右下肢区域中不同区域关节点之间的关联信息，得到所述目标关联信息；

其中，所述第三模型的表达式为：

式中，

所述第四模型的表达式为：

式中，

优选的，还包括：

利用第五模型对所述头部区域、所述左上肢区域、所述右上肢区域、所述左下肢区域和所述右下肢区域中不同区域关节点之间的关联信息作归一化处理；

式中，

优选的，所述利用所述目标卷积信息对所述待识别对象的动作进行分类识别的过程，包括：

利用CNN对所述目标卷积信息进行分类，得到目标分类结果，并利用所述目标分类结果对所述待识别对象的动作进行分类识别。

优选的，还包括：

利用softmax对所述目标分类结果以概率的形式进行展示。

相应的，本发明还公开了一种行为识别装置，包括：

关节点提取模块，用于获取待识别对象在连续时间上的图像序列，并利用姿态估计算法提取所述图像序列的关节点，得到目标关节点信息；

矩阵构建模块，用于提取所述目标关节点信息的时空特征信息，并利用所述时空特征信息构建带有时间维度和空间维度的多维邻接矩阵；其中，所述多维邻接矩阵中的每一个关节点均具有权重；

信息确定模块，用于将所述目标关节点信息划分为不同的区域，并确定各个区域内关节点之间的关联信息以及不同区域关节点之间的关联信息，得到目标关联信息；

行为识别模块，用于对所述多维邻接矩阵和所述目标关联信息进行图卷积操作，得到目标卷积信息，并利用所述目标卷积信息对所述待识别对象的动作进行分类识别。

相应的，本发明还公开了一种行为识别设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如前述所公开的一种行为识别方法的步骤。

相应的，本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前述所公开的一种行为识别方法的步骤。

可见，在本发明中，首先是获取待识别对象在连续时间上的图像序列，并利用姿态估计算法提取图像序列的关节点，得到目标关节点信息；然后，再提取目标关节点信息的时空特征信息，并利用时空特征信息构建带有时间维度和空间维度的多维邻接矩阵；其中，邻接矩阵中的每一个关节点均具有权重；之后，再将目标关节点信息划分为不同的区域，并确定各个区域内关节点之间的关联信息以及不同区域关节点之间的关联信息，得到目标关联信息；最后，再对多维邻接矩阵和目标关联信息进行图卷积操作，得到目标卷积信息，并利用目标卷积信息对待识别对象的动作进行分类识别。相较于现有技术而言，通过本发明所提供的方法就相当于是利用待识别对象的关节点信息对待识别对象的行为进行识别，这样就免去了背景信息和环境信息对行为识别结果的影响。同时，在对待识别对象的行为进行分类识别的过程中不仅使用多维邻接矩阵涵盖了待识别对象在时间和空间维度上的时空特征信息，而且，还对待识别对象在各个区域以及不同区域之间的关节点信息进行了粗粒度和细粒度的划分，所以，通过该方法就可以进一步提高待识别对象行为识别结果的准确度。相应的，本发明所提供的一种行为识别装置、设备及介质，同样具有上述有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的一种行为识别方法的流程图；

图2为本发明实施例所提供的一种行为识别装置的结构图；

图3为本发明实施例所提供的一种行为识别设备的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，图1为本发明实施例所提供的一种行为识别方法的流程图，该方法包括：

步骤S11：获取待识别对象在连续时间上的图像序列，并利用姿态估计算法提取图像序列的关节点，得到目标关节点信息；

步骤S12：提取目标关节点信息的时空特征信息，并利用时空特征信息构建带有时间维度和空间维度的多维邻接矩阵；其中，多维邻接矩阵中的每一个关节点均具有权重；

步骤S13：将目标关节点信息划分为不同的区域，并确定各个区域内关节点之间的关联信息以及不同区域关节点之间的关联信息，得到目标关联信息；

步骤S14：对多维邻接矩阵和目标关联信息进行图卷积操作，得到目标卷积信息，并利用目标卷积信息对待识别对象的动作进行分类识别。

在本实施例中，是提供了一种行为识别方法，利用该方法来对待识别对象的行为进行识别，可以进一步提高待识别对象行为识别结果的准确度。在该方法中，首先是获取待识别对象在连续时间上的图像序列，并利用姿态估计算法提取图像序列中的关节点，得到目标关节点信息。具体的，可以使用DeepPose算法、卷积姿势机器、堆积沙漏网络等算法来提取图像序列中的关节点。

可以理解的是，基于人体关节点的行为识别不仅能够有效过滤掉待识别对象图像序列中的背景信息，而且，还能够将待识别对象的关节点信息进行有效表达，所以，通过此种操作方式就可以提高在对待识别对象进行行为识别时的准确度。

当获取得到了待识别对象的目标关节点信息之后，再提取目标关节点信息的时空特征信息，并利用时空特征信息构建带有时间维度和空间维度的多维邻接矩阵；其中，多维邻接矩阵中的每一个关节点均具有权重。能够想到的是，当提取了目标关节点信息的时空特征信息，并利用时空特征信息构建了带有时间维度和空间维度的多维邻接矩阵之后，不仅可以在多维邻接矩阵中扩大卷积视野，而且，还保留了待识别对象关节点中的重要节点信息。

之后，再将目标关节点信息划分为不同的区域，并确定各个区域内关节点之间的关联信息以及不同区域之间的关联信息，得到目标关联信息。可以理解的是，将目标关节点信息划分为不同的区域就相当于是根据人体结构对目标关节点信息进行了区域划分，确定待识别对象在各个区域内关节点之间的关联信息，就相当于是以粗粒度的形式来表征待识别对象的动作特征，而确定待识别对象在不同区域内关节点之间的关联信息，就相当于是以细粒度的形式来表征待识别对象的动作特征。因此，由各个区域内关节点之间的关联信息以及不同区域关节点之间的关联信息所获取得到的目标关联信息，就可以从粗粒度和细粒度两个层面上去表达待识别对象的关节点信息。

最后，再对多维邻接矩阵和目标关联信息进行图卷积操作，得到目标卷积信息，并利用目标卷积信息和目标关联信息来对待识别对象的动作进行分类识别。能够想到的是，由于图卷积网络(Graph Convolutional Networks，GCN)能够处理具有广义拓扑的图结构数据，具有强大的数据空间抽取能力，所以，通过对多维邻接矩阵和目标关联信息进行图卷积操作之后，就能够进一步丰富待识别对象的姿态行为动作特征，由此也能够利用目标卷积信息对待识别对象的动作进行更为精确的分类识别。

可见，在本实施例中，首先是获取待识别对象在连续时间上的图像序列，并利用姿态估计算法提取图像序列的关节点，得到目标关节点信息；然后，再提取目标关节点信息的时空特征信息，并利用时空特征信息构建带有时间维度和空间维度的多维邻接矩阵；其中，邻接矩阵中的每一个关节点均具有权重；之后，再将目标关节点信息划分为不同的区域，并确定各个区域内关节点之间的关联信息以及不同区域关节点之间的关联信息，得到目标关联信息；最后，再对多维邻接矩阵和目标关联信息进行图卷积操作，得到目标卷积信息，并利用目标卷积信息对待识别对象的动作进行分类识别。相较于现有技术而言，通过本实施例所提供的方法就相当于是利用待识别对象的关节点信息对待识别对象的行为进行识别，这样就免去了背景信息和环境信息对行为识别结果的影响。同时，在对待识别对象的行为进行分类识别的过程中不仅使用多维邻接矩阵涵盖了待识别对象在时间和空间维度上的时空特征信息，而且，还对待识别对象在各个区域以及不同区域之间的关节点信息进行了粗粒度和细粒度的划分，所以，通过该方法就可以进一步提高待识别对象行为识别结果的准确度。

基于上述实施例，本实施例对技术方案作进一步的说明与优化，作为一种优选的实施方式，上述步骤：利用姿态估计算法提取图像序列的关节点，得到目标关节点信息的过程，包括：

利用Openpose算法提取图像序列的关节点，得到目标关节点信息。

可以理解的是，因为Openpose算法不仅是一种免费开源的姿态估计算法，而且，Openpose算法还能够对多个目标对象的关节点进行识别，所以，利用Openpose算法来提取图像序列中的关节点，不仅可以提高在提取待识别对象在图像序列中关节点时的便捷性，而且，也可以提高关节点识别结果的准确度。

具体的，在本实施例中，是将待识别对象在连续时间上的图像序列依次输入至Openpose算法框架中，并由此来提取待识别对象在每一张图像上的关节点，其中，每一张图像上的关节点包括待识别对象的颈部、鼻子、左右眼、左右耳、左右肩、左右肘、左右手、左右腰、左右膝、左右脚，一共18个关节点。这些关节点可以表示为：

式中，

基于上述实施例，本实施例对技术方案作进一步的说明与优化，作为一种优选的实施方式，上述步骤：提取目标关节点信息的时空特征信息，并利用时空特征信息构建带有时间维度和空间维度的多维邻接矩阵的过程，包括：

利用第一模型提取目标关节点信息的时空特征信息；

其中，第一模型的表达式为：

式中，A(v

利用时空特征信息和第二模型构建带有时间维度和空间维度的多维邻接矩阵；

其中，第二模型的表达式为：

式中，U

在本实施例中，为了创建出带有时间维度和空间维度的多维邻接矩阵，首先是利用第一模型提取目标关节点信息的时空特征信息，并定义图卷积网络中的邻域节点。

其中，第一模型的表达式为：

式中，A(v

显然，通过第一模型就可以找到卷积中心点在空间域和时间域中的所有邻域节点，这样也就可以提取出待识别对象所有关节点的时空特征信息。由于传统图卷积网络中邻域节点只包含一阶邻域，这样就使得每个关节点的感受野非常有限，并且，传统图卷积网络中邻接矩阵的矩阵元素中只有0和1两种数值，很难反映关节点之间的相互关系。因此，在本实施例中，是利用提取到的时空特征信息创建了带有时间维度和空间维度的多维邻接矩阵。

在创建带有时间维度和空间维度的多维邻接矩阵时，首先是计算卷积中心点v

其中，第二模型的表达式为：

式中，U

通过上述过程就可以得到带有距离权重信息以及带有时间维度和空间维度的多维邻接矩阵。也即，通过上述过程就可以使得多维邻接矩阵中的每一个关节点都有自己的权重，此操作的目的是让图卷积网络能够更加差异化地对待每一个关节点信息，从而对那些具有更强识别能力的关节点赋予更多的关注。

需要说明的是，在传统的图卷积网络中，图卷积网络是由节点和边组成，邻域节点表示与某个关节点相邻的关节点，邻接矩阵表示用矩阵形式表示某个关节点与邻域节点之间的关联信息，也即，邻接矩阵表示用矩阵形式表示某个关节点与邻域节点之间的权重信息。对于传统的图卷积网络，只会在空间维度上寻找邻域节点来构建邻接矩阵，从而得到在空间维度上的特征信息。而在本实施例中，除了在空间维度上寻找邻域节点之外，还在时间维度上寻找邻域节点来构建邻接矩阵，进而得到在时间维度上的特征信息。

换言之，在本实施例中，是在同一帧图像中利用图卷积寻找到的邻域节点v

作为一种优选的实施方式，上述步骤：将目标关节点信息划分为不同的区域，并确定各个区域内关节点之间的关联信息以及不同区域关节点之间的关联信息，得到目标关联信息的过程，包括：

将目标关节点信息划分为头部区域、左上肢区域、右上肢区域、左下肢区域和右下肢区域；

根据第三模型分别确定头部区域、左上肢区域、右上肢区域、左下肢区域和右下肢区域内关节点之间的关联信息，并根据第四模型确定头部区域、左上肢区域、右上肢区域、左下肢区域和右下肢区域中不同区域关节点之间的关联信息，得到目标关联信息；

其中，第三模型的表达式为：

式中，

第四模型的表达式为：

式中，cos(x

在本实施例中，是将目标关节点信息划分为5个区域，也即，是将目标关节点信息划分为头部区域、左上肢区域、右上肢区域、左下肢区域和右下肢区域，并分别用x

可以理解的是，由于同一个肢节或同一个区域内的关节点运动会高度相似，所以，在同一个区域可以获取得到固定关节点与该区域内其它关节点之间的向量，此处使用

之后，再计算区域x

根据第三模型

为了得到不同区域关节点之间的关联信息，首先是获取每个区域内的中心节点，并计算每个区域中心节点之间的向量，即可得到各个区域之间的相对方向以及相对位置信息，其中各个区域之间的相对方向以及相对位置信息即表示不同区域中关节点之间的关联信息。此处以计算区域x

作为一种优选的实施方式，上述行为识别方法还包括：

利用第五模型对头部区域、左上肢区域、右上肢区域、左下肢区域和右下肢区域中不同区域关节点之间的关联信息作归一化处理；

式中，

在本实施例中，为了便于后续过程中对待识别对象的动作进行分类识别，还可以对不同区域之间的关联信息作归一化处理。在对不同区域之间的关联信息作归一化处理的过程中，可以先计算

此处以对区域x

在对待识别对象进行行为识别时，将最终所得到的多维邻接矩阵和目标关联信息输入至图卷积网络进行图卷积操作，就可以根据目标卷积信息对待识别对象的动作进行分类识别。需要说明的是，在传统的图卷积网络中，层与层之间的传播方式为：

式中，U表示邻接矩阵U与单位矩阵I的相加，D为U的度矩阵，H

在本申请中，由于将图卷积网络中的邻接矩阵替换为带有时间维度和空间维度的多维邻接矩阵，并对各个区域以及不同区域之间的关联信息进行更为细致的划分，所以，图卷积网络中层与层之间的传播方式为：

式中，U表示邻接矩阵U与单位矩阵I的相加，D为U的度矩阵，H

基于上述实施例，本实施例对技术方案作进一步的说明与优化，作为一种优选的实施方式，上述步骤：利用目标卷积信息对待识别对象的动作进行分类识别的过程，包括：

利用CNN对目标卷积信息进行分类，得到目标分类结果，并利用目标分类结果对待识别对象的动作进行分类识别。

具体的，在本实施例中，是利用CNN(Convolutional Neural Network，卷积神经网络)对目标卷积信息进行分类，得到目标分类结果，并利用目标分类结果来对待识别对象的动作进行分类识别。因为CNN以其局部权值共享的特殊结构在图像处理方面有着独特的优越性，其布局更加接近于实际的生物神经网络，权值共享降低了网络的复杂性，所以，利用CNN来对待识别对象进行行为识别时，不仅可以提高待识别对象行为识别结果的准确性与可靠性，而且，也可以降低在对待识别对象进行行为识别时的算法复杂度。

具体的，可以将CNN设置为2层结构、将CNN中的卷积核设置为3*3的卷积核，并以此设置参数来对待识别对象的动作进行行为识别。

作为一种优选的实施方式，上述行为识别方法还包括：

利用softmax对目标分类结果以概率的形式进行展示。

在本实施例中，为了进一步提高用户在查看待识别对象行为识别结果时的用户体验，在使用CNN对待识别对象的动作进行分类识别之后，还可以使用softmax对目标分类结果以概率的形式进行展示。

能够想到的是，通过这样的设置方式就可以使得工作人员能够清楚地查看到待识别对象在各种行为状态下所属的概率。显然，通过本实施例所提供的技术方案不仅可以使得工作人员能够更好地对待识别对象进行行为识别，而且，也可以进一步提高工作人员在对待识别对象进行行为识别时的用户体验。

请参见图2，图2为本发明实施例所提供的一种行为识别装置的结构图，该装置包括：

关节点提取模块21，用于获取待识别对象在连续时间上的图像序列，并利用姿态估计算法提取图像序列的关节点，得到目标关节点信息；

矩阵构建模块22，用于提取目标关节点信息的时空特征信息，并利用时空特征信息构建带有时间维度和空间维度的多维邻接矩阵；其中，多维邻接矩阵中的每一个关节点均具有权重；

信息确定模块23，用于将目标关节点信息划分为不同的区域，并确定各个区域内关节点之间的关联信息以及不同区域关节点之间的关联信息，得到目标关联信息；

行为识别模块24，用于对多维邻接矩阵和目标关联信息进行图卷积操作，得到目标卷积信息，并利用目标卷积信息对待识别对象的动作进行分类识别。

本发明实施例所提供的一种行为识别装置，具有前述所公开的一种行为识别方法所具有的有益效果。

请参见图3，图3为本发明实施例所提供的一种行为识别设备的结构图，该设备包括：

存储器31，用于存储计算机程序；

处理器32，用于执行计算机程序时实现如前述所公开的一种行为识别方法的步骤。

本发明实施例所提供的一种行为识别设备，具有前述所公开的一种行为识别方法所具有的有益效果。

相应的，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如前述所公开的一种行为识别方法的步骤。

本发明实施例所提供的一种计算机可读存储介质，具有前述所公开的一种行为识别方法所具有的有益效果。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种行为识别方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。