一种基于UKF神经网络的人体动作识别与评估方法、装置

技术领域

本发明属于人体动作评估领域，尤其涉及一种基于UKF神经网络的人体动作识别与评估方法、装置。

背景技术

随着人工智能技术的不断进步和发展，人体动作识别技术取得了突破性的进展。人体动作识别即通过对图像序列进行处理来提取人体特征，并且识别人体所进行的动作。而在识别出人体动作后，通过进一步地分析该动作与参考动作之间的相似性，来实现人体动作的评估。人体动作的识别与评估在智能监控、服务机器人、运动训练分析和人机交互领域有广泛的应用价值。

早期的人体动作识别技术主要是利用对图像视频的研究和分析，来实现人体动作的识别。然而，由于背景的复杂多样、环境光照的影响以及深度信息的缺乏，通常一些传统的人体动作识别技术难以准确地从彩色图像识别中获得人体的姿态。随着3D视觉传感器设备的发展，深度图像为人体动作识别提供了更丰富的目标信息，基于更易于获取人体姿态的信息。但由于深度图像缺乏纹理、颜色等图像特征，容易将形如人体或人体部位的物品识别为人体，同时遮挡、手持物品也可能造成误识别。另一方面，在行为评估方面，现在方法主要采用距离度量的方法评估运动轨迹的相似性，但由于用于评估的人体动作参数存在一定的不确定性(如，误识别、光照影响等)，使得人体动作评估效果的不理想。虽然人体行为识别与评估已经被广泛应用于各领域，但目前，还没有技术能够有效地融合RGB-D相机中的彩色和深度信息来实现准确且鲁棒的人体动作识别和评估。

发明内容

针对现有技术不足，本发明提供了一种基于UKF神经网络的人体动作识别与评估方法、装置。

为实现上述目的，本发明的技术方案为：本发明实施例的第一方面提供了一种基于UKF神经网络的人体动作识别与评估方法，所述方法包括以下步骤：

步骤1)分别建立人体各关节点运动学模型，以及基于深度图像的量测模型，确定它们各自的过程噪声协方差Q

步骤2)根据人体各关节点运动学模型，通过UT变换计算出k时刻各关节点的Sigma点集

步骤3)基于深度图像的量测模型得到的各关节点i的量测信息

步骤4)根据步骤2)和步骤3)得到的各关节点的状态预测值和状态估计值，利用所构建的UKF网络获取动作识别结果，并且判断识别结果是否与上一时刻相同；若结果为否，则计算相似度评分，反之则返回步骤2)计算下一时刻的状态预测值和估计值。

进一步地，所述步骤1中，所述人体关节点运动学模型和基于深度图像的量测模型是RNN神经网络模型，以k时刻的人体关节点i的状态作为RNN神经网络的输入，k+1时刻的人体关节点i的状态作为RNN神经网络的期望输出；其中，i表示人体各关节点的标号，人体各关节点包括头关节、胸椎关节、肩关节、肘关节、腕关节、骶椎关节、髋关节、膝关节、踝关节，共15个人体关节点，n＝15为需要估计的人体关节点数量；人体关节点i的状态为在3D视觉传感器的深度相机坐标系下x，y，z轴坐标信息。

进一步地，所述人体各关节点运动学模型为：

基于深度图像的量测模型为：

x

其中，

进一步地，在步骤2中具体包括以下子步骤：

(2.1)计算2n+1个Sigma点

其中，P为协方差矩阵，

(2.2)计算采样点对应的权值ω：

其中，

(2.3)继而计算出基于深度图像信息的人体关节点i的状态预测值

进一步地，所述步骤3中读取深度图像下各关节点的信息

进一步地，步骤4中相似度评分是根据S＝as+b|T-T

进一步地，运动相似度s表示为：

其中，

本发明实施例的第二方面提供了一种基于UKF神经网络的人体动作识别与评估装置，＝包括一个或多个处理器，用于上述的基于UKF神经网络的人体动作识别与评估方法。

本发明实施例的第三方面提供了一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时，用于实现上述的基于UKF神经网络的人体动作识别与评估方法。

本发明的有益效果为：本发明提供一种基于UKF神经网络的人体动作识别与评估方法，针对高效地基于UKF神经网络进行人体姿态估计并解决评估过程中需要考虑采样率、轨迹的时间对齐等问题，采用基于事件触发机制的RGB-D图像特征融合的算法得到基于UKF神经网络的人体动作识别与评估方法，有效地提高了人体动作识别与评估的精确度和鲁棒性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是基于UKF神经网络的人体姿态估计流程图；

图2是人体动作相似性评估流程图；

图3是本发明一实施例中的一种基于UKF神经网络的人体动作识别与评估装置的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。

基于UKF神经网络的人体姿态估计流程图如图1所示，人体动作相似性评估流程图如图2所示。参照图1、图2，一种基于UKF神经网络的人体动作识别与评估方法，所述方法包括以下步骤：

步骤1)分别建立人体各关节点运动学模型，以及基于深度图像的量测模型，确定它们各自的过程噪声协方差Q

所述人体各关节点运动学模型，以及基于深度图像的量测模型均为RNN神经网络模型。

具体地，利用RNN神经网络模型，以k时刻的人体关节点i的状态作为神经网络的输入，k+1时刻的人体关节点i的状态作为神经网络的期望输出，得到各关节点运动学模型的函数f

从而，建立人体关节点的运动学模型和基于彩色图像的量测模型:

x

其中，

其中，i表示人体各关节点的标号，人体各关节点包括头关节、胸椎关节、肩关节、肘关节、腕关节、骶椎关节、髋关节、膝关节、踝关节，共15个人体关节点，n＝15为需要估计的人体关节点数量。

步骤2)根据人体各关节点运动学模型，通过UT变换(Unscented Transformation)计算出k时刻各关节点的Sigma点集

所述的UT变换(Unscented Transformation)是用固定数量的参数支近似成一个高斯分布的方法：在原先分布中按某一规则取一些点，使这些点的均值为协方差状态分布与原状态分布的均值和协方差相等，将这些点代入非线性函数中，相应得到非线性函数值点集，通过这些点集可求取变换的均值和协方差。

具体包括以下子步骤：

(2.1)计算2n+1个Sigma点

其中，P为协方差矩阵，

(2.2)计算采样点对应的权值ω：

其中，

(2.3)继而基于人体关节点的初始状态

步骤3)基于深度图像的量测模型读取深度图像下各关节点的量测信息

步骤4)根据步骤2)和步骤3)得到的各关节点的状态预测值和状态估计值，利用所构建的UKF神经网络(Unscented Kalman Filter，无损卡尔曼滤波)获取动作识别结果，并且判断识别结果是否与上一时刻相同。结果为否，则计算相似度评分，反之则返回步骤2计算下一时刻的状态预测值和估计值：

如图2所示，计算相似度评分的过程具体为：根据评估动作，选取不同的关节点作为评估特征。假设选取的关节点数为m个，将这m个关节点的预测估计值

将m个关节点的状态估计值

令一个动作完成的离散时间表示为k＝1,2,…,K，根据需评估动作的预测估计序列和滤波后的状态估计序列，运动相似度s表示为：

其中，

由于动作完成的时间长度也是评估的指标之一，所以将其与相似度s进行加权得到最终相似度评分成绩S：

S＝as+b|T-T

其中，a，b为加权的权值，T为需评估动作序列的帧数，T

与前述基于UKF神经网络的人体动作识别与评估方法的实施例相对应，本发明还提供了基于UKF神经网络的人体动作识别与评估装置的实施例。

参见图3，本发明实施例提供的一种基于UKF神经网络的人体动作识别与评估装置，包括一个或多个处理器，用于实现上述实施例中的基于UKF神经网络的人体动作识别与评估方法。

本发明基于UKF神经网络的人体动作识别与评估装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本发明基于UKF神经网络的人体动作识别与评估装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于UKF神经网络的人体动作识别与评估方法。

所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card)等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。