基于关键动作特征与位置信息的单人运动图像摘要方法

技术领域

本发明涉及图像摘要技术领域，具体地，涉及一种基于关键动作特征与位置信息的单人运动图像摘要方法。

背景技术

在传统体育项目教学中，对其动作姿势是否标准的评估依赖于教练的个人经验及眼力，缺乏量化的评估标准，难以准确有效地评估其动作的规范性并给出合理的改进意见，基于视觉的人体姿态评估，为体育项目教学及指导提供了一种全新的交互方式，需要一种结合人体姿态识别地图像摘要方法，能够更专业、更智能、更具有针对性的对运动动作进行有效的评估，同时生成图像摘要可以让用户更直观的看到自己动作的不足，便于改正动作。

发明内容

基于以上所述，针对学校教学智能化、数据化的迫切需求，本申请创新性的将图像摘要技术与人体姿态识别技术结合在一起，设计并实现了一种基于关键动作特征与位置信息的单人运动图像摘要方法。

为解决上述技术问题，本发明采用以下技术方案：

第一方面，提供一种基于关键动作特征与位置信息的单人运动图像摘要方法，包括：

步骤1：对输入的待检测运动人员s的单人运动视频V进行特征提取得到每一帧的特征信息；

步骤2：对所述每一帧的特征信息与预构建的数据库中m个标准动作关键点间的特征信息进行相似性评估，确定m个关键动作帧，并基于所述确定的m个关键动作帧获取关键动作帧中运动人员s的位置信息P；其中所述数据库中m个标准动作关键点间的特征信息包括m个标准动作关键点间的距离特征和角度特征；

步骤3：对视频V进行背景建模和目标轨迹提取，得到背景图片BG和运动人员s轨迹位置信息；

步骤4：根据关键动作帧中的运动人员s的位置信息P与运动人员s轨迹位置信息的空间关系进行轨迹重排，将符合要求的轨迹位置Q

步骤5：将重排轨迹与背景图片BG进行泊松融合，生成包含所有关键动作的图像摘要。

在一些实施例中，步骤1包括：对输入的待检测运动人员s的单人运动视频V＝[f

进一步地，所述步骤1中，基于openpose算法进行特征提取，M为18。

在一些实施例中，步骤2包括：对所述每一帧的特征信息与预构建的数据库中m个标准动作关键点间的特征信息进行相似性评估，确定m个关键动作帧[f′

基于所述确定的m个关键动作帧获取关键动作帧中运动人员s的位置信息P＝[P

在一些实施例中，所述步骤2中，基于所述确定的m个关键动作帧获取关键动作帧中运动人员s的位置信息P＝[P

对m个关键动作帧[f′

其中C是协方差矩阵，

通过协方差矩阵C求解特征值和特征向量，最大特征值对应的特征向量的方向即为包围盒的主轴方向，得到确定的二阶方向矩阵

将运动人员s的像素点坐标点投影到方向向量上，找到x，y分量在每个方向上的最大值v

得到关键动作帧运动人员s的位置信息P＝[P

在一些实施例中，所述步骤4包括：

关键动作帧中运动人员s的位置信息P＝[P

根据关键动作帧中的运动人员s的位置信息P和任意运动人员s的轨迹位置信息Q

a.无碰撞；

b.相交碰撞；

c.重叠碰撞；

判断位置信息P和运动人员s的轨迹位置信息Q

a)如果轨迹Q

b)如果运动人员s的轨迹Q

b1)将碰撞率OR小于阈值T的轨迹Q

b2)如果运动人员s的轨迹Q

进一步地，在一些实施例中，判断位置信息P和运动人员s的轨迹位置信息Q

对位置信息P中的每个P

其中

满足上式条件，表示无碰撞；不满足上式条件，则表示存在碰撞。

进一步地，在一些实施例中，碰撞率OR的计算方法为：

其中m是位置信息P中P

第二方面，本发明提供了一种基于关键动作特征与位置信息的单人运动图像摘要装置，包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行根据第一方面所述方法的步骤。

第三方面，本发明提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述方法的步骤。

有益效果：本发明提供的基于关键动作特征与位置信息的单人运动图像摘要方法，具有以下优点：针对学校教学智能化、数据化的迫切需求，本申请创新性的将图像摘要技术与人体姿态识别技术结合在一起，设计并实现了一种基于关键动作特征与位置信息的单人运动图像摘要方法。

附图说明

图1为本发明实施例提供的一种基于关键动作特征与位置信息的单人运动图像摘要方法具体实施的整体流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

实施例1

一种基于关键动作特征与位置信息的单人运动图像摘要方法，包括：

步骤1：对输入的待检测运动人员s的单人运动视频V进行特征提取得到每一帧的特征信息；

步骤2：对所述每一帧的特征信息与预构建的数据库中m个标准动作关键点间的特征信息进行相似性评估，确定m个关键动作帧，并基于所述确定的m个关键动作帧获取关键动作帧中运动人员s的位置信息P；其中所述数据库中m个标准动作关键点间的特征信息包括m个标准动作关键点间的距离特征和角度特征；

步骤3：对视频V进行背景建模和目标轨迹提取，得到背景图片BG和运动人员s轨迹位置信息；

步骤4：根据关键动作帧中的运动人员s的位置信息P与运动人员s轨迹位置信息的空间关系进行轨迹重排，将符合要求的轨迹位置Q

步骤5：将重排轨迹与背景图片BG进行泊松融合，生成包含所有关键动作的图像摘要。

在一些实施例中，一种基于关键动作特征与位置信息的单人运动图像摘要方法，如图1所示，首先对输入视频中的运动人员进行特征提取和动作相似性评估；然后获取关键动作帧中运动人员的位置信息；对输入的视频进行背景建模和目标轨迹提取；对关键动作帧中运动人员的位置信息与目标轨迹进行碰撞检测，无碰撞的轨迹直接加入重排轨迹，如果有碰撞，则依据碰撞率公式对目标轨迹与关键动作帧中所有的位置进行碰撞率检测，如果碰撞率小于阈值，就将这一目标轨迹加入重排轨迹，如果碰撞率大于或等于阈值，就舍弃这一轨迹；最后对重排轨迹与背景图片进行泊松融合，生成包含所有关键动作的图像摘要。生成包含所有关键动作的图像摘要。具体实施包含以下步骤：

步骤1：对运动人员s的单人运动视频V＝[f

获取f

其中D

其中A

在一些实施例中，基于openpose算法进行特征提取，openpose中关键点数为18，因此，M为18。

步骤2：对所述每一帧的特征信息与预构建的数据库中m个标准动作关键点间的特征信息进行相似性评估，获取到m个关键动作帧[f′

根据对动作的相似性评估结果，获取m个关键动作帧[f′

其中f′

进一步地，所述获取关键动作图像中运动人员s的位置信息P具体包括：

为了对动作人员s的包裹更具紧密性，使得后续碰撞检测更加精确，对关键动作帧[f′

其中C是协方差矩阵，

通过协方差矩阵求解特征值和特征向量，最大特征值对应的特征向量的方向即为包围盒的主轴方向。假设将确定的方向向量记为

对关键动作帧[f′

每个P

步骤3：对输入的视频V进行背景建模和目标轨迹提取，得到背景图片BG和运动人员s轨迹的位置信息[Q

a.背景模型初始化：初始化单帧图像中每个像素点的背景模型。对于一个像素点，随机的选择它的邻居点的像素值作为它的模型样本值。

b.前景检测过程：对后续的图像序列进行前景目标分割操作。背景模型为每个背景点存储一个样本集，然后每个新的像素值和样本集比较判断是否属于背景。

进一步地，获取到背景图片BG和运动人员s轨迹的位置信息[Q

其中Q

步骤4：根据关键动作帧中的运动人员s的位置信息P与运动人员s轨迹位置信息[Q

对于位置信息P和任意运动人员s的轨迹Q

a.无碰撞。

b.相交碰撞。

c.重叠碰撞。

根据位置信息P和运动人员s的轨迹Q

根据式(5)，来判断位置信息P和运动人员s的轨迹Q

其中

对位置信息P中的每个P

进一步地，如果运动人员s的轨迹Q

其中m是位置信息P中P

将碰撞率OR小于阈值T的轨迹Q

进一步地，如果运动人员s的轨迹Q

步骤5：对重排轨迹与背景图片BG进行泊松融合，生成包含所有关键动作的图像摘要。

实施例2

第二方面，本实施例提供了一种基于关键动作特征与位置信息的单人运动图像摘要装置，包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行根据实施例1所述方法的步骤。

实施例3

第三方面，本实施例提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。