一种跳跃状态识别方法、系统、电子设备及存储介质

技术领域

本发明涉及人工智能技术领域，尤其是一种跳跃状态识别方法、系统、电子设备及存储介质。

背景技术

随着人工智能技术的快速发展，人机交互游戏的人机界面也从用键盘、鼠标控制人物移动的方式逐渐发展到通过摄像头识别用户动作从而控制人物运动。在人机交互游戏中，如酷跑类游戏中，需要用户进行跳跃、转向等操作，通过人机智能设备运用3D效果，给用户一种超真实的动感体验。但是相关技术中需要通过传感器识别用户的跳跃动作，需要识别的关键点较多，存在计算量大，计算复杂且效率低下等问题。综合上述，相关技术中存在的技术问题亟需得到解决。

发明内容

有鉴于此，本发明实施例提供一种跳跃状态识别方法、系统、电子设备及存储介质，以实现提高跳跃状态识别的处理效率。

一方面，本发明提供了一种跳跃状态识别方法，所述方法包括：

获取待识别图像集合；

通过预先训练的神经网络识别模型对所述待识别图像集合进行识别处理，得到识别关节点集合，所述识别关节点集合包括髋关节点、膝关节点和踝关节点；

对所述识别关节点集合中同一张图像的每两个识别关节点进行连线处理，得到连线图像集合；

对所述连线图像集合进行跳跃状态分析处理，得到跳跃状态识别结果。

可选地，所述获取待识别图像集合，包括：

通过预设的摄像头获取待识别视频；

对所述待识别视频进行截图提取处理，得到待识别图像集合。

可选地，在所述通过预先训练的神经网络识别模型对所述待识别图像集合进行识别处理，得到识别关节点之前，还包括对所述神经网络识别模型进行训练，步骤包括：

获取肢体图像训练集，所述肢体图像训练集包括人体髋关节及以下部分的肢体图像；

将所述肢体图像训练集输入到所述神经网络识别模型，对所述肢体图像训练集中的髋关节点、膝关节点和踝关节点进行识别，得到关节点识别结果；

根据所述关节点识别结果和所述肢体图像训练集的标签确定训练的损失值；

根据所述损失值对所述神经网络识别模型的参数进行更新。

可选地，所述对所述连线图像集合进行跳跃状态分析处理，得到跳跃状态识别结果，包括：

对所述连线图像集合进行状态分析处理，得到每一张连线图像的状态分析结果；

当所述连线图像的状态为屈腿状态时，获取所述连线图像的前一帧图像与后一帧图像；

当所述前一帧图像与后一帧图像的状态分析结果均为直立状态时，得到所述连线图像的跳跃状态识别结果为跳跃动作。

可选地，对所述连线图像集合进行状态分析处理，得到每一张连线图像的状态分析结果，包括：

从所述连线图像集合中获取得到每一张连线图像；

获取所述连线图像中髋关节点到膝关节点的连线与膝关节点到踝关节点的连线所形成的夹角为连线夹角；

当所述连线夹角小于第一预设阈值时，判断所述连线图像的状态分析结果为曲腿状态；

当所述连线夹角大于第二预设阈值时，判断所述连线图像的状态分析结果为直立状态。

可选地，所述方法还包括：

获取跳跃状态识别结果为跳跃动作的连线图像；

根据所述连线图像中膝关节点位置和髋关节点和踝关节点的连线进行跳跃方向判断处理，得到跳跃动作方向。

另一方面，本发明实施例还提供了一种跳跃状态识别系统，包括：

第一模块，用于获取待识别图像集合；

第二模块，用于通过预先训练的神经网络识别模型对所述待识别图像集合进行识别处理，得到识别关节点集合，所述识别关节点集合包括髋关节点、膝关节点和踝关节点；

第三模块，用于对所述识别关节点集合中同一张图像的每两个识别关节点进行连线处理，得到连线图像集合；

第四模块，用于对所述连线图像集合进行跳跃状态分析处理，得到跳跃状态识别结果。

可选地，所述第一模块，用于获取待识别图像集合，包括：

第一单元，通过预设的摄像头获取待识别视频；

第二单元，对所述待识别视频进行截图提取处理，得到待识别图像集合。

另一方面，本发明实施例还公开了一种电子设备，包括处理器以及存储器；

所述存储器用于存储程序；

所述处理器执行所述程序实现如前面所述的方法。

另一方面，本发明实施例还公开了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。

另一方面，本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明实施例通过获取待识别图像集合；通过预先训练的神经网络识别模型对所述待识别图像集合进行识别处理，得到识别关节点集合，所述识别关节点集合包括髋关节点、膝关节点和踝关节点；对所述识别关节点集合中同一张图像的每两个识别关节点进行连线处理，得到连线图像集合；对所述连线图像集合进行跳跃状态分析处理，得到跳跃状态识别结果。本发明实施例通过神经网络识别模型对髋关节点、膝关节点和踝关节点进行识别处理，减少了需要识别的关键点，并根据识别得到的关节点连线进行跳跃状态分析，提高了跳跃状态识别的处理效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种跳跃状态识别方法的流程图；

图2是本申请实施例提供的一种直立状态的识别示意图；

图3是本申请实施例提供的一种朝左侧跳跃的识别示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在相关技术中，对于人机互动游戏中需要判断用户是否进行相应的操作完成跳跃动作，但是相关方法中通过传感器对用户动作进行识别，需要识别的人体骨骼关键点多，计算量大，计算复杂，步骤繁多，计算效率低。

有鉴于此，参照图1，本发明实施例提供一种跳跃状态识别方法，包括：

S101、获取待识别图像集合；

S102、通过预先训练的神经网络识别模型对所述待识别图像集合进行识别处理，得到识别关节点集合，所述识别关节点集合包括髋关节点、膝关节点和踝关节点；

S103、对所述识别关节点集合中同一张图像的每两个识别关节点进行连线处理，得到连线图像集合；

S104、对所述连线图像集合进行跳跃状态分析处理，得到跳跃状态识别结果。

在本发明实施例中，通过对获取得到的待识别图像集合输入预先训练的神经网络识别模型进行关节点识别，识别得到的关节点包括髋关节点、膝关节点和踝关节点，对识别的关节点进行连线判断得到实时的跳跃状态识别结果。本发明实施例通过预先训练的神经网络识别模型对所述待识别图像集合进行识别处理，得到识别关节点集合，所述识别关节点集合包括髋关节点、膝关节点和踝关节点，通过对少量的关节点识别，减少了识别计算的处理时间以及成本。接着同一张图像中的识别关节点进行两两相连得到连线图像集合，再对连线图像集合进行跳跃状态分析处理就能够得到跳跃状态识别结果。本发明实施例通过神经网络识别模型对少量的关键点进行识别，从而减少识别处理的时间，提高跳跃状态识别的处理效率。

进一步作为优选的实施方式，上述步骤S101中，所述获取待识别图像集合，包括：

通过预设的摄像头获取待识别视频；

对所述待识别视频进行截图提取处理，得到待识别图像集合。

在本发明实施例中，可以通过预先在智能终端设备上设置用于获取用户肢体动作的摄像头，从而捕获得到待识别视频，该智能终端设备可包括手提电脑、智能电视、平板电脑等可进行人机交互的智能设备。接着对获取得到的待识别视频进行截图划分，获取到用户髋关节及以下部分图像，得到待识别图像集合。在本发明实施例中，当获取到用户髋关节及以下部分图像时，将此用户认定为操作用户；当同时获取到多个用户肢体图像时(即多人同框时)，以所占面积最大的用户为操作用户，提取每帧图像得到待识别图像集合。

进一步作为优选的实施方式，在所述通过预先训练的神经网络识别模型对所述待识别图像集合进行识别处理，得到识别关节点之前，还包括对所述神经网络识别模型进行训练，步骤包括：

获取肢体图像训练集，所述肢体图像训练集包括人体髋关节及以下部分的肢体图像；

将所述肢体图像训练集输入到所述神经网络识别模型，对所述肢体图像训练集中的髋关节点、膝关节点和踝关节点进行识别，得到关节点识别结果；

根据所述关节点识别结果和所述肢体图像训练集的标签确定训练的损失值；

根据所述损失值对所述神经网络识别模型的参数进行更新。

在本发明实施例中，通过预先训练的神经网络识别模型对待识别图像集合进行识别处理，在此之前，需要对神经网络识别模型进行训练。本发明实施例通过肢体图像训练集对神经网络识别模型进行训练，肢体图像训练集包括人体髋关节及以下部分的肢体图像，神经网络识别模型可以使用卷积神经网络构建。本发明实施例通过对大量肢体图像进行手动标记作为训练集的标签，将训练集输入到所述神经网络识别模型，输出髋关节点、膝关节点和踝关节点的坐标，得到识别结果。将识别结果和预先对训练集进行标记的标签确定训练的损失值，根据损失值对神经网络识别模型的参数进行更新，当损失值即训练误差小于预设值时对神经网络识别模型停止训练，得到训练好的神经网络识别模型。本发明实施例通过神经网络识别模型对待识别图像集合的髋关节点、膝关节点和踝关节点进行识别，从而减少需要识别的关键点，提高了跳跃状态识别的处理效率。

进一步作为优选的实施方式，所述对所述连线图像集合进行跳跃状态分析处理，得到跳跃状态识别结果，包括：

对所述连线图像集合进行状态分析处理，得到每一张连线图像的状态分析结果；

当所述连线图像的状态为屈腿状态时，获取所述连线图像的前一帧图像与后一帧图像；

当所述前一帧图像与后一帧图像的状态分析结果均为直立状态时，得到所述连线图像的跳跃状态识别结果为跳跃动作。

在本发明实施例中，通过预先训练的神经网络识别模型对待识别图像集合进行关节点识别，识别得到识别关节点集合，对识别关节点集合中属于同一张图像的关节点进行连线得到连线图像集合，连线图像集合中包括多张连线图像，即对每一张图像中识别得到的关节点进行两两相连，得到连线图像。然后对连线图像集合进行跳跃状态分析处理，得到跳跃状态识别结果。需要对所述连线图像中的每一张连线图像进行状态分析处理，得到每一张连线图像的状态分析结果，通过分析连线图像是处于屈腿状态还是直立转态从而分析得到用户的肢体状态；当连线图像的状态为屈腿状态时，即代表着用户此时的状态为屈腿状态，此时需要获取连线图像的前一帧图像与后一帧图像；当前一帧图像与后一帧图像的状态分析结果均为直立状态时，可以判断得到用户的状态为从直立状态到屈腿状态再回到直立状态，可以判断为发生了一次跳跃，从而判断得到该连线图像的跳跃状态识别结果为跳跃动作。

进一步作为优选的实施方式，对所述连线图像集合进行状态分析处理，得到每一张连线图像的状态分析结果，包括：

从所述连线图像集合中获取得到每一张连线图像；

获取所述连线图像中髋关节点到膝关节点的连线与膝关节点到踝关节点的连线所形成的夹角为连线夹角；

当所述连线夹角小于第一预设阈值时，判断所述连线图像的状态分析结果为曲腿状态；

当所述连线夹角大于第二预设阈值时，判断所述连线图像的状态分析结果为直立状态。

在本发明实施例中，需要对连线图像集合进行状态分析处理，得到每一张连线图像的状态分析结果，具体通过从连线图像集合中获取得到每一张连线图像，并从连线图像中获取通过神经网络识别模型识别得到的髋关节点、膝关节点和踝关节点以及每个关节点之间的连线。参照图2，将髋关节点A到膝关节点B的连线与膝关节点B到踝关节点C的连线所形成的夹角称为连线夹角。当连线夹角小于第一预设阈值时，判断连线图像的状态分析结果为曲腿状态，第一预设阈值可根据实际情况进行设置，本发明实施例中设置第一预设阈值为100°；当连线夹角大于第二预设阈值时，判断连线图像的状态分析结果为直立状态，第二预设阈值可根据实际情况进行设置，本发明实施例中设置第二预设阈值为140°。因此，本发明实施例通过识别少量的关键点，再对关节点进行连线即可进行跳跃状态识别，减少了复杂的计算过程，提高了识别效率。

进一步作为优选的实施方式，所述方法还包括：

获取跳跃状态识别结果为跳跃动作的连线图像；

根据所述连线图像中膝关节点位置和髋关节点和踝关节点的连线进行跳跃方向判断处理，得到跳跃动作方向。

在本发明实施例中，获取得到跳跃状态识别结果为跳跃动作的连线图像，

并获取该连线图像中的膝关节点位置，当识别到用户是在屈腿状态中时，如左右腿的膝关节点均在对应腿的髋关节点和踝关节点的连线的左侧，可以判断用户是朝用户的左侧起跳；如左右腿的膝关节点均在对应腿的髋关节点和踝关节点的连线的右侧时，可以判断用户是朝用户的右侧起跳。参照图3，当膝关节点B处于髋关节点A和踝关节点C的连线时，判断此时用户朝左侧跳跃。

在一种可行的实施例中，预先在智能终端设备上设置用于获取用户肢体动作的摄像头，并预先训练好神经网络识别模型识别人体的髋关节点、膝关节点、踝关节点。此处所指的智能终端设备可以是：带有摄像头的手机、iPad、电脑、电视、智能交互大屏等。智能终端设备上的摄像头用于监测用户信息，当获取到用户髋关节及以下部位的肢体图像时，将此用户认定为操作用户；当同时获取到多个用户的肢体图像时(即多人同框时)，以所占面积最大的用户为操作用户。实时提取包含用户髋关节及以下部分的肢体的图像，将该图像输入上述的神经网络识别模型，获取用户左右腿各三个关节点坐标，并对三个关节点进行相应的连线，其中关节点包括：髋关节点、膝关节点、踝关节点。在游戏中，首先需要识别用户处于直立状态：可以通过识别用户双腿的髋关节点、膝关节点、踝关节点共计6个关节点，进一步计算用户髋关节点到膝关节点的连线与膝关节点到踝关节点的连线所形成的夹角是否大于第二预设阈值(本申请的第二预设阈值可设为160°)，当所述夹角大于第二预设阈值时，计算机判断用户处于直立状态并触发游戏界面提示用户进行相应反馈动作；当所述夹角小于第二预设阈值时，计算机判断用户处于非直立状态并触发游戏界面提示用户回到直立状态。这一步主要是考虑到人体骨骼的真实情况，当人站直的时候，由于各人腿型不同，很难使得ABC三点在同一条直线上，即形成180度的夹角。160°-180°之间更符合人站直后腿部的真实夹角，因此本发明实施例设置了第二预设阈值为160°。接着，假设游戏以用户跳跃计算得分，需进一步判断用户是否跳跃和跳跃的方向是否符合要求。以附图3为例，A点为髋关节点，B点为膝关节点，C点为踝关节点。当识别到用户按照以下顺序完成动作时，则可判断用户完成了一个完整的跳跃动作：

①用户处于识别到的直立状态；

②计算用户髋关节点到膝关节点的连线AB与膝关节点到踝关节点的连线BC所形成的夹角是否小于第一预设阈值(本申请的第一预设阈值可设为100°)，当所述夹角小于第一预设阈值时，计算机判断用户处于屈腿状态。

③用户回到识别到的直立状态。

通过以上步骤识别到用户是在跳跃状态中时，如B点在A、C点的左侧，可以判断用户是朝用户的左侧起跳；如B点在A、C点的右侧时，可以判断用户是朝用户的右侧起跳，再进一步的判断用户的跳跃方向是否正确，能否得分，即可完成人机交互游戏。

另一方面，本发明实施例还提供了一种跳跃状态识别系统，包括：

第一模块，用于获取待识别图像集合；

第二模块，用于通过预先训练的神经网络识别模型对所述待识别图像集合进行识别处理，得到识别关节点集合，所述识别关节点集合包括髋关节点、膝关节点和踝关节点；

第三模块，用于对所述识别关节点集合中同一张图像的每两个识别关节点进行连线处理，得到连线图像集合；

第四模块，用于对所述连线图像集合进行跳跃状态分析处理，得到跳跃状态识别结果。

可选地，所述第一模块，用于获取待识别图像集合，包括：

第一单元，通过预设的摄像头获取待识别视频；

第二单元，对所述待识别视频进行截图提取处理，得到待识别图像集合。

可以理解的是，上述跳跃状态识别方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述跳跃状态识别方法实施例相同，并且达到的有益效果与上述跳跃状态识别方法实施例所达到的有益效果也相同。

与图1的方法相对应，本发明实施例还提供了一种电子设备，包括处理器以及存储器；所述存储器用于存储程序；所述处理器执行所述程序实现如前面所述的方法。

与图1的方法相对应，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。

本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。

综上所述，本发明实施例具有以下优点：本发明实施例通过神经网络识别模型仅通过髋、膝、踝三个关键关节点，进行连线、计算夹角以及两点之间距离的比值，进一步识别判断用户处于直立或跳跃状态，并进一步判断用户的起跳方向，即可判断用户的跳跃状态，降低了识别的复杂度，提高了跳跃转态识别的处理效率。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示

图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。