一种通过人体骨架提取技术的行为识别方法和系统

技术领域

本发明涉及行为识别领域，具体而言，涉及一种通过人体骨架提取技术的行为识别方法和系统。

背景技术

人体骨架的提取一直是在计算机视觉领域中非常重要的研究课题。提取人体骨架的信息具有十分重要的意义。其一，人体骨架的识别可以监测人的运动行为，我们可以从中知道人体的姿态和行为，比如：骨架的位置可以用于识别人抬手、走路、抬腿、跑步等动作；其二，人体的骨架信息可以作为一种中间信息，帮助理解更复杂的人的运动行为，比如：腿部骨架信息可以用于人的步态分析。

而人体行为识别是居家陪护的核心，尤其是对病人、老人和小孩，人体的行为很复杂，同一个行为对不同人来说会有不同的表现，对人行为进行有效的识别成为当务之急。

目前，现有技术对人体行为识别的方式都是采用传统加速度计、陀螺仪等，比如在人体的某个部位放上传感器等，这种方式识别人体的行为种类很有限，且识别精度不高，识别速度慢，识别行为单一，可扩展性差。

因此，亟需设计一种通过人体骨架提取技术的行为识别方法和系统，以提高人体行为识别的精度。

发明内容

本发明的目的在于提供一种通过人体骨架提取技术的行为识别方法，其能够满足对人们的陪护，并且提高人体行为识别的精度。

本发明的另一目的在于提供一种通过人体骨架提取技术的行为识别系统，其能够满足对人们的陪护，并且提高人体行为识别的精度。

本发明的实施例是这样实现的：

第一方面：本申请实施例提供一种通过人体骨架提取技术的行为识别方法，包含如下步骤：通过人体特征和行为特征建立人体模型，根据上述人体模型提取各关节点的速度变化特征、人体的地理坐标变化特征、不同关节之间的夹角特征以及不同关节点之间的相对坐标变化特征；利用人体的上述速度变化特征、上述地理坐标变化、上述夹角特征和上述相对坐标变化特征通过反向传播算法神经网络进行机器学习建立神经网络系统模型，利用上述神经网络系统模型进行行为识别。

在本发明的一些实施例中，通过上述人体特征和上述行为特征建立上述人体模型包含如下步骤：获取人体行为原始数据，通过人体行为原始数据多次提取人体的三维坐标，利用上述三维坐标建立上述人体模型。

在本发明的一些实施例中，根据不同上述行为特征分别生成上述人体模型的演示动画，通过上述演示动画提取上述速度变化特征、上述地理坐标特征、上述夹角特征和上述相对坐标变化特征。

在本发明的一些实施例中，采用kinect传感器检测人体行为获取RGB视频流作为上述人体行为原始数据。

在本发明的一些实施例中，通过上述人体模型提取不同关节点的加速度变化特征，加入上述加速度变化特征通过反向传播算法神经网络进行机器学习建立上述神经网络系统模型。

在本发明的一些实施例中，将上述速度变化特征、上述地理坐标变化特征、上述夹角特征和上述相对坐标变化特征构成输入矩阵并根据上述行为特征进行编码，编码后的数据通过反向传播算法神经网络进行机器学习建立神经网络系统模型。

在本发明的一些实施例中，根据上述夹角特征和上述相对坐标变化特征判断上述人体模型的多个人体行为是否相似，并根据相似的多个人体行为的上述速度变化特征和上述地理坐标变化分析各人体行为是否异常。

第二方面，本申请实施例提供一种通过人体骨架提取技术的行为识别系统，包含数据建模模块、特征提取模块、深度学习模块和行为识别模块，上述数据建模模块用于通过人体特征和行为特征建立人体模型，上述特征提取模块用于根据上述人体模型提取各关节点的速度变化特征、人体的地理坐标变化特征、不同关节之间的夹角特征以及不同关节点之间的相对坐标变化特征，上述深度学习模块用于利用人体的上述速度变化特征、上述地理坐标变化、上述夹角特征和上述相对坐标变化特征通过反向传播算法神经网络进行机器学习建立神经网络系统模型，上述行为识别模块用于利用上述神经网络系统模型进行行为识别。

在本发明的一些实施例中，上述一种数据建模模块包含动画演示模块，上述动画演示模块根据不同上述行为特征分别生成上述人体模型的演示动画，上述特征提取模块通过上述演示动画提取上述速度变化特征、上述地理坐标特征、上述夹角特征和上述相对坐标变化特征。

在本发明的一些实施例中，上述一种通过人体骨架提取技术的行为识别系统包含特征编码模块，上述特征编码模块将上述速度变化特征、上述地理坐标变化特征、上述夹角特征和上述相对坐标变化特征构成输入矩阵并根据上述行为特征进行编码，编码后的数据通过上述深度学习模块利用反向传播算法神经网络进行机器学习建立神经网络系统模型。

相对于现有技术，本发明的实施例至少具有如下优点或有益效果：

第一方面：本申请实施例提供一种通过人体骨架提取技术的行为识别方法，包含如下步骤：通过人体特征和行为特征建立人体模型，根据上述人体模型提取各关节点的速度变化特征、人体的地理坐标变化特征、不同关节之间的夹角特征以及不同关节点之间的相对坐标变化特征；利用人体的上述速度变化特征、上述地理坐标变化、上述夹角特征和上述相对坐标变化特征通过反向传播算法神经网络进行机器学习建立神经网络系统模型，利用上述神经网络系统模型进行行为识别。

针对第一方面：本申请实施例通过人体特征和行为特征建立不同类型的人体模型，便于对不同类型的人们进行陪护，使用更安心；通过人体模型提取各关节点的速度变化特征和人体的地理坐标变化特征，从而实现对人体行为在不同场景下的监测，便于预测人体行为并且及时采取保护措施；通过人体模型提取不同关节之间的夹角特征以及不同关节点之间的相对坐标变化特征，从而观察人体行为的姿态和动作，便于识别和分析；通过速度变化特征、地理坐标变化、夹角特征和相对坐标变化特征利用反向传播算法神经网络进行机器学习，从而建立神经网络系统模型，提高了人行为识别的精度，利用深度申请网络系统模型进行行为识别，提高了人体行为识别的效率。

第二方面，本申请实施例提供一种通过人体骨架提取技术的行为识别系统，包含数据建模模块、特征提取模块、深度学习模块和行为识别模块，上述数据建模模块用于通过人体特征和行为特征建立人体模型，上述特征提取模块用于根据上述人体模型提取各关节点的速度变化特征、人体的地理坐标变化特征、不同关节之间的夹角特征以及不同关节点之间的相对坐标变化特征，上述深度学习模块用于利用人体的上述速度变化特征、上述地理坐标变化、上述夹角特征和上述相对坐标变化特征通过反向传播算法神经网络进行机器学习建立神经网络系统模型，上述行为识别模块用于利用上述神经网络系统模型进行行为识别。

本申请实施例通过数据建模模块利用人体特征和行为特征建立人体模型，便于对不同类型的人们进行陪护，使用更安心；通过特征提取模块根据人体模型提取各关节点的速度变化特征、人体的地理坐标变化特征、不同关节之间的夹角特征以及不同关节点之间的相对坐标变化特征，从而实现对人体行为在不同场景下的监测，便于预测人体行为并而及时采取保护措施；通过深度学习模块利用人体的上述速度变化特征、上述地理坐标变化、上述夹角特征和上述相对坐标变化特征通过反向传播算法神经网络进行机器学习建立神经网络系统模型，提高了人行为识别的精度；通过行为识别模块利用神经网络系统模型进行行为识别，提高了人体行为识别的效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例通过人体骨架提取技术的行为识别方法的流程示意图；

图2为本发明实施例通过人体骨架提取技术的行为识别系统的原理示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。

实施例1

请参阅图1，图1所示为本申请实施例提供的一种通过人体骨架提取技术的行为识别方法的流程示意图。通过人体特征和行为特征建立人体模型，根据上述人体模型提取各关节点的速度变化特征、人体的地理坐标变化特征、不同关节之间的夹角特征以及不同关节点之间的相对坐标变化特征；利用人体的上述速度变化特征、上述地理坐标变化、上述夹角特征和上述相对坐标变化特征通过反向传播算法神经网络进行机器学习建立神经网络系统模型，利用上述神经网络系统模型进行行为识别。

详细的，通过人体特征和行为特征建立人体模型，其中人体特征可以是人体的身高、体型、年龄、手长、腿长和脚长中的任意一种或多种，行为特征可以是人体各部分的姿态和动作。通过建立人体模型，可以模拟不同人体特征和行为特征的虚拟形象，便于识别、记录和演示人们的行为。

详细的，根据人体模型提取各关节点的速度变化特征和地理坐标变化特征，从而获得人体行为的速度和所在位置，便于监测老人、小孩、病人或其他人群的行为习惯和所处情况。其中，地理坐标变化特征可以通过人体模型上模拟人体在电子地图上的坐标变化位置，从而根据人体移动距离和路线确定地理坐标位置。可选的，利用在人体上设置GPS定位和位移传感器而获得地理坐标变化。

详细的，根据人体模型提取不同关节之间的夹角特征以及不同关节的点相对坐标变化特征。可选的，不同关节可以通过人体特征生成的人体模型识别，两个关节点可以通过行为特征生成的人体模型获得。判断人体行为的动作幅度大小，比如手肘和手腕、膝盖和脚踝的关节点。可选的，利用相邻的两个关节相重合的关节点分别与两个关节形成的夹角记录夹角特征。其中可选的，当提取的两个关节不相邻时，可以通过两个关节的延长线的交点与两个关节所形成的夹角记录夹角特征，也可以选取人体上的某一点分别连接两个关节的一点形成夹角。其中夹角特征可以包含夹角大小和范围。可以利用两个关节之间的夹角特征和两个关节点之间的相对坐标变化特征可以获取人体行为的姿态和动作，便于判断人体行为的姿态和动作是否正常。

详细的，利用人体的速度变化特征、地理坐标变化、夹角特征和相对坐标变化特征通过反向传播算法神经网络进行机器学习建立神经网络系统模型。从而得到人体各关节点的速度变化、人体行动的地理坐标变化、不同关节之间的夹角、不同关节点的相对坐标变化之间的关系，利用上述神经网络系统模型进行行为识别，从而能够检测人体行为并分析人体行为的惯性行为，维护人们的健康和安全。

在本发明的一些实施例中，通过上述人体特征和上述行为特征建立上述人体模型包含如下步骤：获取人体行为原始数据，通过人体行为原始数据多次提取人体的三维坐标，利用上述三维坐标建立上述人体模型。

详细的，人体特征和行为特征通过获取人体行为原始数据，从而多次提取人体的三维坐标，从而根据人体不同动作建立人体模型。其中，三维坐标可以是不同关节两端关节点、人体外周连线的若干个连续点，从而便于采集人体特征和行为特征，利用人体特征和行为特征设计不同人群的人体模型，从而进行个性化的分析和检测。

在本发明的一些实施例中，根据不同上述行为特征分别生成上述人体模型的演示动画，通过上述演示动画提取上述速度变化特征、上述地理坐标特征、上述夹角特征和上述相对坐标变化特征。

详细的，通过人体的不同行为特征生成人体模型的演示动画，通过演示动画可以提取各关节点的速度变化特征、人体的地理坐标变化特征、不同关节之间的夹角特征以及不同关节点的坐标变化特征，从而进一步提高了对人体模型的人体行为检测的精度。

在本发明的一些实施例中，采用kinect传感器检测人体行为获取RGB视频流作为上述人体行为原始数据。

人体行为原始数据通过kinect传感器检测特定人物的人体行为，从而利用采集到的RGB视频流提取三维坐标，并利用三维坐标建立人体模型。其中，kinect传感器是一种3D体感摄影机，它导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能，可以通过互联网与其他设备分享图片和信息。

在本发明的一些实施例中，通过上述人体模型提取不同关节点的加速度变化特征，加入上述加速度变化特征通过反向传播算法神经网络进行机器学习建立上述神经网络系统模型。

详细的，通过人体模型提取不同关节点的加速度变化特征，并将加速度变化特征也加入反向传播算法神经网络进行机器学习，进一步加深对人体行为的研究。

在本发明的一些实施例中，将上述速度变化特征、上述地理坐标变化特征、上述夹角特征和上述相对坐标变化特征构成输入矩阵并根据上述行为特征进行编码，编码后的数据通过反向传播算法神经网络进行机器学习建立神经网络系统模型。

详细的，速度变化特征、地理坐标变化特征、夹角特征和行对坐标变化特征构成输入矩阵并进行编码，从而根据不同人体行为进行机器学习，便于研究相同或相似动作的人体行为。

在本发明的一些实施例中，根据上述夹角特征和上述相对坐标变化特征判断上述人体模型的多个人体行为是否相似，并根据相似的多个人体行为的上述速度变化特征和上述地理坐标变化分析各人体行为是否异常。

详细的，通过夹角特征和相对坐标变化特征判断人体模型的多个人体行为的相似度，从而根据机器学习生成的神经网络系统模型，对人体行为的差异性进行大数据分析，提高了判断人体行为异常的准确性。

实施例2

请参阅图2，图2所示为本申请实施例提供的一种通过人体骨架提取技术的行为识别系统的原理示意图。通过人体骨架提取技术的行为识别系统，包含数据建模模块、特征提取模块、深度学习模块和行为识别模块。其中，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接，从而实现数据的传输或交互。上述数据建模模块用于通过人体特征和行为特征建立人体模型，上述特征提取模块用于根据上述人体模型提取各关节点的速度变化特征、人体的地理坐标变化特征、不同关节之间的夹角特征以及不同关节点之间的相对坐标变化特征，上述深度学习模块用于利用人体的上述速度变化特征、上述地理坐标变化、上述夹角特征和上述相对坐标变化特征通过反向传播算法神经网络进行机器学习建立神经网络系统模型，上述行为识别模块用于利用上述神经网络系统模型进行行为识别。

详细的，通过人体骨架提取技术的行为识别系统还包含数据采集模块，数据采集模块用于通过kinect传感器检测人体行为获取RGB视频流作为人体行为原始数据，并通过人体原始数据获取人体特征和行为特征。其中，可以利用光编码获取原始数据。通过人体原始数据获取人体特征和行为特征的具体内容与实施例1原理相同，在此不必赘述。详细的，数据建模模块与数据采集模块通信连接，从而获取人体特征和行为特征，并通过人体特征和行为特征建立人体模型。详细的，特征提取模块与数据建模模块通信连接，利用人体模型提取各关节点的速度变化特征、人体的地理坐标变化特征、不同关节之间的夹角特征以及不同关节点之间的相对坐标变化特征。深度学习模块与特征提取模块通信连接，从而根据速度变化特征、地理坐标变化、夹角特征和相对坐标变化特征通过反向传播算法神经网络进行机器学习，进而建立神经网络系统模型。行为识别模块与深度学习模块通信连接，从而利用神经网络系统模型进行识别。

在本发明的一些实施例中，上述一种数据建模模块包含动画演示模块，上述动画演示模块根据不同上述行为特征分别生成上述人体模型的演示动画，上述特征提取模块通过上述演示动画提取上述速度变化特征、上述地理坐标特征、上述夹角特征和上述相对坐标变化特征。

详细的，动画演示模块与数据采集模块通信连接，从而获取原始数据的人体特征和行为特征，并根据不同类型的行为特征生成人体模型的演示动画。其中，可以根据人体特征生成静态的人体模型后，通过行为特征生成多个人体模型组成的演示动画。详细的，特征提取模块与动画演示模块通信连接，从而特征提取模块通过演示动画提取速度变化特征、地理坐标特征、夹角特征和相对坐标变化特征。

在本发明的一些实施例中，上述一种通过人体骨架提取技术的行为识别系统包含特征编码模块，上述特征编码模块将上述速度变化特征、上述地理坐标变化特征、上述夹角特征和上述相对坐标变化特征构成输入矩阵并根据上述行为特征进行编码，编码后的数据通过上述深度学习模块利用反向传播算法神经网络进行机器学习建立神经网络系统模型。

详细的，特征编码模块与特征提取模块通信连接，从而获取速度变化特征、地理坐标变化特征、夹角特征和相对坐标变化特征，进而将速度变化特征、地理坐标变化特征、夹角特征和相对坐标变化特征构成输入矩阵并根据行为特征进行编码。详细的，深度学习模块与特质编码模块通信连接，从而将编码后的数据利用反向传播算法神经网络进行机器学习建立神经网络系统模型。

可以理解，图2所示的结构仅为示意，通过人体骨架提取技术的行为识别系统还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本申请实施例提供的一种通过人体骨架提取技术的行为识别方法以及系统：

本申请实施例通过人体特征和行为特征建立不同类型的人体模型，便于对不同类型的人们进行陪护，使用更安心；通过人体模型提取各关节点的速度变化特征和人体的地理坐标变化特征，从而实现对人体行为在不同场景下的监测，便于预测人体行为并且及时采取保护措施；通过人体模型提取不同关节之间的夹角特征以及不同关节点之间的相对坐标变化特征，从而观察人体行为的姿态和动作，便于识别和分析；通过速度变化特征、地理坐标变化、夹角特征和相对坐标变化特征利用反向传播算法神经网络进行机器学习，从而建立神经网络系统模型，提高了人行为识别的精度，利用深度申请网络系统模型进行行为识别，提高了人体行为识别的效率。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。