基于三维图像人体姿态匹配的人机交互方法及其设备

技术领域

本发明涉及人机交互技术领域，尤其涉及一种基于三维图像人体姿态匹配的人机交互方法及其设备。

背景技术

随着科技的发展，人类生活离不开各种各样机器设备，做一个特殊的手势触发机器工作是人类梦寐以求的目标。目前市场上存在很多通过手势或者一些特定的姿势触发机器工作，但是，触发的过程中，不免会造成误判，比如一些模型的晃动或者不经意之间以特定姿势的路过等情况，造成机器的非正常工作，降低了人机交互功能的使用体验。

发明内容

本发明的目的在于提供一种基于三维图像人体姿态匹配的人机交互方法及其设备，提升人机交互功能的使用体验。

为实现上述目的，第一方面，本发明提供了一种基于三维图像人体姿态匹配的人机交互方法，包括以下步骤：

对交互机器进行初始化，并基于交互要求，将对应的模板姿态三维图像存储至所述交互机器中；

基于深度学习法获取对应的多个节点，并基于多个节点构建三维骨骼模型；

获取当前待交互人体骨架信息，并输入所述三维骨骼模型中，得到人体姿态特征；

计算所述人体姿态特征与交互数据集之间的损失函数值，并与设定的阈值进行比较，判断是否进行人机交互。

其中，基于深度学习法获取对应的多个节点，并基于多个节点构建三维骨骼模型，包括：

利用三维骨骼大数据集对深度学习网络进行训练和验证，得到多个不同节点对应的骨骼学习模型；

利用匈牙利算法对多个所述骨骼学习模型进行连接，得到三维骨骼模型。

其中，利用三维骨骼大数据集对深度学习网络进行训练和验证，得到多个不同节点对应的骨骼学习模型，包括：

基于所述三维骨骼大数据集获取脖颈、肩关节、肘关节、腕关节、髋关节、膝关节、踝关节以及多个活动关节对应的节点；

将每一个关节对应的多个节点分别输入深度学习网络中进行训练和验证，得到对应的学习模型；

将每一个关节对应的所有的所述学习模型进行极值消除，然后进行连接，得到所述骨骼学习模型。

其中，获取当前待交互人体骨架信息，并输入所述三维骨骼模型中，得到人体姿态特征，包括：

获取当前待交互人体骨架信息，并输入所述三维骨骼模型中；

基于所述三维骨骼模型构建对应的三维直角坐标系，得到对应的距离特征和角度特征。

其中，基于所述三维骨骼模型构建对应的三维直角坐标系，得到对应的距离特征和角度特征，包括：

将所述三维骨骼模型中的髋关节对应的中心点作为坐标原点，将脖颈与所述坐标原点垂直的连线作为Z轴，在所述髋关节所在平面分别建立X轴和Y轴，得到三维直角坐标系；

基于所述三维直角坐标系得到任意两个关节的坐标值，基于所述坐标值得到两个所述关节之间的距离特征；

基于任意两个关节之间的向量式和所述距离特征，计算两个所述关节之间的角度特征。

其中，基于任意两个关节之间的向量式和所述距离特征，计算两个所述关节之间的角度特征之前，所述方法还包括：

基于关节的活动关系，将任意两个节点之间用向量进行表示。

第二方面，本发明提供了一种基于三维图像人体姿态匹配的人机交互设备，适用于如第一方面所述的一种基于三维图像人体姿态匹配的人机交互方法，

所述基于三维图像人体姿态匹配的人机交互设备包括初始化模块、骨骼模型构建模块、人体姿态获取模块和人机交互模块，所述骨骼模型构建模块与所述人体姿态获取模块连接，所述人机交互模块与所述人体姿态获取模块和所述初始化模块连接；

所述初始化模块，用于对交互机器进行初始化，并基于交互要求，将对应的模板姿态三维图像存储至所述交互机器中；

所述骨骼模型构建模块，用于基于深度学习法获取对应的多个节点，并基于多个节点构建三维骨骼模型；

所述人体姿态获取模块，用于获取当前待交互人体骨架信息，并输入所述三维骨骼模型中，得到人体姿态特征；

所述人机交互模块，用于计算所述人体姿态特征与交互数据集之间的损失函数值，并与设定的阈值进行比较，判断是否进行人机交互。

本发明的一种基于三维图像人体姿态匹配的人机交互方法及其设备，对交互机器进行初始化，并基于交互要求，将对应的模板姿态三维图像存储至所述交互机器中；基于深度学习法获取对应的多个节点，并基于多个节点构建三维骨骼模型；获取当前待交互人体骨架信息，并输入所述三维骨骼模型中，得到人体姿态特征；计算所述人体姿态特征与交互数据集之间的损失函数值，并与设定的阈值进行比较，判断是否进行人机交互，提升人机交互功能的使用体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种基于三维图像人体姿态匹配的人机交互方法的步骤示意图。

图2是本发明提供的一种基于三维图像人体姿态匹配的人机交互方法的流程示意图。

图3是本发明提供的一种基于三维图像人体姿态匹配的人机交互设备的结构示意图。

1-初始化模块、2-骨骼模型构建模块、3-人体姿态获取模块、4-人机交互模块。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

请参阅图1和图2，本发明提供一种基于三维图像人体姿态匹配的人机交互方法，包括以下步骤：

S101、对交互机器进行初始化，并基于交互要求，将对应的模板姿态三维图像存储至所述交互机器中。

具体的，将需要进行人机交互的交互机器进行初始化，清除掉之前进行交互的姿态信息等数据，然后，基于当前交互要求，重新获取对应的模板姿态三维图像，并将其存储至所述交互机器中，同时，为了保证后续的对数据的验证及校正过程，提取所述模板姿态三维图像中的多个姿态数据，并利用对应的交互数据集进行归纳，而所述交互数据集也存储在所述交互机器中，而所述交互数据集中存储的数据基本上包括姿态变化点之间的距离、偏转角度等参数。

S102、基于深度学习法获取对应的多个节点，并基于多个节点构建三维骨骼模型。

具体的，基于三维骨骼大数据集，获取所有的脖颈、肩关节、肘关节、腕关节、髋关节、膝关节、踝关节以及多个活动关节对应的节点，其中，多个所述活动关节为人体普遍较常使用都的各种关节，如手指上的各种关节等，采集的关节数量越多，种类越多，越月能给保证训练得到的深度学习网络模型的结果的精准性和完整性。

然后，将每一个关节对应的多个节点分别输入深度学习网络中进行训练和验证，得到对应的学习模型，这里将每一种类的节点分别进行深度学习网络的训练和验证，这样可以保证，每一个关节都能得到对应的模型结构，就算不进行整体骨骼的建模，也能保证当对单个关节进行识别时，得到的结果也更加精准，具体选用现有的深度学习网络中的哪一个则根据实际情况而定。

由于采用的是三维骨骼大数据集中的数据进行计算处理的，不难会存在一些极值情况，但这些极值存在的只是个例，为了保证模型的使用范围广泛，且对于大多数人都适用，因此，会对这些极值进行消除，具体的消除方法为，在得到对应的学习模型后，将所述学习模型中的结果的端值进行删除，然后，将每一个节点进行连接，形成一个关节对应的平面，肩关节、肘关节、腕关节、髋关节、膝关节、踝关节均都是两个，因此，对应的节点也是分为左右两个，由于将节点进行连接，因此会得到对应的左右两个平面，而髋关节、肩关节会形成一个平面，每一个平面对应一个骨骼学习模型，这样的适用范围广，引起的误差也会少一点。

最后，利用匈牙利算法对多个所述骨骼学习模型进行连接，得到三维骨骼模型，当然，也可以采用出匈牙利算法以外的其他算法进行连接，主要是基于人体骨骼之间的关系，将每一个所述骨骼学习模型进行连接，得到一个完整的三维骨骼模型，这样的三维骨骼模型更加适合大范围的人体骨骼，识别范围广泛，提高使用范围。

S103、获取当前待交互人体骨架信息，并输入所述三维骨骼模型中，得到人体姿态特征。

具体的，在获取当前待交互人体骨架信息之前，需要在交互机器上获取交互机器旁边安装对应的感应设备，如红外线摄像头等来获取待交互人体骨架信息，而为了保证数据的全面性和立体性，通常使用的是多个设备进行同时感应，然后将采集到的人体信息传入对应的处理设备中，基于每个设备之间的位置，对所述人体信息进行预处理，生成对应的待交互人体骨架信息。

然后读取所述待交互人体骨架信息，将其输入搜索三维骨骼模型中，同时，基于所述三维骨骼信息，构建对应的三维直角坐标系，其中，三维直角坐标系的建立过程为：

以所述三维骨骼模型中的髋关节为基准面，将所述髋关节所在平面的中心作为圆心，以所述圆心垂直朝向所述脖颈的一侧为Z轴，以所述圆心垂直于所述Z轴，朝向左的一侧为Y轴，垂直于Z轴和Y轴，且朝向胸前的一侧为X轴，得到对应的三维直角坐标系，以髋关节为基准面进行区分，可以将人体骨骼较为精准的划分，若采用头顶或脚底建立坐标系，会使数据较大，同时，会增加测量误差，影响精准性，将圆心建立在髋关节的中心，可以尽可能的忽略每个人的脂肪等的测量误差，保证了三维直角坐标系的准确性。

基于所述三维直角坐标系得到任意两个关节的坐标值，基于所述坐标值得到两个所述关节之间的距离特征；基于任意两个关节之间的向量式和所述距离特征，计算两个所述关节之间的角度特征，详细步骤为：

由于在三维骨骼模型中已经建立了对应的三维直角坐标系，因此，当获取的当前待交互人体骨架信息输入所述三维骨骼模型后，就会得到对应的关节所处的三维坐标值，一般采用5厘米最为一个刻度，数据量刚好，也不会造成数据跨度较大，造成测量误差，也不会增加计算量；然后基于所述三维坐标值计算出任意两个关节之间的距离特征；同时，基于人体骨骼活动传输的路径，将相邻的两个关节之间用向量进行表示，基于对应的向量式的推导，可以计算出任意两个关节之间的向量式，进而可以计算出两个关节之间的角度特征，而为了精准的表示角度特征的数值，会将两个关节之间的每一个节点之间的向量式进行计算，得到一组角度特征。

S104、计算所述人体姿态特征与交互数据集之间的损失函数值，并与设定的阈值进行比较，判断是否进行人机交互。

具体的，将存储在交互数据集中的距离、偏转角度分别与所述距离特征和所述角度特征计算出对应的损失函数值，将所述损失函数值与预设的阈值进行比较，一般将阈值设定为0.7以上，阈值越高，表明当前待交互人体信息与存储的模板姿态三维图像的贴合度更高，当得到的所述损失函数值大于此阈值时，则交互机器识别当前待交互人体信息，启动机器进行工作，避免了因操作者使用一些人体模型、操作者的不小心的晃动或者不经意之间作出的交互姿态数据的误识别，相较为二维图像的识别，三维图像的识别交互更加精准，避免了在二维图像的识别过程中的一些误识别情况，提高了人机交互功能的使用体验。

请参阅图2和图3，本发明提供一种基于三维图像人体姿态匹配的人机交互设备，适用于所述的一种基于三维图像人体姿态匹配的人机交互方法，

所述基于三维图像人体姿态匹配的人机交互设备包括初始化模块1、骨骼模型构建模块2、人体姿态获取模块3和人机交互模块4，所述骨骼模型构建模块2与所述人体姿态获取模块3连接，所述人机交互模块4与所述人体姿态获取模块3和所述初始化模块1连接；

所述初始化模块1，用于对交互机器进行初始化，并基于交互要求，将对应的模板姿态三维图像存储至所述交互机器中；

所述骨骼模型构建模块2，用于基于深度学习法获取对应的多个节点，并基于多个节点构建三维骨骼模型；

所述人体姿态获取模块3，用于获取当前待交互人体骨架信息，并输入所述三维骨骼模型中，得到人体姿态特征；

所述人机交互模块4，用于计算所述人体姿态特征与交互数据集之间的损失函数值，并与设定的阈值进行比较，判断是否进行人机交互。

在本实施方式中，关于一种三维图像人体姿态匹配的人机交互设备的具体限定可以参见上文中对于一种三维图像人体姿态匹配的人机交互方法的限定，在此不再赘述。上述一种三维图像人体姿态匹配的人机交互设备中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本发明的一种基于三维图像人体姿态匹配的人机交互方法及其设备，对交互机器进行初始化，并基于交互要求，将对应的模板姿态三维图像存储至所述交互机器中；基于深度学习法获取对应的多个节点，并基于多个节点构建三维骨骼模型；获取当前待交互人体骨架信息，并输入所述三维骨骼模型中，得到人体姿态特征；计算所述人体姿态特征与交互数据集之间的损失函数值，并与设定的阈值进行比较，判断是否进行人机交互，提升人机交互功能的使用体验。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。