手势识别方法、装置、设备及存储介质

技术领域

本发明涉及图像识别技术领域，尤其涉及手势识别方法、装置、设备及存储介质。

背景技术

手势识别技术被广泛应用于各种领域，例如，虚拟现实、增强现实、智能家居以及医疗等，而目前常用的手势识别方式是将手部关键点当成一个整体，在深度模型输出每个关键点后，通过线性拟合每个关键点得到手势的轮廓，然后基于手势的轮廓直接确定最终的手势轮廓，但是手势是由手腕、手指关节等因素共同决定的，而上述方式在识别手势时并未考虑该因素，造成识别用户手势的准确性较低。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种手势识别方法、装置、设备及存储介质，旨在解决现有技术识别用户手势的准确性较低的技术问题。

为实现上述目的，本发明提供了一种手势识别方法，所述手势识别方法包括以下步骤：

获取用户的手部图像；

通过目标手势识别模型对所述手部图像进行识别，得到手部各关键点的热力数据，所述目标手势识别模型是通过手部骨架的层级结构搭建得到的；

根据所述手部各关键点的热力数据和手部关节的连接关系对手部各关键点进行投影，得到所述用户的当前手势。

可选地，所述通过目标手势识别模型对所述手部图像进行识别，得到手部各关键点的热力数据，所述目标手势识别模型是通过手部骨架的层级结构搭建得到的，包括：

通过目标图像识别模型对所述手部图像进行识别，得到背景图像；

将所述背景图像从所述手部图像进行过滤，得到目标手部图像；

通过目标手势识别模型对所述目标手部图像进行识别，得到手部各关键点的热力数据，所述目标手势识别模型是通过手部骨架的层级结构搭建得到的。

可选地，所述通过目标手势识别模型对所述目标手部图像进行识别，得到手部各关键点的热力数据，包括：

通过目标手势识别模型的特征提取模块对所述目标手部图像进行特征提取，得到手部特征信息；

通过所述目标手势识别模型的关键点生成模块对所述手部特征信息进行识别，得到手部各关键点的热力数据。

可选地，所述目标手势识别模型的特征提取模块包括卷积提取模块、倒残差提取模块、反卷积模块以及全连接层；

通过目标手势识别模型的特征提取模块对所述目标手部图像进行特征提取，得到手部特征信息，包括：

通过所述卷积提取模块对所述目标手部图像进行下采样，得到下采样手部图像；

通过所述反卷积模块和全连接层对所述下采样手部图像进行上采样，得到上采样手部图像；

通过所述倒残差提取模块分别对所述下采样手部图像和上采样手部图像进行特征提取，得到手部特征信息。

可选地，所述根据所述手部各关键点的热力数据和手部关节的连接关系对手部各关键点进行投影，得到所述用户的当前手势，包括：

根据所述手部各关键点的热力数据得到各热力数据在手部图像的位置数据；

根据所述各热力数据在手部图像的位置数据确定手部各关键点的位置；

根据所述手部各关键点的位置和手部关节的连接关系将手部各关键点投影至手部图像；

根据所述手部图像上的手部各关键点确定所述用户的当前手势。

可选地，所述根据所述手部图像上的手部各关键点确定所述用户的当前手势，包括：

根据所述手部图像上的手部各关键点生成当前手势雏形；

采用大数据查询目标手势集合，并根据目标手势集合得到手势雏形集合；

将所述当前手势雏形与所述手势雏形集合中的各手势雏形进行匹配，得到各手势雏形匹配度；

从所述各手势雏形匹配度中得到最高手势雏形匹配度；

根据所述最高手势雏形匹配度确定所述用户的当前手势。

可选地，所述通过目标手势识别模型对所述手部图像进行识别，得到手部各关键点的热力数据之前，还包括：

获取各场景下的各肤色的手部图像；根据所述各场景下的各肤色的手部图像得到手部特征信息集；

确定与所述手部特征信息集对应的手部各关键点的目标热力数据；

采用大数据查询各手部的骨架信息，根据所述各手部的骨架信息确定手部骨架的层级结构；

根据所述手部特征集得到手部特征训练集和手部特征测试集；

根据所述手部特征训练集、手部各关键点的目标热力数据以及层级结构搭建初始手势识别模型；

根据所述手部特征测试集和调谐参数计算所述初始手势识别模型的损失值；

在所述初始手势识别模型的损失值小于预设损失值阈值时，确定所述初始手势识别模型为目标手势识别模型。

此外，为实现上述目的，本发明还提出一种手势识别装置，所述手势识别装置包括：

获取模块，用于获取用户的手部图像；

识别模块，用于通过目标手势识别模型对所述手部图像进行识别，得到手部各关键点的热力数据，所述目标手势识别模型是通过手部骨架的层级结构搭建得到的；

投影模块，用于根据所述手部各关键点的热力数据和手部关节的连接关系对手部各关键点进行投影，得到所述用户的当前手势。

此外，为实现上述目的，本发明还提出一种手势识别设备，所述手势识别设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的手势识别程序，所述手势识别程序配置为实现如上文所述的手势识别方法。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有手势识别程序，所述手势识别程序被处理器执行时实现如上文所述的手势识别方法。

本发明提出的手势识别方法，通过获取用户的手部图像；通过目标手势识别模型对所述手部图像进行识别，得到手部各关键点的热力数据，所述目标手势识别模型是通过手部骨架的层级结构搭建得到的；根据所述手部各关键点的热力数据和手部关节的连接关系对手部各关键点进行投影，得到所述用户的当前手势；通过上述方式，在获取到用户的手部图像后，通过由手部骨架的层级结构搭建的目标手势识别模型对手部图像进行识别，然后结合手部关节的连接关系对手部各关键点进行投影，得到用户的当前手势，从而能够有效提高识别用户手势的准确性。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的手势识别设备的结构示意图；

图2为本发明手势识别方法第一实施例的流程示意图；

图3为本发明手势识别方法第二实施例的流程示意图；

图4为本发明手势识别方法一实施例的热力数据生成的流程示意图；

图5为本发明手势识别方法一实施例的特征提取的流程示意图；

图6为本发明手势识别装置第一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的手势识别设备结构示意图。

如图1所示，该手势识别设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对手势识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及手势识别程序。

在图1所示的手势识别设备中，网络接口1004主要用于与网络一体化平台工作站进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明手势识别设备中的处理器1001、存储器1005可以设置在手势识别设备中，所述手势识别设备通过处理器1001调用存储器1005中存储的手势识别程序，并执行本发明实施例提供的手势识别方法。

基于上述硬件结构，提出本发明手势识别方法实施例。

参照图2，图2为本发明手势识别方法第一实施例的流程示意图。

在第一实施例中，所述手势识别方法包括以下步骤：

步骤S10，获取用户的手部图像。

需要说明的是，本实施例的执行主体为手势识别设备，还可为其他可实现相同或相似功能的设备，例如手势识别控制器等，本实施例对此不作限制，在本实施例中，以手势识别控制器为例进行说明。

应当理解的是，手部图像指的是用户的手部的图像，该手部图像还会包含手部所在的背景的图像，该用户的手部图像可以通过摄像头或者传感器采集得到，该手部图像还可以为拍摄的手部视频中的分帧图像。

步骤S20，通过目标手势识别模型对所述手部图像进行识别，得到手部各关键点的热力数据，所述目标手势识别模型是通过手部骨架的层级结构搭建得到的。

可以理解的是，目标手势识别模型指的是用于识别关键点的热力数据的模型，该目标手势识别模型可以通过手部骨架的层级结构搭建得到的，该层级结构可以分为手腕、前端关节以及末端关节等，且腕关节的关键点会影响到后端所有的手指子关节，但是手部后端的子关节并不会影响手部前端的关节，符合真实的手部运动规律，另外，该目标手势识别模型的输入可以为手部图像，输出可以为关键点的热力数据，该热力数据的展示形式可以为热力图。

进一步地，步骤S20之前，还包括：获取各场景下的各肤色的手部图像；根据所述各场景下的各肤色的手部图像得到手部特征信息集；确定与所述手部特征信息集对应的手部各关键点的目标热力数据；采用大数据查询各手部的骨架信息，根据所述各手部的骨架信息确定手部骨架的层级结构；根据所述手部特征集得到手部特征训练集和手部特征测试集；根据所述手部特征训练集、手部各关键点的目标热力数据以及层级结构搭建初始手势识别模型；根据所述手部特征测试集和调谐参数计算所述初始手势识别模型的损失值；在所述初始手势识别模型的损失值小于预设损失值阈值时，确定所述初始手势识别模型为目标手势识别模型。

应当理解的是，在采集到各场景下的各肤色的手部图像，根据各场景下的各肤色的手部图像得到手部特征信息集，该场景可以为室外场景、室内场景、光线充足场景、光线暗淡场景等，然后根据大数据查询各手部的骨架信息确定手部骨架的层级结构，例如，层级结构为手腕->前端关节->末端关节，然后按照预设比例将手部特征集划分为手部特征训练集和手部特征测试，再利用手部各关键点的目标热力数据以及层级结构搭建初始手势识别模型，然后根据手部特征测试集和调谐参数计算初始手势识别模型的损失值，具体为：根据手部特征测试集得到手部特征预测类别、手部特征真实标签类别、关节预测位置、关节真实标签位置、手部特征预测深度信息以及手部特征真实标签深度信息，其中，深度信息指的是各手部关键点与摄像设备之间的距离，然后结合关键点的数量计算手部特征类别损失值、关节位置损失值以及深度损失值，具体为：

其中，L

可以理解的是，在得到手部特征类别损失值、关节位置损失值以及深度损失后，结合各调谐参数计算初始手势识别模型的损失值，具体为：

L＝α

其中，L表示初始手势识别模型的损失值，α

步骤S30，根据所述手部各关键点的热力数据和手部关节的连接关系对手部各关键点进行投影，得到所述用户的当前手势。

应当理解的是，连接关系指的是手部各关节之间的连接关系，例如，手腕与前端关节连接，在得到手部各关键点的热力数据后，结合手部关节的连接关系对手部各关键点进行投影，然后根据手部图像上的手部各关键点确定所述用户的当前手势。

进一步地，步骤S30，包括：根据所述手部各关键点的热力数据得到各热力数据在手部图像的位置数据；根据所述各热力数据在手部图像的位置数据确定手部各关键点的位置；根据所述手部各关键点的位置和手部关节的连接关系将手部各关键点投影至手部图像；根据所述手部图像上的手部各关键点确定所述用户的当前手势。

可以理解的是，在得到手部各关键点的热力数据后，根据手部各关键点的热力数据得到各热力数据在手部图像的位置数据，然后将位置数据中的最大值作为该关键点的位置，以确定手部各关键点的位置，再将手部各关键点的位置和手部关节的连接关系将手部各关键点投影至手部图像，然后根据手部图像上的手部各关键点确定用户的当前手势，该手部各关键点的数量可以为21个。

进一步地，所述根据所述手部图像上的手部各关键点确定所述用户的当前手势，包括：根据所述手部图像上的手部各关键点生成当前手势雏形；采用大数据查询目标手势集合，并根据目标手势集合得到手势雏形集合；将所述当前手势雏形与所述手势雏形集合中的各手势雏形进行匹配，得到各手势雏形匹配度；从所述各手势雏形匹配度中得到最高手势雏形匹配度；根据所述最高手势雏形匹配度确定所述用户的当前手势。

应当理解的是，当前手势雏形指的是由手部图像上的手部各关键点生成的手势雏形，然后根据大数据查询的目标手势集合得到手势雏形集合，再将当前手势雏形与手势雏形集合中的各手势雏形进行匹配，然后从各手势雏形匹配度中得到最高手势雏形匹配度，此时将手势雏形集合中与最高手势雏形匹配度对应的手势作为用户的当前手势，并将手势的注释与当前手势在手部图像上共同展示。

本实施例通过获取用户的手部图像；通过目标手势识别模型对所述手部图像进行识别，得到手部各关键点的热力数据，所述目标手势识别模型是通过手部骨架的层级结构搭建得到的；根据所述手部各关键点的热力数据和手部关节的连接关系对手部各关键点进行投影，得到所述用户的当前手势；通过上述方式，在获取到用户的手部图像后，通过由手部骨架的层级结构搭建的目标手势识别模型对手部图像进行识别，然后结合手部关节的连接关系对手部各关键点进行投影，得到用户的当前手势，从而能够有效提高识别用户手势的准确性。

在一实施例中，如图3所述，基于第一实施例提出本发明手势识别方法第二实施例，所述步骤S20，包括：

步骤S201，通过目标图像识别模型对所述手部图像进行识别，得到背景图像。

应当理解的是，背景图像指的是手部所在的背景的图像，该背景图像混合在手部图像中，因此，在采集到用户的手部图像后，需要通过目标图像识别模型识别出手部图像中的背景图像，该目标图像识别模型可以为YOLOv5模型。

步骤S202，将所述背景图像从所述手部图像进行过滤，得到目标手部图像。

可以理解的是，目标手部图像指的是过滤掉背景图像后剩余的手部图像，在得到背景图像后，将背景图像从手部图像中过滤掉。

步骤S203，通过目标手势识别模型对所述目标手部图像进行识别，得到手部各关键点的热力数据，所述目标手势识别模型是通过手部骨架的层级结构搭建得到的。

应当理解的是，在得到目标手部图像后，将目标手部图像输入至目标手势识别模型，然后由目标手势识别模型经过特征提取、信息识别等一系列处理，输出手部各关键点的热力数据，需要强调的是，该目标手势识别模型的搭建是考虑到了手部骨架的层级结构。

进一步地，所述通过目标手势识别模型对所述目标手部图像进行识别，得到手部各关键点的热力数据，包括：通过目标手势识别模型的特征提取模块对所述目标手部图像进行特征提取，得到手部特征信息；通过所述目标手势识别模型的关键点生成模块对所述手部特征信息进行识别，得到手部各关键点的热力数据。

可以理解的是，手部特征信息指的是能够唯一识别目标手部图像的特征，参考图4，图4为热力数据生成的流程示意图，具体为：在输入目标手部图像后，首先会利用目标手势识别模型的特征提取模块对目标手部图像进行特征提取，然后将提取到的手部特征信息输入至目标手势识别模型的关键点生成模块，由关键点生成模块对手部特征信息进行识别，得到手部各关键点的热力数据，该热力数据可以表征手部各关键点之间的位置关系。

进一步地，所述目标手势识别模型的特征提取模块包括卷积提取模块、倒残差提取模块、反卷积模块以及全连接层；通过目标手势识别模型的特征提取模块对所述目标手部图像进行特征提取，得到手部特征信息，包括：通过所述卷积提取模块对所述目标手部图像进行下采样，得到下采样手部图像；通过所述反卷积模块和全连接层对所述下采样手部图像进行上采样，得到上采样手部图像；通过所述倒残差提取模块分别对所述下采样手部图像和上采样手部图像进行特征提取，得到手部特征信息。

应当理解的是，卷积提取模块用于扩大卷积核的感受野、倒残差模块用于在参数量较低的前提下保证较好的信息提取能力，由于每个关键点的生成模块均为自编码器，即先下采样后上采样，这样做的目的在于提取到有效的手部特征信息，参考图5，图5为提取流程的流程示意图，具体是：在得到目标手部图像后，首先通过卷积提取模块对目标手部图像进行下采样，然后将下采样手部图像分别输入至反卷积模块和全连接层，通过反卷积模块和全连接层对目标手部图像进行上采样，以及输入之后关键点生成子模块，再通过倒残差提取模块分别对下采样手部图像和上采样手部图像进行特征提取，得到手部特征信息，这样对于每个末端的手部特征的生成模块来说，只需输出关键点的热力图，而无需输出其他多余的特征图。

本实施例通过目标图像识别模型对所述手部图像进行识别，得到背景图像；将所述背景图像从所述手部图像进行过滤，得到目标手部图像；通过目标手势识别模型对所述目标手部图像进行识别，得到手部各关键点的热力数据，所述目标手势识别模型是通过手部骨架的层级结构搭建得到的；通过上述方式，利用目标图像识别模型识别出背景图像，然后将背景图像从手部图像进行过滤，再通过目标手势识别模型对过滤得到的目标手部图像进行识别，得到手部各关键点的热力数据，从而能够有效提高得到热力数据的准确性。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有手势识别程序，所述手势识别程序被处理器执行时实现如上文所述的手势识别方法的步骤。

由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

此外，参照图6，本发明实施例还提出一种手势识别装置，所述手势识别装置包括：

获取模块10，用于获取用户的手部图像。

识别模块20，用于通过目标手势识别模型对所述手部图像进行识别，得到手部各关键点的热力数据，所述目标手势识别模型是通过手部骨架的层级结构搭建得到的。

投影模块30，用于根据所述手部各关键点的热力数据和手部关节的连接关系对手部各关键点进行投影，得到所述用户的当前手势。

本实施例通过获取用户的手部图像；通过目标手势识别模型对所述手部图像进行识别，得到手部各关键点的热力数据，所述目标手势识别模型是通过手部骨架的层级结构搭建得到的；根据所述手部各关键点的热力数据和手部关节的连接关系对手部各关键点进行投影，得到所述用户的当前手势；通过上述方式，在获取到用户的手部图像后，通过由手部骨架的层级结构搭建的目标手势识别模型对手部图像进行识别，然后结合手部关节的连接关系对手部各关键点进行投影，得到用户的当前手势，从而能够有效提高识别用户手势的准确性。

需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。

另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的手势识别方法，此处不再赘述。

在一实施例中，所述识别模块20，还用于获取各场景下的各肤色的手部图像；根据所述各场景下的各肤色的手部图像得到手部特征信息集；确定与所述手部特征信息集对应的手部各关键点的目标热力数据；采用大数据查询各手部的骨架信息，根据所述各手部的骨架信息确定手部骨架的层级结构；根据所述手部特征集得到手部特征训练集和手部特征测试集；根据所述手部特征训练集、手部各关键点的目标热力数据以及层级结构搭建初始手势识别模型；根据所述手部特征测试集和调谐参数计算所述初始手势识别模型的损失值；在所述初始手势识别模型的损失值小于预设损失值阈值时，确定所述初始手势识别模型为目标手势识别模型。

在一实施例中，所述识别模块20，还用于通过目标图像识别模型对所述手部图像进行识别，得到背景图像；将所述背景图像从所述手部图像进行过滤，得到目标手部图像；通过目标手势识别模型对所述目标手部图像进行识别，得到手部各关键点的热力数据，所述目标手势识别模型是通过手部骨架的层级结构搭建得到的。

在一实施例中，所述识别模块20，还用于通过目标手势识别模型的特征提取模块对所述目标手部图像进行特征提取，得到手部特征信息；通过所述目标手势识别模型的关键点生成模块对所述手部特征信息进行识别，得到手部各关键点的热力数据。

在一实施例中，所述目标手势识别模型的特征提取模块包括卷积提取模块、倒残差提取模块、反卷积模块以及全连接层；所述识别模块20，还用于通过所述卷积提取模块对所述目标手部图像进行下采样，得到下采样手部图像；通过所述反卷积模块和全连接层对所述下采样手部图像进行上采样，得到上采样手部图像；通过所述倒残差提取模块分别对所述下采样手部图像和上采样手部图像进行特征提取，得到手部特征信息。

在一实施例中，所述投影模块30，还用于根据所述手部各关键点的热力数据得到各热力数据在手部图像的位置数据；根据所述各热力数据在手部图像的位置数据确定手部各关键点的位置；根据所述手部各关键点的位置和手部关节的连接关系将手部各关键点投影至手部图像；根据所述手部图像上的手部各关键点确定所述用户的当前手势。

在一实施例中，所述投影模块30，还用于根据所述手部图像上的手部各关键点生成当前手势雏形；采用大数据查询目标手势集合，并根据目标手势集合得到手势雏形集合；将所述当前手势雏形与所述手势雏形集合中的各手势雏形进行匹配，得到各手势雏形匹配度；从所述各手势雏形匹配度中得到最高手势雏形匹配度；根据所述最高手势雏形匹配度确定所述用户的当前手势。

本发明所述手势识别装置的其他实施例或具有实现方法可参照上述各方法实施例，此处不再赘余。

此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，一体化平台工作站，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。