一种手势识别方法

技术领域

本发明涉及人机虚拟交互技术领域，特别是一种手势识别方法。

背景技术

早期的手势识别通过数据手套等手部穿戴设备采集手的关键点空间位置信息，检测效果良好，准确度和稳定性高。但掩盖了手势自然表达的方式，对用户来说是额外的负担，价格昂贵。

随着图像目标检测方法的不断深入研究，基于传统的图像处理与机器学习的方案训练的分类器，直接输入彩色摄像头数据进行识别，操作简单，价格便宜，但其存在检测识别精度低，可靠性低等问题。

鉴于机器学习方法在复杂环境下不够鲁棒，手势识别的研究也渐渐转移到深度学习的目标检测方法与关键点检测姿态估计方法，其精度高，可靠性高，但面临计算量太大，在边缘端（移动端）运行速度慢，延时长，卡顿情况严重。

发明内容

本发明旨在给出一种能够降低边缘端的计算量的基于深度可分离卷积的边缘计算手势识别方法，以提高边缘端的运行速度，降低延时，避免卡顿。

本发明所述的一种手势识别方法，其特征在于：包括如下步骤：

步骤1、特征提取步骤：通过深度可分离卷积神经网络作为

步骤2、特征处理步骤：CNN特征提取后，分别提取三种不同尺度的深度可分离卷积

网络的输出特征图(Feature Map)，分别作为后续各特征处理网络目标检测层的输入的一部分；分别得到三个层的输出；并将三个层的输出作为整个网络的输出；

步骤3、手势检测与识别步骤：依据上述输出中进行解析得到存在手势的概率，以及已知有手势的情况下，对应手势属于每个类别的条件概率；再结合通过聚类方法得到的先验框的宽、高，将网络输出的手势候选边界框经非极大值抑制处理,得到精确的手势边界框,实现手势的定位，完成手势识别。

本发明所述的基于深度可分离卷积的边缘计算手势识别方法，其通过上述融合浅层与深层特征方式，能在手势识别中同时利用图像浅层的形状、纹理及颜色等信息与深层语义信息，同时多尺度检测的方式，能很好的应对目标（手势）在图像中是大小变化，能有效的提高最终手势识别的鲁棒性。同时，其将卷积过程进行了拆分，分为深度卷积(Depthwise)和点卷积(Pointwise)两次卷积，通过深度卷积来获取输入张量每个通道的空间特征，接着将深度卷积后得到的张量进行点卷积，大幅提高了参数压缩率，从而能够极大的降低了手势识别的计算量，能够在保证运行速度的同时实现手势识别的边缘端应用。

步骤２，特征处理步骤中，具体将CNN特征的最后一层的深层特征输出作为特征处理网络第一层的输入，得到第一层的输出；将部分经过第一层处理的特征与CNN特征的中间层特征连接融合组成新的特征，作为特征处理网络第二层的输入，得到第二层的输出；同样将部分经过第二层处理的特征与CNN特征的浅层特征连接融合组成新的特征，作为特征处理网络第三层的输入，得到第三层的输出；最后将三个层的输出作为整个网络的输出。

附图说明

图1 为深度可分离卷积与标准普通卷积对比图。

图2 为深度可分离卷积的深度卷积过程图。

图3 为深度可分离卷积的点卷积过程图。

图4 为网络结构框架图。

具体实施方式

一种手势识别方法，包括如下步骤：

通过深度可分离的卷积神经网络作为特征提取网络对手势图片进行CNN特征提取，所述深度可分离卷积神经网络，其卷积由深度卷积(Depthwise)和卷积核为1的点卷积(Pointwise)组成。所述深度可分离卷积及其与普通卷积比对图，如图1所示；其卷积过程如图2、图3所示。 CNN特征提取后，如图4，取出其中的三个深度可分离卷积输出的特征图，分别作为后续各特征处理网络目标检测层的输入的一部分；将CNN特征的最后一层的深层特征输出作为特征处理网络第一层的输入的一部分，得到第一层的输出；将部分经过第一层处理的特征与CNN特征的中间层特征连接融合组成新的特征，作为特征处理网络第二层的输入，得到第二层的输出；同样将部分经过第二层处理的特征与CNN特征的第一层的浅层特征连接融合组成新的特征，作为特征处理网络第三层的输入，得到第三层的输出；将以上三个层的输出作为整个网络的输出。从上述输出中预测得到存在手势的概率，以及在有手势的情况下，对应手势属于每个类别的条件概率得分；再结合通过聚类方法得到的anchor先验框的宽、高，将网络输出的手势候选边界框经非极大值抑制处理,得到精确的手势边界框,实现手势的定位，完成手势识别。

所述预测得到存在手势概率的方法为：对卷积层输出的张量进行解析，得到手势的回归边界框和分类置信度，根据分类置信度得到手势的概率。

所述特征处理网络对输入的处理可为通过tensorflow的网络层Upsampling2D对特征图进行上采样处理。

所述部分经第一层处理的特征与CNN特征的中间层特征连接融合是通过tensorflow的算子tensorflow.concat()实现融合。

所述部分经第二层处理的特征与第一层的浅层特征连接融合是通过tensorflow的算子tensorflow.concat()实现融合。