一种降低误检率的手部检测方法及装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种降低误检率的手部检测方法及装置。

背景技术

随着智能移动设备和可穿戴设备的发展，手势、眼动、人脸识别等新兴技术得到了广泛应用。目前，手势识别在手语识别、人机交互、机器人控制、智能监控、视觉环境操作等领域均发挥重要作用。手势识别通常包括手部检测和手势识别两个关键步骤，其中，在使用深度相机采集含有手部的视觉信息时，因受拍摄距离、背景光线等影响，图像易发生反光以及呈现高亮的状况，图像反光或高亮存在的情况可能导致手部误检测，即将非手部区域误检测为手部区域，从而影响了后续进行手势识别的实时性和准确度，进而影响手势识别的用户体验。

发明内容

本发明的目的在于提供一种降低误检率的手部检测方法及装置，以降低手部检测的误检率、提高手势识别的实时性和准确度。

本发明解决其技术问题提供的技术方案如下：

本发明提供一种降低误检率的手部检测方法，包括如下步骤：S1，检测第一图像类手部区域是否存在高亮；S2，若第一图像类手部区域存在高亮，根据类手部区域范围划定感兴趣区域范围，对感兴趣区域进行平滑处理生成第二图像，通过平滑处理能够降低类手部的影响、提高图像的清晰度；S3，检测第二图像是否存在手部，输出检测结果，通过高亮检测、平滑处理和再次检测，能剔除将非手部误检测为手部的图像，从而降低手部误检率。该手部检测方法还包括步骤：S4，提取经类手检测模型检测含有类手的第一图像存储到类手样本集；S5，提取经手部检测模型检测存在手部的第一图像存储到手部样本集。类手样本集用于训练类手检测模型，手部样本集用于训练手部检测模型，通过持续训练从而优化类手检测模型和手部检测模型的参数，提高检测的准确度。

本发明还提供一种降低误检测率的手部检测装置，包括：高亮检测模块，用于检测第一图像类手部区域是否存在高亮；图像处理模块，用于根据第一图像类手部区域存在高亮的类手部区域范围划定感兴趣区域范围，对感兴趣区域进行平滑处理生成第二图像；手部检测模块，用于检测第二图像是否存在手部，输出检测结果。该手部检测装置还包括：类手检测模块，用于提取红外图像输入预先训练的类手检测模型进行类手部检测；样本采集模块，用于提取经类手检测模型检测含有类手的第一图像存储到类手样本集，类手样本集用于训练类手检测模型；用于提取经手部检测模型检测存在手部的第一图像存储到手部样本集，手部样本集用于训练手部检测模型。

本发明的有益效果包括：

1.本发明提出了一种对存在类手部的红外图像进行高亮检测和进行三次加权累乘的平滑处理后再次检测是否存在手部的方法和装置，剔除因反光或高亮导致误检测存在手部的图像，降低了手部检测的误检率和提高了手势识别的实时性；同时将经过含有手部的图像平滑处理后更清晰的图像输出进行后续手势识别，提高了手势识别的准确度。

2.本发明通过将经类手检测模型检测含有类手的第一图像存储到类手样本集，经手部检测模型检测存在手部的第一图像存储到手部样本集，用于后续分别对类手检测模型和手部检测模型进行训练，能持续优化模型参数、提高手部检测的准确度。

附图说明

下面结合附图对本发明作进一步说明。

图1是本发明实施例提供的手部检测方法流程图。

图2是本发明实施例提供的高亮检测方法流程图。

图3是本发明实施例提供的平滑处理方法流程图。

图4是本发明实施例提供的平滑处理过程图像效果图。

图5是本发明实施例提供的手部检测方法流程图二。

图6是本发明实施例提供的手部检测装置结构图。

图7是本发明实施例提供的手部检测装置结构图二。

具体实施方式

下面将结合本发明的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，本发明提供一种手部检测方法，能够降低手部检测的误检率。在一些实施方式中，手部检测方法包括如下步骤：

S1，检测第一图像类手部区域是否存在高亮。

具体地，深度相机拍摄时，由于拍摄距离、背景光线等影响，易反光的目标易呈现高亮的状况，所谓图象高亮，即图像的明暗程度，是一副图像给人的一种直观感受，如果是灰度图像，则跟灰度值有关，灰度值越高则图像越亮。图像存在高亮的情况可能会导致误识检测，即将非手部区域误作为手部区域来识别。非手部的高亮区域，可以包括但不限于与手部纹理类似的脸部区域、与手部纹理类似的手肘区域、具有较高反射的衣物、其它具有高反射的非手部物体等，在具体实施例中，将被识别为除手部之外的非手部物体统称为类手部。

在一些实施方式中，第一图像为经过预先训练的类手检测模型检测含有一个或多个类手部的红外图像。

具体地，深度图像数据包括红外灰度图和深度图两种数据，数据的格式可以是32位字节、16位字节，为使得嵌入式设备也可以兼容并快速处理，提升处理速度，优选地，在一具体实施例中，对深度图像数据中的红外信息进行预处理，将其数据格式进行解析并将其归一化得到8位字节数据的红外灰度图帧序列即为第一图像。

参考图2，在一些实施方式中，S1步骤具体包括：

S11，提取第一图像及第一图像中每个类手部区域范围。

具体地，根据预先建立的类手检测模型检测前述的8位字节数据的红外图像中是否存在手部：若存在，输出此红外图像为第一图像，并输入该手部区域的坐标位置。

S12，计算每个类手部区域范围的平均像素值H

具体地，采用均值滤波计算平均像素值，有操作简单，效率高，易于实现的优点，均值滤波器在目标图像中滑动(卷积)，用卷积核窗口中所有像素值的平均值替换目标像素值，均值滤波在计算均值滤波时，同样可以利用积分图等方法进行预处理，可以通过0(1)时间复杂度获取像素和，使图像处理速度大大加快。

S13，若其中的一个或多个类手部区域与非类手部区域的像素差值超过设定的阈值，则该一个或多个类手部区域为高亮区域；若所有类手部区域中的每一个类手部区域与非类手部区域的像素差值皆在设定的阈值范围内，则判断第一图像存在手部并输出第一图像的手部信息。

具体地，图像阈值处理是实现图像分割的一种方法，常用的阈值分割方法有简单阈值，自适应阈值，0tsu’s二值化等。当同一幅图像不同部分具有不同的亮度时，全局阈值并不适用，此时我们会采用自适应阈值，自适应阈值会在图像上每一个小区域计算与其对应的阈值。优选地，在一具体实施例中，为简化计算，根据图像背景环境的不同，像素差值的阈值优选为第一图像平均像素值或第一图像非类手部区域平均像素值的1/2或1/3，实际阈值需要选择根据图像的实际特征进行微调整。

S2，若第一图像类手部区域存在高亮，根据类手部区域范围划定感兴趣区域范围，对感兴趣区域进行平滑处理生成第二图像。

具体地，图像平滑主要是去除图像中的噪声。图像平滑的基本原理是，将噪声所在像素点的像素值处理为其周围临近像素点的值的近似值。平滑处理时需要用到一个滤波器。在一些体实施例中，用到线性滤波器，线性滤波处理的输出像素值是输入像素值的加权系数，优选地，本具体实施例中，创造性的将类手部区域范围扩展划分为三个感兴趣范围，采用加权累乘平滑处理。

参考图3，在一些实施方式中，S2步骤包括：

S21，获取第一图像中每个类手部区域范围。

具体地，类手部区域范围为类手检测模型检测到图像中含有手部后，输出图像同时也输出类手部区域的座标范围即为类手部区域范围。

S22，根据每个类手部区域范围，划定该类手部区域范围的感兴趣区域范围；

所述感兴趣区域划分为：第一范围，为该类手部区域范围；第二范围，为该第一范围向外扩展n1倍或n1个像素的区域范围；第三范围，为该第一范围向外扩展n2倍或n2个像素的区域范围；n1、n2满足条件式：n2＞n1＞0；优选地，在一具体实施例中，n2倍＝1，n2倍＝2。

S23，对第一图像中每个感兴趣区域范围的像素值分别进行平滑处理后生成第二图像。

在一些实施方式中，对第一图像中每个感兴趣区域范围的像素值分别进行平滑处理的步骤为：S231，首先对该感兴趣区域第一范围的像素值进行缩小，系数为k1；S232，然后对该感兴趣区域第二范围的像素值进行缩小，系数为k2；S233，最后对该感兴趣区域第三范围的像素值进行缩小，系数为k3；S234，采用平滑处理公式计算该感兴趣区域的像素值；所述平滑处理公式为：

式中，L(x，y)为进行平滑处理后第二图像中该感兴趣区域的像素值，G(x，y)为第一图像中该感兴趣区域的像素值，B(x

优选地，在一具体的实施例中，首先对检测框内第一范围(x，y)的像素值进行缩小，系数为0.8；然后再对检测框内及外围20像素宽度(第二范围：(x±20，y±20))的像素值进行缩小，系数为0.7；最后对检测框内及外围40像素宽度(第三范围：(x±40，y±40))的像素值进行缩小，系数为0.6。第一范围内像素值缩小为原始像素值的0.8*0.7*0.6＝0.336倍，第二范围内像素值缩小为原始像素值的0.7*0.6＝0.42倍，第三范围内像素值缩小为原始像素值的0.6倍。上述的系数是实验调整所取得，在实际的应用中可以进行一些微调整，从而得到一种更优的应用体验。平滑过程中各图像的的效果参考图4。

S3，检测第二图像是否存在手部，输出检测结果。

在一些实施方式中，S3步骤包括：根据预先训练的手部检测模型检测第二图像是否存在手部，若存在，则判断第一图像存在手部并输出第二图像的手部信息；若不存在，则返回S1步骤。

具体地，若存在手部，则输出第二图像的手部信息，包括输出第二图像及手部在图像中所处的区域座标范围，其后续的使用包括用于对手部进行手势识别。

进一步地，参考图5，在一些实施方式中，在步骤S3之后还包括步骤S4、S5，能使类手检测模型和手部检测模型得到持续优化：

S4，提取经类手检测模型检测含有类手的第一图像存储到类手样本集，用于训练类手检测模型；S5，提取经手部检测模型检测存在手部的第一图像存储到手部样本集，用于训练手部检测模型。

具体地，预先训练的类手检测模型和手部检测模型的建立过程具体为：(1)采用适用于移动端的轻量级目标检测网络MobileNet-SSD300为主干网络，以MobileNet为基础的目标分类算法，继承了MobileNet预测速度快，易于部署的特点，能够很好的在多种设备上完成图像目标检测任务。(2)对主干网络MobileNet-SSD进行三项优化：第一项改进是设置较大尺寸图像的输入，同时添加特征提取网络层来保证检测任务的精准度。具体的实施方法是将输入图像大小resize为500*500像素，相应的也增大锚框(anchor)的大小，使得检测任务包含有更多的细节内容；同时特征提取网络层添加一些相应的网络层，使得特征提取网络层次更深，相应的也使得网络层整体后移一些，从而可以提取到更多细节信息，保证了检测任务的检测能力，并提升了检测任务的精准度。第二项改进是将神经网络原来的检测网络层从6层调整为4层：针对不同大小的目标进行检测，越靠近输入层，网络感受野越小，其负责检测的目标越小。一般情况下，靠近输入层的前两个检测层负责的目标大小宽高范围通常设置在50～95个像素之间，这个目标大小相对于深度图像中的目标来说是偏小的，不利于目标检测。在进行手部检测时的检测目标是手部，手部在整个深度图像尤其是TOF图像中所占区域相对比较大(手部目标会大于100个像素)，因此可以将靠近输入层的前两个检测层进行移除，并不会对目标检测带来任何的影响。所以将原来网络共有6个检测层调整为4层，可以在确保不降低检测精准度，还可以缩短了目标检测的耗时，处理速度更快。第三项改进是将网络中的激活层ReLU替换为ReLU6，可以实现对模型参数进行量化，并可以移植到嵌入式设备上。

具体地，卷积神经网络的训练过程分为两个阶段。第一个阶段是数据由低层次向高层次传播的阶段，即前向传播阶段。另外一个阶段是，当前向传播得出的结果与预期不相符时，将误差从高层次向低层次进行传播训练的阶段，即反向传播阶段。训练过程为：(1)网络进行权值的初始化；(2)输入数据经过卷积层、下采样层、全连接层的向前传播得到输出值；(3)求出网络的输出值与目标值之间的误差；(4)当误差大于我们的期望值时，将误差传回网络中，依次求得全连接层，下采样层，卷积层的误差。各层的误差可以理解为对于网络的总误差，网络应承担多少；当误差等于或小于我们的期望值时，结束训练；(5)根据求得误差进行权值更新。

参考图6，在一些实施方式中，提供一种降低误检测率的手部检测装置，包括：高亮检测模块，用于检测第一图像类手部区域是否存在高亮；图像处理模块，用于根据第一图像类手部区域存在高亮的类手部区域范围划定感兴趣区域范围，对感兴趣区域进行平滑处理生成第二图像；手部检测模块，用于检测第二图像是否存在手部，输出检测结果。

参考图7，在一些实施方式中，手部检测装置还包括：类手检测模块，用于提取红外图像输入预先训练的类手检测模型进行类手部检测；样本采集模块，用于提取经类手检测模型检测含有类手的第一图像存储到类手样本集，类手样本集用于训练类手检测模型；用于提取经手部检测模型检测存在手部的第一图像存储到手部样本集，手部样本集用于训练手部检测模型。

本领域普通技术人员可以理解上述实施例的各种方法中全部或部分步骤是可以通过程序指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器、随机存储器、磁盘或光盘、或嵌入式设备等。

以上对本发明实施例所提供的手部检测方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，本说明书不应理解为对本发明的限制。