一种自动分配候选区域的人脸检测方法及装置和电子设备

技术领域

本发明涉及人脸检测领域，具体涉及一种自动分配候选区域的人脸检测方法及装置和电子设备。

背景技术

随着人工智能时代的到来，更多的深度学习方法落地生成智能产品，便捷了人们生活中的方方面面。人脸检测技术是目标检测领域中较为重要的研究方向之一，应用于视频监控、表情识别、人脸识别以及嵌入多数手机照相功能中等等。

人脸检测技术是对图像中出现的人脸进行定位、分类，是计算机视觉学科的重要分支。从深度学习技术重新进入研究者的视野开始，不断衍生出不同领域的深度学习算法，最突出的是在图像处理技术中出现的深度学习算法，取得了非常优秀的效果，并且在这期间也出现了很多高性能的人脸检测算法。多数人脸检测算法会根据人脸目标特征进行改进目标检测算法，属于目标检测算法的拓展。在基于卷积神经网络的检测算法中大多数都是枚举不同长宽比和面积大小比的候选区域来更好的拟合不同尺度的目标，然后根据研究员经验设定候选区域的分配策略，最常见的分配策略是计算候选区域与真实边界框之间的交并比值，再人为地设定固定的阈值进行正负样本集分配，这种分类策略简单易操作，主观性较强，存在很明显的局限性。

目前，也有许多研究改进候选区域的分配策略，如Freeanchor算法，这些算法一定程度上改善了分配策略的局限性，但或多或少都需要人为经验的介入，或者是将每个候选区域当作独立的，导致候选区域集合的质量下降，所以急需提出一种自动分配候选区域策略解决目标检测算法中正负样本分配偏差造成检测性能减弱的问题，利用候选区域之间的竞争关系，提高候选区域集合的质量，大幅度增强模型的检测精度和泛化性。

发明内容

针对上述问题，本发明的目的在于提供一种自动分配候选区域的人脸检测方法及装置和电子设备，本发明采用的技术方案如下：

本发明的第一个目的是提供一种自动分配候选区域的人脸检测方法，包括以下步骤：

S1、构建深度神经网络模型，所述深度神经网络模型的网络结构从前至后包括：从前至后由卷积层和批归一化层以及激活函数层封装成的卷积模块、第一线性瓶颈模块、第二线性瓶颈模块、第三线性瓶颈模块、第四线性瓶颈模块、从前至后由卷积层和批归一化层以及激活函数层封装成的卷积模块、候选区域建议网络、自动分配候选区域模块、感兴趣区域对齐层，所述感兴趣区域对齐层后接两个并行的卷积层；所述线性瓶颈模块从前至后由从前至后由卷积层和批归一化层以及激活函数层封装成的卷积模块、深度可分离卷积层、批归一化层、激活函数层、卷积层、批归一化层、特征相加层封装而成；

S2、收集任意大小的人脸图像，并预先定义候选区域的长宽比和面积大小比，然后分成训练集和测试集；

S3、将训练集输入深度神经网络模型，由深度神经网络模型提取训练集中的人脸图像的卷积特征信息，然后利用候选区域建议网络生成候选区域集合，再将候选区域集合自动分成正样本和负样本，再输入到感兴趣区域对齐层提取候选区域对应的特征信息进行分类、定位，根据设定的深度神经网络模型的损失函数和优化策略以及相关超参数重复对深度神经网络模型进行训练，直到损失值趋于零，得到优化深度神经网络模型；

S4、将人脸图像输入优化深度神经网络模型，输出人脸检测结果。

进一步地，所述步骤S3中，利用自动分配候选区域模块将候选区域集合分成正样本和负样本的具体包括：

使用以下公式计算每个候选区域的得分：

式中：

其中：DIOU表示距离交并比，是用于候选区域与真实边界框面积并集和交集的比值，是在传统的交并比IOU公式中添加了由最小外接矩形对角距离构成的惩罚项，能更好的表示候选区域与真实边界框之间的重叠度；b为候选区域B的中心点，，

重新计算每个候选区域的得分之后，利用高斯混合模型基于得分为训练样本集构建概率分布，采用两个单高斯模型组成双模式的高斯混合模型，公式如下：

式中：

然后使用期望最大值迭代算法求出使高斯混合模型最优的参数

进一步地，所述深度神经网络模型的损失函数包括类别分类损失函数和位置定位损失函数，所述类别分类损失函数采用使用二元交叉熵损失函数，用于计算候选区域的概率分布值与预测概率值之间的损失值；所述定位回归损失函数采用完整交并比损失函数，计算候选区域与真实边界框之间的损失值。

优选地，所述激活函数层都采用参数修正线性单元层。

优选地，所述候选区域的尺寸比例中面积大小为

优选地，所述优化策略是使用带动量参数的随机梯度下降法优化模型参数，模型训练的相关超参数学习率设为0.001、批处理大小设为256、总迭代次数设为100000、L2惩罚权重衰减率设为0.001。

本发明的第二个目的是提供一种自动分配候选区域的人脸检测装置，包括：

图像获取单元，用于获取任意大小的人脸图像；

图像特征提取单元，用于利用深度神经网络模型提取训练集中的人脸图像特征图；

候选区域生成单元，用于利用候选区域建议网络生成候选区域集合；

候选区域分配单元，用于将候选区域集合自动分成正样本和负样本；

特征信息进行分类、定位单元，用于将正样本和负样本输入到感兴趣区域对齐层提取候选区域对应的特征信息进行分类、定位；

候选区域损失值计算单元，用于计算候选区域的概率分布值与预测概率值之间的损失值，以及计算候选区域与真实边界框之间的损失值；

网络训练单元，用于对深度神经网络模型进行训练得到优化深度神经网络模型；

人脸检测结果识别单元，用于将人脸图像输入优化深度神经网络模型后输出人脸检测结果。

本发明的第三个目的是提供一种电子设备，包括：存储器，用于存储可执行指令；以及处理器，包括上述自动分配候选区域的人脸检测装置，用于与所述存储器通信以执行所述可执行指令从而完成上述自动分配候选区域的人脸检测方法的操作。

与现有技术相比，本发明具有以下有益效果:

（1）本发明提出了一种通过联合分类概率和定位信息重新定义候选区域得分的方法。大多数算法是利用交并比定义候选区域的价值，这样会让模型因倾向那些与真实边界框重合度高而分类概率低的候选区域，导致异常点的引入，造成检测算法性能下降，而本发明提出的方法能重新评估候选区域对模型训练的贡献度，大大提高候选区域的质量，增强模型的检测性能。

（2）本发明提出一种利用聚类方法自动分配候选区域的人脸检测方法，利用候选区域之间的竞争关系，提高候选区域集合的质量，大幅度增强模型的检测精度和泛化性。

附图说明

图1为整体网络结构示意图。

图2为线性瓶颈模块示意图。

图3为自动分配候选区域模块示意图。

图4为部分实验效果图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步的详细说明。此处所描述的具体实施例仅用于解释本发明，并不用于限定发明。

目前，利用候选区域进行人脸检测的算法最常用的样本分配策略验是根据人为经验设定的阈值划分的，这种做法主观性较强，泛化性较差，不够灵活。为了克服这个缺点，如图1至图3所示，本实施例提供一种自动分配候选区域策略解决正负样本分配偏差造成检测性能减弱的问题，利用候选区域之间的竞争关系，提高候选区域集合的质量，大幅度增强模型的检测精度和泛化性。

图1为本发明的模型的网络结构示意图，从前至后包括：从前至后由卷积层和批归一化层以及激活函数层封装成的卷积模块、第一线性瓶颈模块、第二线性瓶颈模块、第三线性瓶颈模块、第四线性瓶颈模块、从前至后由卷积层和批归一化层以及激活函数层封装成的卷积模块、候选区域建议网络、自动分配候选区域模块、感兴趣区域对齐层，所述感兴趣区域对齐层后接两个并行的卷积层；所述线性瓶颈模块从前至后由从前至后由卷积层和批归一化层以及激活函数层封装成的卷积模块、深度可分离卷积层、批归一化层、激活函数层、卷积层、批归一化层、特征相加层封装而成。

收集任意大小的人脸图像，并预先定义候选区域的长宽比和面积大小比，然后分成训练集和测试集，本实施例中，候选区域的尺寸比例中面积大小为

然后将训练集输入深度神经网络模型，由深度神经网络模型提取训练集中的人脸图像的卷积特征信息，然后利用候选区域建议网络生成候选区域集合，再将候选区域集合自动分成正样本和负样本，图3所示为自动分配候选区域模块的流程图。在候选区域建议网络中利用预设定的候选区域的长宽比和面积比分类回归得到候选区域集合后，根据预测回归得到的坐标偏移量得到候选区域的坐标信息。与以往的人脸检测方法不同，在得到候选区域集合之后，不使用交并比值作为候选区域的得分，而是使用以下公式重新计算得分：

公式中

其中：DIOU表示距离交并比，是用于候选区域与真实边界框面积并集和交集的比值，是在传统的交并比IOU公式中添加了由最小外接矩形对角距离构成的惩罚项，能更好的表示候选区域与真实边界框之间的重叠度；b为候选区域B的中心点，

重新计算每个候选区域的得分之后，利用高斯混合模型基于得分为训练样本集构建概率分布，因本发明需将候选区域分为正负样本，所以采用两个单高斯模型组成双模式的高斯混合模型，公式如下：

公式中

最后，设定优化策略以及相关超参数，本实施例的优化策略是使用带动量参数的随机梯度下降法优化模型参数，模型训练的相关超参数学习率设为0.001、批处理大小设为256、总迭代次数设为100000、L2惩罚权重衰减率设为0.001；重复对深度神经网络模型进行训练，训练足够直到损失值趋于零，得到优化深度神经网络模型。

使用时，将人脸图像输入优化深度神经网络模型，即可输出人脸检测结果。

综上所述，本发明通过构建高斯混合模型得到候选区域集合的概率分布信息，再利用这些信息自动划分正负样本，并且未把每个候选区域看作独立的，而是利用候选区域之间的竞争关系，提高候选区域集合的质量。

在一些实施例中，本发明还提供一种自动分配候选区域的人脸检测装置，包括：

图像获取单元，用于获取任意大小的人脸图像；

图像特征提取单元，用于利用深度神经网络模型提取训练集中的人脸图像特征图；

候选区域生成单元，用于利用候选区域建议网络生成候选区域集合；

候选区域分配单元，用于将候选区域集合自动分成正样本和负样本；

特征信息进行分类、定位单元，用于将正样本和负样本输入到感兴趣区域对齐层提取候选区域对应的特征信息进行分类、定位；

候选区域损失值计算单元，用于计算候选区域的概率分布值与预测概率值之间的损失值，以及计算候选区域与真实边界框之间的损失值；

网络训练单元，用于对深度神经网络模型进行训练得到优化深度神经网络模型；

人脸检测结果识别单元，用于将人脸图像输入优化深度神经网络模型后输出人脸检测结果。

在一些实施例中，本发明还提供了一种电子设备，包括：存储器，用于存储可执行指令；以及处理器，包括上述自动分配候选区域的人脸检测装置，用于与所述存储器通信以执行所述可执行指令从而完成上述自动分配候选区域的人脸检测方法的操作。

为了验证本发明的自动分配候选区域的人脸检测方法检测精度，分别与现有技术的Faster R-CNN、Mask R-CNN、Cascade R-CNN进行人脸检测的精度测试的实验，具体实现结果如下表：

由实验结果可得，本发明提出的方法本发明利用聚类方法为候选区域集合构建概率分布，为模型训练自动分配候选区域，去除人为经验阈值判断带来的误差，提高模型的性能，精度性能能提高2%左右。

上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而作出的变化，均应属于本发明的保护范围之内。

本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。