车内人脸识别方法、设备、装置及存储介质

技术领域

本发明涉及人工智能，尤其涉及一种车内人脸识别方法、设备、装置及计算机可读存储介质。

背景技术

人脸识别是新时代较为重要的图像处理技术手段，在交通领域也有着广泛的应用，如逃逸人员缉查、进站安检等。

基于YOLOv3的深度学习方法，由于其检测速度快，成为目前业内比较流行的人脸识别算法之一。基于YOLOv3的人脸识别算法在晴天、白天、无遮挡等简单场景下可以达到实时检测，且具有较高准确率的效果，但在雾霾、雨天、夜间、有遮挡等困难场景下，其准确率和召回率较低。

发明内容

基于上述现有技术中存在的问题，本发明提供一种车内人脸识别方法、装置及计算机可读存储介质，其主要目的在于，通过对提取得到的原始特征矩阵依次进行至少三次上采样，并将每次经过上采样后得到的上采样矩阵与原始特征矩阵进行特征加权求和，再分别进行卷积运算，得到至少三种不同尺寸大小的特征图，再通过预设目标检测框分别对至少三种不同尺寸大小的特征图进行人脸检测和识别，得到人脸预测框，通过对人脸预测框进行去重，得到最优人脸预测框作为识别结果。解决了现有技术中在雾霾、雨天、夜间、有遮挡等困难场景下，车内人脸识别的准确率和召回率低等问题。

第一方面，为实现上述目的，本发明提供一种车内人脸识别方法，该方法包括：

将获取的车内人脸图像处理为预设尺寸大小的图像，得到待识别图像；

通过特征提取网络对所述待识别图像进行人脸特征提取，得到原始特征矩阵；

对所述原始特征矩阵依次进行至少三次上采样，每次上采样均基于前次上采样所得到的原始特征矩阵，并将每次经过上采样后得到的上采样矩阵与所述原始特征矩阵进行特征加权求和，依次得到相应的特征矩阵；

对所述特征矩阵进行卷积运算处理，分别得到对应的特征图；

通过预设目标检测框对所述特征图进行人脸检测和识别，得到人脸预测框和人脸预测框的类别置信度；

根据所述人脸预测框的类别置信度，对所述人脸预测框进行去重处理，从所述人脸预测框中筛选出最优人脸预测框作为识别结果。

第二方面，为实现上述目的，本发明还提供一种车内人脸识别装置，所述装置包括：

图像尺寸处理单元，用于将获取的车内人脸图像处理为预设尺寸大小的图像，得到待识别图像；

特征提取单元，用于通过特征提取网络对所述待识别图像进行人脸特征提取，得到原始特征矩阵；

加权求和处理单元，用于对所述原始特征矩阵依次进行至少三次上采样，每次上采样均基于前次上采样所得到的原始特征矩阵，并将每次经过上采样后得到的上采样矩阵与所述原始特征矩阵进行特征加权求和，依次得到相应的特征矩阵；

卷积处理单元，用于对所述特征矩阵进行卷积运算处理，分别得到对应的特征图；

检测识别单元，用于通过预设目标检测框对所述特征图进行人脸检测和识别，得到人脸预测框和人脸预测框的类别置信度；

人脸预测框去重单元，用于根据所述人脸预测框的类别置信度，对所述人脸预测框进行去重处理，从所述人脸预测框中筛选出最优人脸预测框作为识别结果。

第三方面，为实现上述目的，本发明还提供一种电子设备，该电子设备包括：存储器、处理器，所述存储器中存储有车内人脸识别程序，所述车内人脸识别程序被所述处理器执行时实现如上所述的车内人脸识别方法中的任意步骤。

第四方面，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有车内人脸识别程序，所述车内人脸识别程序被处理器执行时，实现如上所述的车内人脸识别方法中的任意步骤。

本发明提出的车内人脸识别方法、装置及计算机可读存储介质，通过对提取得到的原始特征矩阵依次进行至少三次上采样，并将每次经过上采样后得到的上采样矩阵与原始特征矩阵进行特征加权求和，再分别进行卷积运算，得到至少三种不同尺寸大小的特征图，再通过预设目标检测框分别对至少三种不同尺寸大小的特征图进行人脸检测和识别，得到人脸预测框，通过对人脸预测框进行去重，得到最优人脸预测框作为识别结果。对原始特征矩阵进行三次加权求和，有效减少了信息损失，改善了提取特征的完整性，提高了车内人脸识别的整体准确率和召回率；通过对人脸预测框进行去重，得到最优人脸预测框作为识别结果，显著增强了雾霾、雨天、夜间、车内遮挡等困难场景下的特征表达能力，从而进一步提高车内人脸识别的整体准确率和召回率。

附图说明

图1为本发明车内人脸识别方法较佳实施例的流程图；

图2为本发明车内人脸识别方法较佳实施例的应用环境示意图；

图3为图2中车内人脸识别程序较佳实施例的模块示意图。

图4为本发明车内人脸识别方法对应的系统逻辑图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种车内人脸识别方法。参照图1所示，为本发明车内人脸识别方法较佳实施例的流程图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。

在本实施例中，车内人脸识别方法包括：步骤S110-步骤S160。

步骤S110，将获取的车内人脸图像处理为预设尺寸大小的图像，得到待识别图像。

具体的，通过图片尺寸处理，使车内人脸图像处理为满足模型对于图像大小的需求，便于后续特征提取网络对车内人脸图像特征进行提取。其中，待识别图像的尺寸大小可根据实际需要进行设定，例如：512*512或者1024*1024等。

步骤S120，通过特征提取网络对待识别图像进行人脸特征提取，得到原始特征矩阵。

具体的，通过特征提取网络对待识别图像进行人脸特征提取，提取速度更快，实现特征提取的特征提取网络通过不断地对待识别图像进行卷积计算或者多层卷积计算实现，从而得到多层的原始特征矩阵。

作为本发明的一个优选方案，特征提取网络包括：用于获取待识别图像的输入层、用于对输入层的待识别图像进行卷积运算处理的卷积层、用于对卷积层输出的第一人脸特征图矩阵进行下采样处理的池化层、用于对池化层输出的第二人脸特征图矩阵进行全连接处理的全连接层、用于对全连接层输出的人脸特征图的像素进行平均值计算的全局平均池化层和将全局平均池化层得到的原始特征矩阵输出的输出层。

具体的，特征提取网络优选为CSPResNeXt50网络，CSPResNeXt50网络增强了雾霾、雨天、夜间、车内遮挡等困难场景下的特征表达能力，从而提高了车内人脸识别的整体准确率和召回率。CSPResNeXt50网络是一种比较先进的图像分类网络，其具体网络结构如下，通过输入层将处理成固定尺寸的待识别图像输入，通过卷积层进行卷积计算处理，其中，卷积层数可以根据实际情况确定，例如，*3、*4、*6，即卷积层数(执行次数)；卷积核的大小也可根据实际需要进行设定，例如，7*7、3*3等；通过多个卷积模块进行卷积处理，如：Conv_block_1、Conv_block_2、Conv_block_3、Conv_block_4结构相同，只是通道不同(分别为128、256、512、1024)，具体结构均为1*1卷积+3*3卷积+1*1卷积；再通过池化层对卷积层输出的第一人脸特征图矩阵进行压缩处理，提高特征提取速度，通过全连接层将池化层输出的第二人脸特征图矩阵进行全连接处理，对全连接层输出的人脸特征图的像素进行平均值计算，最终得到原始特征矩阵，由输出层输出。

步骤S130，对原始特征矩阵依次进行至少三次上采样，每次上采样均基于前次上采样所得到的原始特征矩阵，并将每次经过上采样后得到的上采样矩阵与原始特征矩阵进行特征加权求和，依次得到相应的特征矩阵。

具体的，对原始特征矩阵分别进行至少三次上采样，优选为三次上采样，当然也可为四次、五次、六次等多于三次的上采样，每经过一次上采样后的矩阵扩大，再将每一次扩大的特征矩阵与特征提取网络中相同大小的原始特征矩阵进行特征加权求和，依次得到相应的特征矩阵。

作为本发明的一个优选方案，对原始特征矩阵依次进行三次上采样，每次上采样均基于前次上采样所得到的原始特征矩阵，并将每次经过上采样后得到的上采样矩阵与所述原始特征矩阵进行特征加权求和包括：

对原始特征矩阵依次进行防梯度消失处理和第一次上采样，得到扩大特征矩阵；

将扩大特征矩阵与原始特征矩阵按照第一预设权重参数进行第一特征加权求和，得到所述第一特征矩阵；

对第一特征矩阵依次进行防梯度消失处理和第二上采样，得到扩大第一特征矩阵；

将扩大第一特征矩阵与原始特征矩阵按照第二预设权重参数进行第二特征加权求和，得到第二特征矩阵；

对第二特征矩阵依次进行防梯度消失处理和第三上采样，得到扩大第二特征矩阵；

将扩大第二特征矩阵与原始特征矩阵按照第三预设权重参数进行第三特征加权求和，得到第三特征矩阵。

具体的，上采样的作用就是将得到原始特征矩阵进行放大，目的是为了减少信息损失。比如：上采样的输入矩阵大小为13*13*256，则经过上采样操作后的矩阵大小为26*26*256(也就是矩阵的宽高会被放大2倍)，经过上采样后扩大的特征矩阵与特征提取网络中间某一层的原始特征矩阵进行特征加权求和时，需要矩阵大小保持一致，否则无法进行加权求和操作，例如：假设经过第一次上采样后的矩阵大小(即Sum的其中一个输入)为26*26*128，再假设特征提取网络中的第120层、第130层、第140层的输出矩阵大小分别为13*13*128，26*26*128，26*26*256，则加权求和的另一个输入只能是第130层的输出矩阵(即，特征加权求和处理时矩阵大小必须相同(都为26*26*128))，而不能是第120层、第140层的特征图矩阵，其中，第一预设权重参数、第二预设权重参数和第三预设权重参数均可根据实际进行设定，三个预设参数可相同也可不同。

步骤S140，对特征矩阵进行卷积运算处理，分别得到对应的特征图。

具体的，通过分别对每个特征矩阵进行卷积运算，得到对应的特征图，每个特征矩阵对应的特征图的尺寸大小不同。

作为本发明的一个优选方案，对特征矩阵进行卷积运算处理，分别得到对应的特征图包括：

将第一特征矩阵依次进行防梯度消失处理和第一卷积运算，得到第一特征图；

将第二特征矩阵依次进行防梯度消失处理和第二卷积运算，得到第二特征图；

将第三特征矩阵依次进行防梯度消失处理和第三卷积运算，得到第三特征图；

其中，防梯度消失处理包括：卷积计算处理、批归一化处理和激活函数处理。

具体的，对第一特征矩阵、第二特征矩阵和第三特征矩阵进行卷积运算之前为了防止出现梯度消失，所以均进行防梯度消失处理，即3*3卷积+批归一化+Mish激活函数处理，对处理后的各特征矩阵进行卷积计算，分别得到第一特征图、第二特征图和第一特征图。其中，防梯度消失处理根据需要执行多次。

通过卷积计算处理、批归一化处理和Mish激活函数处理，使各个阶段的特征矩阵的训练速度更快，防止出现梯度消失现象。

步骤S150，通过预设目标检测框对特征图进行人脸检测和识别，得到人脸预测框和人脸预测框的类别置信度。

具体的，预设目标检测框(anchor box)为目标检测与识别的一种方式，通过预设目标检测框能够对待识别图像即本发明实施例中的特征图进行人脸检测和识别，检测得到的结果为人脸预测框，该预测框为人脸的概率为人脸预测框的类别置信度。

作为本发明的一个优选方案，预设目标检测框存储于区块链中，在通过预设目标检测框对特征图进行人脸检测和识别，得到人脸预测框和人脸预测框的类别置信度之前，还包括：

获取人脸样本数据；

从人脸样本数据中随机获取指定数量的点作为人脸初始样点；

采用聚类算法对人脸样本数据进行聚类，得到所述指定数量的簇；

计算每个簇的中心点坐标作为预设目标检测框。

具体的，在聚类过程中，可以使用的距离函数为：IOU＝I/U，I表示两个标注框的交集面积，U表示两个标注框的并集面积；聚类算法优选为kmeans算法。

作为本发明的一个优选方案，通过预设目标检测框对特征图进行人脸检测和识别，得到人脸预测框和人脸预测框的类别置信度包括：

将预设目标检测框在特征图上滑动，获取预设目标检测框的中心点在特征图上的坐标，作为第一坐标；

根据第一坐标和所述预设目标检测框的原始坐标，计算出特征图的预测坐标；

根据特征图的预测坐标得到人脸预测框；

通过二分类算法计算出人脸预测框的类别置信度。

具体的，以第一特征图进行举例说明，假设第一特征图的大小为16*16，分配给它的预设目标检测框(anchor box)为3个，将这3个预设目标检测框分别在第一特征图的16*16＝256个格子中滑动，每个格子进行检测框的坐标(即x,y,w,h，(x,y)表示检测框的中心点在第一特征图上的坐标，(w,h)表示检测框的宽和高)和类别(二分类，即是否为人脸)预测。

这里预测出来的坐标和宽高值都是相对于当前这3个预设目标检测框的坐标和宽高值而言。假设其中1个预设目标检测框通过预先用kmeans算法聚类得到的宽高为(2,3)，再假设该预设目标检测框当前滑动到了第一特征图(即y1，16*16的矩阵)上第2个格子，则该预设anchor box的坐标为(1,0)，宽高为(2,3)，接着再假设通过预测模型预测出来的该预设目标检测框的原始坐标为(0.3,0.6)、宽高为(2.1,1.3)，那么基于该预设目标检测框得到的预测框在第一特征图上的坐标为(1+0.3,0+1.6)＝(1.3,1.6)，宽高为(2*e^2.1,3*e^1.3)＝(16.3,11.0)，即第一特征图的预测坐标。另外2种尺度的第二特征图和第三特征图上也是进行类似的操作，最后实现人脸的检测(即坐标)和人脸的识别(即分类)，当然也可直接通过检测模型预测直接得到，也就是直接预测预测坐标为人脸的概率(0～1之间的小数)，若该概率大于预设概率，如大于0.5，则为人脸，反之不是。

将通过预设目标检测框对三个特征图预测后得到的人脸的检测(即坐标)映射到车内人脸图像上，最终得到人脸预测框和人脸预测框的类别置信度。

步骤S160，根据人脸预测框的类别置信度，对人脸预测框进行去重处理，从人脸预测框中筛选出最优人脸预测框作为识别结果。

具体的，通过对映射得到的人脸预测框以及每个人脸预测框的类别置信度进行人脸预测框进行去重处理，从而得到最优的人脸预测框，将该最优的人脸预测框作为识别结果。

作为本发明的一个优选方案，根据人脸预测框的类别置信度，对人脸预测框进行去重处理，从人脸预测框中筛选出最优人脸预测框作为识别结果包括：

获取人脸预测框的类别置信度最高的人脸预测框，作为最高置信度人脸预测框，其余为剩余人脸预测框；

通过交并比公式计算剩余人脸预测框与最高置信度人脸预测框的交并比，其中，

交并比公式为：IOU＝I/U，其中，IOU为所述剩余人脸预测框与最高置信度人脸预测框的交并比，I为剩余人脸预测框与最高置信度人脸预测框的交集面积，U为剩余人脸预测框与最高置信度人脸预测框的并集面积；

根据交并比，按照预设置信度更新公式更新剩余人脸预测框的置信度；其中，预设置信度更新公式为：

其中，所述IOU为剩余人脸预测框与最高置信度人脸预测框的交并比；所述α为衰减系数；所述IOU

删除剩余人脸预测框更新后的置信度低于预设置信度阈值的剩余人脸预测框，得到最优人脸预测框。

具体的，假设有一张图片中事实上只有一个人脸，但是在执行完人脸检测和识别的过程中，可能检测出的是4个人脸检测框，这4个人脸检测框中有3个是跟真实的那个人脸框重复(即IOU>0.5)了，所以需要再执行上述步骤去除这3个重复的框，最后得到最优的人脸预测框作为识别结果。

本发明提供的车内人脸识别方法，应用于一种电子设备1。参照图2所示，为本发明车内人脸识别方法较佳实施例的应用环境示意图。

在本实施例中，电子设备1可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。

该电子设备1包括：处理器12、存储器11、网络接口13及通信总线14。

存储器11包括至少一种类型的可读存储介质。至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡及卡型存储器11等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子设备1的内部存储单元，例如该电子设备1的硬盘。在另一些实施例中，可读存储介质也可以是电子设备1的外部存储器11，例如电子设备1上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(FlashCard)等。

在本实施例中，存储器11的可读存储介质通常用于存储安装于电子设备1的车内人脸识别程序10等。存储器11还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行车内人脸识别程序10等。

网络接口13可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该电子设备1与其它电子设备之间建立通信连接。

通信总线14用于实现上述这些组件之间的连接通信。

在图2所示的设备实施例中，作为一种计算机存储介质的存储器11中可以包括操作系统以及车内人脸识别程序10；处理器12执行存储器11中存储的车内人脸识别程序10时实现如下步骤：

步骤S110，将获取的车内人脸图像处理为预设尺寸大小的图像，得到待识别图像；

步骤S120，通过特征提取网络对待识别图像进行人脸特征提取，得到原始特征矩阵；

步骤S130，对原始特征矩阵依次进行至少三次上采样，每次上采样均基于前次上采样所得到的原始特征矩阵，并将每次经过上采样后得到的上采样矩阵与原始特征矩阵进行特征加权求和，依次得到相应的特征矩阵；

步骤S140，对特征矩阵进行卷积运算处理，分别得到对应的特征图；

步骤S150，通过预设目标检测框对特征图进行人脸检测和识别，得到人脸预测框和人脸预测框的类别置信度；

步骤S160，根据人脸预测框的类别置信度，对人脸预测框进行去重处理，从人脸预测框中筛选出最优人脸预测框作为识别结果。

在其他实施例中，车内人脸识别程序10还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由处理器12执行，以完成本发明。

本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。参照图3所示，为图2中车内人脸识别程序10较佳实施例的程序模块图。所述车内人脸识别程序10可以被分割为：图像尺寸处理模块110、特征提取模块120、加权求和处理模块130、卷积处理模块140、检测识别模块150、人脸预测框去重模块160。

所述模块110-160所实现的功能或操作步骤均与上文类似，此处不再详述，示例性地，例如其中：

图像尺寸处理模块110，用于将获取的车内人脸图像处理为预设尺寸大小的图像，得到待识别图像；

特征提取模块120，用于通过特征提取网络对待识别图像进行人脸特征提取，得到原始特征矩阵；

加权求和处理模块130，用于对原始特征矩阵依次进行至少三次上采样，每次上采样均基于前次上采样所得到的原始特征矩阵，并将每次经过上采样后得到的上采样矩阵与原始特征矩阵进行特征加权求和，依次得到相应的特征矩阵；

卷积处理模块140，用于对特征矩阵进行卷积运算处理，分别得到对应的特征图；

检测识别模块150，用于通过预设目标检测框对特征图进行人脸检测和识别，得到人脸预测框和人脸预测框的类别置信度；需要强调的是，预设目标检测框存储于区块链中；

人脸预测框去重模块160，用于根据人脸预测框的类别置信度，对人脸预测框进行去重处理，从人脸预测框中筛选出最优人脸预测框作为识别结果。

如图4所示，此外，与上述方法相对应，本发明的实施例还提出一种车内人脸识别装置400，包括：图像尺寸处理单元410、特征提取单元420、加权求和处理单元430、卷积处理单元440、检测识别单元450、人脸预测框去重单元460，其中，图像尺寸处理单元410、特征提取单元420、加权求和处理单元430、卷积处理单元440、检测识别单元450和人脸预测框去重单元460的实现功能与实施例中车内人脸识别方法的步骤一一对应。

图像尺寸处理单元410，用于将获取的车内人脸图像处理为预设尺寸大小的图像，得到待识别图像；

特征提取单元420，用于通过特征提取网络对待识别图像进行人脸特征提取，得到原始特征矩阵；

加权求和处理单元430，用于对原始特征矩阵依次进行至少三次上采样，每次上采样处理均基于前次上采样所得到的原始特征矩阵，并将每次经过上采样后得到的上采样矩阵与原始特征矩阵进行特征加权求和，依次得到相应的特征矩阵；

卷积处理单元440，用于对特征矩阵进行卷积运算处理，分别得到对应的特征图；

检测识别单元450，用于通过预设目标检测框对特征图进行人脸检测和识别，得到人脸预测框和人脸预测框的类别置信度，需要强调的是，预设目标检测框存储于区块链中；

人脸预测框去重单元460，用于根据人脸预测框的类别置信度，对人脸预测框进行去重处理，从人脸预测框中筛选出最优人脸预测框作为识别结果。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质中存储有车内人脸识别程序，所述车内人脸识别程序被处理器执行时实现如下操作：

将获取的车内人脸图像处理为预设尺寸大小的图像，得到待识别图像；

通过特征提取网络对待识别图像进行人脸特征提取，得到原始特征矩阵；

对原始特征矩阵依次进行至少三次上采样，每次上采样处理均基于前次上采样所得到的原始特征矩阵，并将每次经过上采样后得到的上采样矩阵与原始特征矩阵进行特征加权求和，依次得到相应的特征矩阵；

对特征矩阵进行卷积运算处理，分别得到对应的特征图；

通过预设目标检测框对特征图进行人脸检测和识别，得到人脸预测框和人脸预测框的类别置信度；

根据人脸预测框的类别置信度，对人脸预测框进行去重处理，从人脸预测框中筛选出最优人脸预测框作为识别结果。

本发明之计算机可读存储介质的具体实施方式与上述车内人脸识别方法、电子装置的具体实施方式大致相同，在此不再赘述。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。