一种人脸识别图像融合方法

技术领域

本发明属于图像识别领域，尤其涉及一种人脸识别图像融合方法。

背景技术

现有的人脸识别系统主要是使用大数据和人工智能的方式来对采集到的人脸静态图像或者视频中的人脸和数据库中的人脸数据进行比对鉴别，这对采集到的人脸图像有很高的要求，不能存在过多的遮挡。尤其处于疫情下，由于人人都戴上了口罩，现有技术中的脸识别系统的识别能力有限。

因此亟需解决由于佩戴口罩后人脸面部特征大部分缺失，能提供给计算机的数据所剩无几，一半以上的面部被口罩遮挡，面部特征只保留了一半不到，机械视觉的执行效率较低的问题。

发明内容

本发明的技术目的是提供一种人脸识别图像融合方法，以解决面部特征少造成的识别效率低问题。

为解决上述问题，本发明的技术方案为：

一种人脸识别图像融合方法，包括如下步骤：

S1：获取若干待识别图像作为低空间分辨率图像，从预存图像库中获取一图像作为高分辨率图像；

S2：对低空间分辨率图像进行PCA变换，得到主分量图像组；

S3:对高分辨率图像进行灰度拉伸，将灰度拉伸后的高分辨率图像替换对主分量图像组中的第一分量图像进行替换，得到替换图像组；

其中，灰度拉伸后的高分辨率图像与主分量图像组的灰度均匀值相同；

S4:对替换图像组进行PCA逆变换得到融合图像。

其中，在步骤S2中，具体包括如下步骤

S21：读取低空间分辨率图像的RGB数值并构建相对应的三维列向量，三维列向量包括低空间分辨率图像的像素点位置和相对应的RGB数值；

S22：计算得到三维列向量的平均值；

S23：根据三维列向量的平均值计算协方差矩阵；

S24：提取协方差矩阵的特征向量，并组成得到PCA变换的系数矩阵；

S25：将系数矩阵与三维列向量相乘，分别得到第一分量图像、第二分量图像和第三分量图像，主分量图像组包括第一分量图像、第二分量图像和第三分量图像。

其中，在步骤S3中，对高分辨率图像进行灰度拉伸，具体包括如下步骤

S31：读取高分辨率图像并绘制相对应的直方图；

S32：设置线性拉伸函数及其系数对高分辨率图像进行灰度拉伸；

S33：根据高分辨率图像相对应的直方图和灰度拉伸后的高分辨率图像绘制相对应的直方图；

其中，直方图包括灰度值和每级灰度出线概率的信息。

其中，在步骤S3中，将灰度拉伸后的高分辨率图像替换对主分量图像组中的第一分量图像进行替换，得到替换图像组具体包括如下步骤

S34：获取第一分量图像并归一化，得到待匹配直方图；

S35：对待匹配直方图进行累积，得到待匹配累积直方图；

S36：获取灰度拉伸后的高分辨率图像的直方图，进行平均值计算，而后进行累积，得到待处理累积直方图；

S37：找到待匹配累积直方图和待处理累积直方图距离最近的映射点；

S38：基于映射点将灰度拉伸后的高分辨率图像映射得到新的灰度，进而对第一分量图像进行替换。

一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如上述任意一项的人脸识别图像融合方法。

一种计算机设备，包括存储器和处理器以及存储在存储器上并可被处理器调用的计算机程序，处理器执行计算机程序时，实现如上述任意一项的人脸识别图像融合方法。

本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：

1)本发明在图片融合时的信息量只使用方差来比较，不容易受到外界干扰，准确性高；

2)图像数据主成分之间为正交的关系，能抵消原始数据间的相互干扰；

3)本发明运算简单，计算量小，时间成本低，能快速进行图像融合以进行后续的人脸识别。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。

图1为本发明的一种人脸识别图像融合方法的流程图；

图2为本发明的一种人脸识别图像融合方法的结构框图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

以下结合附图和具体实施例对本发明提出的一种人脸识别图像融合方法作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。

实施例1

参看图1和图2，本实施例提供一种人脸识别图像融合方法，包括如下步骤：

首先，在步骤S1中，获取若干待识别图像作为低空间分辨率图像，从预存图像库中获取一图像作为高分辨率图像。

然后，在步骤S2中，对低空间分辨率图像进行PCA变换，得到主分量图像组。具体为，读取低空间分辨率图像的RGB数值并构建相对应的三维列向量，三维列向量包括低空间分辨率图像的像素点位置和相对应的RGB数值，如下公式所示[low_R(i,j),low_G(i,j),low_B(i,j)]。i,j为低空间分辨率图像的坐标点，low_R、low_G、low_B所指代不同颜色。对各像素点的三维列向量相加再除以像素数量计算得到三维列向量的平均值。然后，根据三维列向量的平均值加以公式计算得到协方差矩阵，公式为cov(x,y)＝E(x,y)-Ex×Ey。接着，提取协方差矩阵的特征向量，并组成得到PCA变换的系数矩阵即特征值。最后，将系数矩阵与三维列向量相乘，分别得到第一分量图像、第二分量图像和第三分量图像，第一分量图像、第二分量图像和第三分量图像构成主分量图像组，且第一分量图像即为low_R(i,j)。

在此对PCA变换进行说明，PCA变换有很多名字，它也被叫做K-L变换、霍特灵变换等，它的中心思想是使用“线性投影”的方式，把原数据投影到新的坐标中。这么做可以使投影后的各个主成分分量之间各不相关，而且新的成分会按照信息的多少进行排列，编号为1的主成分拥有最多的信息，后面编号越高的主成分，信息包含的越少。融合的根本思路是先对图像进行变换，之后使用经过拉伸后的拥有高分辨率的图像去代替之前的第一主成分进行逆变换。经过融合后的图片分辨率更高、包含的细节也会更多。用一句话来说就是，PCA就是在尽量减少数据丢失的情况下，用线性变换，把数据投影到低维子空间的方法。

PCA变换的推导如下，首选定义

样本x

数据集X＝[x

样本v

矩阵V

假设数据集X已经去中心化，使用X与V

S＝(V

要在得到最大的方差同时满足V是由单位向量构成的，可列出下列式子

maxV

s.t.V

用拉格朗日乘子法,可得

L(V,λ)＝V

对其求导可得

解得XX

此时可以发现，这个等式是用来求特征值和特征矩阵的公式，其中λ为特征值，V为特征向量。等式两边同时乘V

V

得出结论:特征值λ可以表示方差S，XX

接着，进入步骤S3，对之前获取的高分辨率图像进行灰度拉伸，使得灰度拉伸后的高分辨率图像与主分量图像组的灰度均匀值相同。将灰度拉伸后的高分辨率图像替换对主分量图像组中的第一分量图像进行替换，得到替换图像组。灰度拉伸是一种图像增强算法，属于线性点运算的一种。灰度拉伸，也称对比度拉伸，是一种简单的线性点运算。它扩展图像的直方图，使其充满整个灰度级范围内。

具体包括如下步骤，首先读取高分辨率图像，测量其图像尺寸以及构建存放灰度出现概率的向量，计算每级灰度出现概率放入上述向量中，完成后绘制相对应的直方图。然后设置线性拉伸函数ax+b,其系数a,b为设定值，x为像素点对应的灰度值；从而对高分辨率图像各像素点进行灰度拉伸。进而，根据高分辨率图像相对应的直方图和灰度拉伸后的高分辨率图像绘制相对应的直方图，直方图包括灰度值和每级灰度出线概率等信息。

接着，获取第一分量图像并归一化，得到待匹配直方图。将待匹配直方图进行累积，得到待匹配累积直方图。同样地，获取灰度拉伸后的高分辨率图像的直方图，进行平均值计算，而后进行累积，得到待处理累积直方图。找到待匹配累积直方图和待处理累积直方图距离最近的映射点，基于映射点将灰度拉伸后的高分辨率图像映射得到新的灰度，进而对低分辨率的全色图像的第一分量图像进行替换，替换为高分辨率图片。

最后对替换图像组进行PCA逆变换得到融合图像。PCA逆变换推导过程：协方差矩阵与相关系数矩阵的关系

标准化后的矩阵(mean＝0,var＝1)，其相关系数矩阵就是原始矩阵的协方差矩阵(根据两者的数学公式可得)。

PCA其实就是找到一个选择变换的矩阵，使得原始空间的数据投影到变换后的空间具有较大的方差(方差越大，所包含的信息越大)。PCA的全部工作简单点说，就是对原始的空间中顺序地找一组相互正交的坐标轴，第一个轴是使得方差最大的，第二个轴是在与第一个轴正交的平面中使得方差最大的，第三个轴是在与第1、2个轴正交的平面中方差最大的，这样假设在N维空间中，我们可以找到N个这样的坐标轴，我们取前r个去近似这个空间，这样就从一个N维的空间压缩到r维的空间了，但是我们选择的r个坐标轴能够使得空间的压缩使得数据的损失最小。

由上述可知，变换后的数据在所在空间没有了相关关系，因为他们是正交的或者是一维的，因此可以认为变换后的矩阵其协方差矩阵或者相关系数矩阵是一个对角阵，即除对角上的数外，其余位置的数均为0，PCA旋转变换矩阵推导的想法便是基于此。

假设矩阵X，有变换矩阵P，变换后的矩阵为Y＝PX，则

Y＝PX

YY

XX

(n-1)S(Y)＝PXX

P＝Q

其中XX

这个变换矩阵就是X的协防差矩阵的特征向量Q的转置，到此这个PCA的旋转变换矩阵已经找到。

实施例2

基于如实施例1相同的发明构思，本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如实施例1的一种人脸识别图像融合方法。

本实施例中的计算机可读存储介质存储有能够被处理器执行的计算机程序，该计算机程序在执行时，首先获取若干待识别图像作为低空间分辨率图像，从预存图像库中获取一图像作为高分辨率图像。接着，对低空间分辨率图像进行PCA变换，得到主分量图像组。然后，对高分辨率图像进行灰度拉伸，将灰度拉伸后的高分辨率图像替换对主分量图像组中的第一分量图像进行替换，得到替换图像组。最后对替换图像组进行PCA逆变换得到融合图像。

本实施例在图片融合时的信息量只使用方差来比较，不容易受到外界干扰，准确性高；图像数据主成分之间为正交的关系，能抵消原始数据间的相互干扰；运算简单，计算量小，时间成本低，能快速进行图像融合以进行后续的人脸识别。

实施例3

基于如实施例1相同的发明构思，本实施例还提供了一种计算机设备，包括存储器和处理器以及存储在存储器上并可被处理器调用的计算机程序，处理器执行计算机程序时，实现如实施例1的一种人脸识别图像融合方法。

本实施例中的计算机设备的处理器在执行人脸识别图像融合方法过程中，首先获取若干待识别图像作为低空间分辨率图像，从预存图像库中获取一图像作为高分辨率图像。接着，对低空间分辨率图像进行PCA变换，得到主分量图像组。然后，对高分辨率图像进行灰度拉伸，将灰度拉伸后的高分辨率图像替换对主分量图像组中的第一分量图像进行替换，得到替换图像组。最后对替换图像组进行PCA逆变换得到融合图像。

本实施例在图片融合时的信息量只使用方差来比较，不容易受到外界干扰，准确性高；图像数据主成分之间为正交的关系，能抵消原始数据间的相互干扰；运算简单，计算量小，时间成本低，能快速进行图像融合以进行后续的人脸识别。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。