一种基于人脸特征增强匹配的眼镜选配方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于人脸特征增强匹配的眼镜选配方法及装置。

背景技术

随着时代的发展，增强现实通过多媒体技术、实时跟踪和注册、场景融合等技术已经广泛应用于教育教学、游戏娱乐、医疗医学以及军事训练等各个领域。例如，教育教学领域，利用增强现实技术将课本知识三维立体化，带给读者不一样的视觉感受，从而更加有利于读者对于知识的理解；又如，游戏娱乐领域，增强现实技术将玩家、现实环境以及游戏中的虚拟物体关联起来，带给玩家新颖奇特的游戏体验；又如，医疗医学领域，增强现实以其较好的虚实结合技术、实时交互能力、三维空间中添加虚拟物体等优点成为医疗医学领域的新兴技术；又如，军事训练领域，利用增强现实技术构建的训练模型系统，既能够反映真实世界的基本特征，又能够将真实世界中不存在的各种要素以虚拟方式叠加到真实世界中，从而构造出了一种超越真实的模拟训练环境。

当前，诸多增强现实的应用领域中，存在着不少以用户面部为主要增强对象的应用，即利用人脸识别技术，在人的面部呈现出增强现实的效果(可移动化虚拟化妆销售平台、人脸修图、人脸卡通化等)，都很好的结合了人脸识别和增强现实技术，推动了这类技术的进一步发展。

目前，人们主要通过在眼镜店试戴不同款的眼镜来选择适合自己的眼镜，但是由于眼镜种类越来越多，从而使得传统试配方法非常不便，同时也没有与增强现实技术相结合。

因此针对上述问题，亟需一种增强现实的个性化眼镜选配方法，通过对现实世界中的真实眼镜进行模拟仿真，并与人脸识别技术提取的人脸特征点相结合，将虚拟化的眼镜模型在人脸适合位置显示出来并产生融合效果，实现眼镜的个性化选配。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于人脸特征增强匹配的眼镜选配方法及装置，通过虚拟仿真技术与人脸识别技术结合，将虚拟化的眼镜模型在人脸适合位置显示出来并产生融合效果，从而实现眼镜的个性化选配。

为了解决上述技术问题，本发明实施例提供了一种基于人脸特征增强匹配的眼镜选配方法，所述方法包括以下步骤：

S1、获取人脸信息图像，并对所述人脸信息图像进行人脸检测，以得到目标人脸图像，且进一步对所述目标人脸图像进行特征点提取及对齐处理，使所述目标人脸图像转化为特征点形式图像；

S2、基于所述特征点形式图像中各特征点的位置，导入相应的眼镜素材模型并进行特征点位置匹配，且进一步调整所述眼镜素材模型的大小及位置，以得到与特征点最优匹配的眼镜。

其中，所述步骤S1包括：

获取人脸信息图像，并通过预设的级联分类器对所述人脸信息图像进行人脸检测，得到所述目标人脸图像；

采用预设的人脸特征点提取技术，对所述目标人脸图像中已检测到的人脸区域进行特征点提取；

对已完成特征点检测的目标人脸图像进行对齐处理，使所述目标人脸图像转化为特征点形式图像并与所述目标人脸图像中基准人脸相对齐。

其中，所述预设的级联分类器通过公式(1)来实现；其中，

C

其中，所述步骤S2包括：

通过预设的相似变换公式，确定每两个特征点之间的相似变换矩阵，并根据所述相似变换矩阵，得到所述特征点形式图像中各特征点的位置；

基于所述特征点形式图像中各特征点的位置，导入相应的眼镜素材模型并进行特征点位置匹配，且待计算出所述眼镜素材模型的特征点坐标之后，计算所述眼镜素材模型的特征点距离及相应的适合尺寸，进一步调整所述眼镜素材模型的适合尺寸，以达到与特征点最佳匹配效果，使之实现增强现实的个性化眼镜。

其中，所述预设的相似变换公式为

其中，通过公式

其中，通过公式size＝d/(width×height)，计算出所述眼镜素材模型特征点距离的适合尺寸；其中，size为所述眼镜素材模型特征点距离的适合尺寸；width和height为所述眼镜素材模型的原始尺寸。

本发明实施例提供了一种基于人脸特征增强匹配的眼镜选配装置，包括：

人脸特征点标定单元，用于获取人脸信息图像，并对所述人脸信息图像进行人脸检测，以得到目标人脸图像，且进一步对所述目标人脸图像进行特征点提取及对齐处理，使所述目标人脸图像转化为特征点形式图像；

增强现实模型位置匹配单元，用于基于所述特征点形式图像中各特征点的位置，导入相应的眼镜素材模型并进行特征点位置匹配，且进一步调整所述眼镜素材模型的大小及位置，以得到与特征点最优匹配的眼镜。

其中，所述人脸特征点标定单元包括：

人脸检测模块，用于获取人脸信息图像，并通过预设的级联分类器对所述人脸信息图像进行人脸检测，得到所述目标人脸图像；

人脸特征点提取模块，用于采用预设的人脸特征点提取技术，对所述目标人脸图像中已检测到的人脸区域进行特征点提取；

人脸特征点标定模块，用于对已完成特征点检测的目标人脸图像进行对齐处理，使所述目标人脸图像转化为特征点形式图像并与所述目标人脸图像中基准人脸相对齐。

其中，所述增强现实模型位置匹配单元包括：

特征点位置标定模块，用于通过预设的相似变换公式，确定每两个特征点之间的相似变换矩阵，并根据所述相似变换矩阵，得到所述特征点形式图像中各特征点的位置；

特征点位置匹配模块，用于基于所述特征点形式图像中各特征点的位置，导入相应的眼镜素材模型并进行特征点位置匹配，且待计算出所述眼镜素材模型的特征点坐标之后，计算所述眼镜素材模型的特征点距离及相应的适合尺寸，进一步调整所述眼镜素材模型的适合尺寸，以达到与特征点最佳匹配效果，使之实现增强现实的个性化眼镜。

实施本发明实施例，具有如下有益效果：

本发明针对人的脸部特征采用了人脸识别技术，能够准确的定位人脸的形状特征，在获得人脸的特征点之后，根据人脸特征进行眼镜素材模型位置增强绑定，并对眼镜素材模型进行人脸特征点匹配的操作及调整，从而通过虚拟仿真技术与人脸识别技术结合，将虚拟化的眼镜模型在人脸适合位置显示出来并产生融合效果，能够针对不同种类的眼镜以及不同类型人的面部，实现动态人脸的眼镜匹配呈现，达到眼镜的个性化选配目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。

图1为本发明实施例提供的一种基于人脸特征增强匹配的眼镜选配方法的流程图；

图2为本发明实施例中提供的一种基于人脸特征增强匹配的眼镜选配方法的步骤S1中正面特征点提取的应用场景图；

图3为本发明实施例中提供的一种基于人脸特征增强匹配的眼镜选配方法的步骤S1中偏移一定角度的特征点提取的应用场景图；

图4为本发明实施例中提供的一种基于人脸特征增强匹配的眼镜选配方法的步骤S2中实时增强眼镜匹配生成图；

图5为本发明实施例提供的一种基于人脸特征增强匹配的眼镜选配装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

如图1所示，为本发明实施例中，提供的一种基于人脸特征增强匹配的眼镜选配方法，所述方法包括以下步骤：

步骤S1、获取人脸信息图像，并对所述人脸信息图像进行人脸检测，以得到目标人脸图像，且进一步对所述目标人脸图像进行特征点提取及对齐处理，使所述目标人脸图像转化为特征点形式图像；

具体过程为，首先，获取摄像头所采集到的人脸信息图像，并通过预设的级联分类器对人脸信息图像进行人脸检测，得到目标人脸图像。

其次，采用预设的人脸特征点提取技术，对目标人脸图像中已检测到的人脸区域进行特征点提取；预设的级联分类器通过公式(1)来实现；其中，

C

最后，对已完成特征点检测的目标人脸图像进行对齐处理，使目标人脸图像转化为特征点形式图像并与目标人脸图像中基准人脸相对齐。

在一个实施例中，采用dlib库来实现人脸识别，是因为Dlib库是一个第三方库，能够实现人脸检测和识别，其算法采用的是HOG特征与级联分类器，可以快速的进行精确的人脸标记，包括半侧脸和一些模糊的脸型，能够很好的满足需求。

首先，通过dlib库实现人脸特征点提取；其次，通过Dlib库提供的分类器文件，运用landmark人脸特征点提取技术对目标人脸图像中已检测到的人脸区域进行特征点提取，可以提取到人脸的68个特征点的位置信息，如图2和图3所示(左为原图，右为特征点提取图)；接着，对已完成特征点检测的目标人脸图像进行对齐处理，使得目标人脸图像变化成特征点形式图像，并且将其对齐到基准人脸上；最后，将特征点形式的人脸图像放入人脸数据集进行遍历对比，完成人脸识别。

步骤S2、基于所述特征点形式图像中各特征点的位置，导入相应的眼镜素材模型并进行特征点位置匹配，且进一步调整所述眼镜素材模型的大小及位置，以得到与特征点最优匹配的眼镜。

具体过程为，首先通过预设的相似变换公式，确定每两个特征点之间的相似变换矩阵，并根据相似变换矩阵，得到特征点形式图像中各特征点的位置；其中，相似变换公式为

其次，基于特征点形式图像中各特征点的位置，导入相应的眼镜素材模型并进行特征点位置匹配，且待计算出眼镜素材模型的特征点坐标之后，计算眼镜素材模型的特征点距离及相应的适合尺寸，进一步调整眼镜素材模型的适合尺寸，以达到与特征点最佳匹配效果，使之实现增强现实的个性化眼镜。

其中，通过公式

其中，通过公式size＝d/(width×height)，计算出眼镜素材模型特征点距离的适合尺寸；其中，size为所述眼镜素材模型特征点距离的适合尺寸；width和height为所述眼镜素材模型的原始尺寸。

在一个实施例中，首先由相似变换公式(2)和(3)，对每两个特征点计算它们之间的相似变换矩阵，并由相似变换矩阵得到目标人脸图像的区域rect坐标以及与所要对齐到基准人脸图像之间的缩放系数等重要基础数据。

其次，利用图像处理技术进行人脸特征点匹配个性化眼镜的操作。其中，本发明采用Python中的PIL(Python Image Library)图像处理模块来对人脸识别之后的特征点匹配眼镜的效果进行实现。PIL是计算机程序设计语言Python的图像处理标准库，具有很好的图像处理能力。同时，PIL库支持图像存储、显示和处理，它能够处理几乎所有的图片格式，可以完成对图像的缩放、裁剪、叠加以及向图像中添加线条、图像和文字等操作。

根据人脸识别过程中得到的区域rect坐标，确定匹配眼镜素材模型的特征点坐标，通过

如图5所示，为本发明实施例中，提供的一种基于人脸特征增强匹配的眼镜选配装置，包括：

人脸特征点标定单元110，用于获取人脸信息图像，并对所述人脸信息图像进行人脸检测，以得到目标人脸图像，且进一步对所述目标人脸图像进行特征点提取及对齐处理，使所述目标人脸图像转化为特征点形式图像；

增强现实模型位置匹配单元120，用于基于所述特征点形式图像中各特征点的位置，导入相应的眼镜素材模型并进行特征点位置匹配，且进一步调整所述眼镜素材模型的大小及位置，以得到与特征点最优匹配的眼镜。

其中，所述人脸特征点标定单元110包括：

人脸检测模块，用于获取人脸信息图像，并通过预设的级联分类器对所述人脸信息图像进行人脸检测，得到所述目标人脸图像；

人脸特征点提取模块，用于采用预设的人脸特征点提取技术，对所述目标人脸图像中已检测到的人脸区域进行特征点提取；

人脸特征点标定模块，用于对已完成特征点检测的目标人脸图像进行对齐处理，使所述目标人脸图像转化为特征点形式图像并与所述目标人脸图像中基准人脸相对齐。

其中，所述增强现实模型位置匹配单元120包括：

特征点位置标定模块，用于通过预设的相似变换公式，确定每两个特征点之间的相似变换矩阵，并根据所述相似变换矩阵，得到所述特征点形式图像中各特征点的位置；

特征点位置匹配模块，用于基于所述特征点形式图像中各特征点的位置，导入相应的眼镜素材模型并进行特征点位置匹配，且待计算出所述眼镜素材模型的特征点坐标之后，计算所述眼镜素材模型的特征点距离及相应的适合尺寸，进一步调整所述眼镜素材模型的适合尺寸，以达到与特征点最佳匹配效果，使之实现增强现实的个性化眼镜。

实施本发明实施例，具有如下有益效果：

本发明针对人的脸部特征采用了人脸识别技术，能够准确的定位人脸的形状特征，在获得人脸的特征点之后，根据人脸特征进行眼镜素材模型位置增强绑定，并对眼镜素材模型进行人脸特征点匹配的操作及调整，从而通过虚拟仿真技术与人脸识别技术结合，将虚拟化的眼镜模型在人脸适合位置显示出来并产生融合效果，能够针对不同种类的眼镜以及不同类型人的面部，实现动态人脸的眼镜匹配呈现，达到眼镜的个性化选配目的。

值得注意的是，上述装置实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。