人脸识别设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种人脸识别设备。

背景技术

随着移动通信技术的快速发展以及人民生活水平的提升，各种智能终端已经广泛应用于人民的日常工作和生活，使得人们越来越习惯于使用智能终端。智能终端上可以安装多种不同类型的应用程序，例如对个人进行形象设计的应用程序，对个人进行形象设计的一个方面为确定用户的脸型，通过对脸型的判断，能够帮助用户找到更适合的形象风格。然而，目前并没有一种能够准确识别用户脸型的方法。

发明内容

本发明的主要目的在于提供一种人脸识别设备，可以有效提高对脸型识别的准确性。

为实现上述目的，本发明提供一种人脸识别设备，包括存储器以及一个或多个处理器，所述一个或多个处理器用于执行存储在所述存储器中的一个或多个计算机程序；所述一个或多个计算机程序被存储在所述存储器中；所述一个或多个处理器在执行所述一个或多个计算机程序时，执行如下步骤：

获取用户待识别脸型的人脸图像；

对所述人脸图像进行人脸关键点检测，根据检测到的人脸关键点在所述人脸图像中确定最小人脸矩形区域；

对所述最小人脸矩形区域进行调整，使得调整后的目标人脸区域的长宽比为1:1，并从所述人脸图像中提取所述目标人脸区域对应的目标图像；

将所述目标图像输入至脸型识别模型中，根据所述脸型识别模型的输出结果确定所述用户的脸型。

采用本发明实施例，具有如下有益效果：

通过获取用户待识别脸型的人脸图像，对该人脸图像进行人脸关键点检测，根据检测到的人脸关键点在人脸图像中确定最小人脸矩形区域，对该最小人脸矩形区域进行调整，使得调整后的目标人脸区域的长宽比为1：1，并从人脸图像中提取该目标人脸区域对应的目标图像，将该目标图像输入至脸型识别模型中，根据脸型识别模型的输出结果确定用户的脸型。由于脸型识别模型会将输入的图像转换成1:1尺寸的特征图像并进行识别，因此，在上述方法中，在基于人脸关键点确定最小人脸矩形区域之后，通过将该最小人脸矩形区域调整至长宽比为1:1的目标人脸区域，并提取对应的目标图像，使得目标图像的尺寸比例与脸型识别模型转换后的特征图像的尺寸是一致的，使得在将目标图像输入至脸型识别模型之后，该目标图像的长宽比不会被改变，进一步地，该目标图像中的人脸轮廓不会被改变，能够有效避免人脸识别模型对脸型轮廓的破坏，有效提高对用户进行脸型识别的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为本发明实施例提供的一种人脸识别设备的硬件结构图；

图2为本发明实施例中脸型识别方法的流程示意图；

图3为本发明图2所示实施例中步骤202的细化步骤的流程示意图；

图4为本发明实施例中特征融合层的结构示意图；

图5为本发明实施例中脸型识别模型训练方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于现有技术中，缺乏准确的识别用户脸型的方法，存在对用户脸型的识别的准确性低的问题。

为了解决上述问题，本发明实施例提供一种人脸识别设备，由于脸型识别模型会将输入的图像转换成1:1尺寸的特征图像并进行识别，因此，在基于人脸关键点确定最小人脸矩形区域之后，通过将该最小人脸矩形区域调整至长宽比1:1的目标人脸区域，并提取对应的目标图像，使得该目标图像的尺寸比例与脸型识别模型转换的特征图像的尺寸是一致的，使得在将目标图像输入至脸型识别模型之后，该目标图像的长宽比不会被改变，进一步地，该目标图像的人脸轮廓也不会被改变，能够有效避免人脸识别模型对脸型轮廓的破坏，有效提高对用户的脸型识别的准确性。

请参阅图1所示，图1为本发明实施例提供的一种人脸识别设备的硬件结构图，其中，所述人脸识别设备100可以是任何类型，具有运算能力的电子设备，例如：智能手机、计算机、掌上电脑、平板电脑等。

具体地，如图1所示，所述人脸识别设备100包括一个或多个处理器102以及存储器104。图1中以一个处理器102为例。处理器102和存储器104可以通过总线或者其他方式连接，图1中以通过总线连接为例。

存储器104作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如与脸型识别模型对应的程序、指令以及模块，其中，与脸型识别模型对应的程序、指令以及模块可包括下述脸型识别方法对应的程序、指令以及模块，和，下述脸型识别模型训练方法对应的程序、指令以及模块。处理器102通过运行存储在存储器104中的非易失性软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理。

存储器104可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据人脸识别设备使用所创建的数据等。此外，存储器104可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器104可选包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至人脸识别设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本发明实施例中人脸识别设备用于对脸型进行识别，以确定人脸脸型，以及，用于对脸型识别模型进行训练，从而得到用于检测人脸脸型的脸型识别模型。存储器104用于存储脸型识别方法的计算机实现程序，处理器102用于读取和执行计算机可读指令。具体的，处理器102可用于调用存储于存储器104中的脸型识别方法的计算机实现程序，并执行该计算机实现程序中包含的指令，从而执行有关于脸型识别方法的方法步骤。有关于处理器102执行的脸型识别方法的方法步骤，可参见下述图2-图4对应的描述。可选地，存储器104还用于存储脸型识别模型训练方法的计算机程序，处理器102可用于调用存储于存储器104中的脸型识别模型训练方法的计算机实现程序，并执行该计算机实现程序中包含的指令，从而执行有关于脸型识别模型训练方法的方法步骤。有关于处理器102执行的脸型识别模型训练方法的方法步骤，可参见下述图5对应的描述。

请参阅图2，为本发明实施例中脸型识别方法的流程示意图，该方法包括：

步骤201、获取用户待识别脸型的人脸图像；

步骤202、对人脸图像进行人脸关键点检测，根据检测到的人脸关键点在人脸图像中确定最小人脸矩形区域；

步骤203、对最小人脸矩形区域进行调整，使得调整后的目标人脸区域的长宽比为1:1，并从人脸图像中提取目标人脸区域对应的目标图像；

步骤204、将目标图像输入至脸型识别模型中，根据脸型识别模型的输出结果确定用户的脸型。

在本发明实施例中，在需要对用户进行脸型识别时，可以先获取到该用户待识别脸型的人脸图像，该人脸图像可以是人脸的正脸图像，即可以看清楚用户的两只眼睛、眼睛上的眉毛、鼻子、嘴巴等等，且拍摄人脸图像的设备的高度可以是与人脸在同一高度，使得拍摄方向能够尽量与人脸所在平面垂直。且进一步地，可以通过即时拍摄人脸图像的方式获取到用户待识别脸型的人脸图像，或者可以获取到用户上传的人脸图像的方式获取到用户待识别脸型的人脸图像，或者还可以接收其他设备发送的待识别脸型的人脸图像，在实际应用中，可以有多种方式获取到该待识别脸型的人脸图像，此处不做赘述。

在进行脸型识别时，为了避免无关的图像的干扰，例如，人脸图像中出现的树木、天空、建筑等干扰对人脸脸型判断的物体，需要先从人脸图像中提取出人脸区域，具体可对人脸图像进行人脸关键点检测，根据检测到的人脸关键点在人脸图像中确定最小人脸矩形区域。

其中，人脸关键点检测可以使用人脸关键点检测算法，该人脸关键点检测算法预先设置了人脸关键点的数量，例如可以是68个关键点，且人脸关键点按照顺序进行编号，预先划分各个部分对应的人脸关键点的数量及编号，例如，可以是人脸关键点0至20用于标识人脸脸型。因此，可以使用人脸关键点检测的方式检测到人脸图像中的人脸关键点，并进一步的根据检测到的人脸关键点在人脸图像中确定最小人脸矩形区域，其中，该最小人脸矩形区域是指包围所有人脸关键点的最小区域。

由于人脸脸型有多种，按照形态法，可以分为圆形脸型、椭圆形脸型、卵圆形脸型、倒卵圆形脸型、方形脸型、长方形脸型、梯形脸型、倒梯形脸型、菱形脸型及五角形脸型。各种不同的脸型的长宽比是不一样的，因此，在人脸图像中确定的最小人脸矩形区域的长宽比也有多种情况，例如，长度大于宽度、宽度大于长度、长度等于宽度等等。

需要理解的是，在本发明实施例中将使用脸型识别模型对用户的待识别脸型的人脸图像进行识别，以确定用户的脸型，由于该脸型识别模型的特征是会将输入的图像转换成长宽比为1:1的特征图像，并通过卷积特征提取的方式对特征图像进行处理，且无论怎么处理，在脸型识别模型的内部各层使用到的特征图像及各层输出的特征图像的长宽比都为1:1。因此，无论图像的长宽比为多少，该图像在输入脸型识别模型之后，都将先转换成长宽比为1:1，以便能够进行特征提取。因此，对于在人脸图像区域确定的最小人脸矩形区域，若该最小人脸矩形区域的长宽比不为1:1，则将该最小人脸矩形区域对应的图像输入至脸型识别模型之后，该脸型识别模型将该最小人脸矩形区域对应的图像转成程长宽比为1:1，必然是对图像进行了在长度或宽度上的压缩或者拉伸，而无论是长度或宽度方向上的压缩或拉伸，都会导致最小人脸矩形区域对应的图像中的人脸轮廓发生形状的改变，使得对人脸脸型的识别不够准确。

为了避免上述的问题，在人脸图像中确定最小人脸矩形区域之后，将对该最小人脸矩形区域进行调整，使得调整后的目标人脸区域的长宽比为1:1，并从人脸图像中提取该目标人脸区域对应的目标图像，且进一步地，将该目标图像输入至脸型识别模型中，并根据该脸型识别模型的输出结果确定用户的脸型。例如，若脸型识别模型可以识别前述的多种脸型，则脸型识别模型将输出识别到的各个脸型的概率值，选取最大概率值对应的脸型作为用户的脸型。

在本发明实施例中，由于脸型识别模型会将输入的图像转换成1:1尺寸的特征图像并进行识别，因此，在上述方法中，在基于人脸关键点确定最小人脸矩形区域之后，通过将该最小人脸矩形区域调整至长宽比为1:1的目标人脸区域，并提取对应的目标图像，使得目标图像的尺寸比例与脸型识别模型转换后的特征图像的尺寸是一致的，使得在将目标图像输入至脸型识别模型之后，该目标图像的长宽比不会被改变，进一步地，该目标图像中的人脸轮廓不会被改变，能够有效避免人脸识别模型对脸型轮廓的破坏，有效提高对用户进行脸型识别的准确性。

进一步地，请参阅图3，为本发明实施例中，上述步骤202的细化步骤的流程示意图，包括：

步骤301、对人脸图像进行人脸关键点检测，从检测到的人脸图像包含的人脸关键点的位置信息中，选取在第一方向分量上的第一最小值及第一最大值，及在第二方向分量上的第二最小值及第二最大值；

步骤302、将第一最小值及第二最小值所确定的位置作为第一位置，将第一最大值及第二最大值所确定的位置作为第二位置，以第一位置及第二位置作为第一矩形相对的两个顶点，在人脸图像中确定第一矩形，并将第一矩形所包围的区域作为最小人脸矩形区域。

在本发明实施例中，预先设置标准坐标系，该标准坐标系包括第一直线和第二直线，其第一直线和第二直线互相垂直，且垂直的交点为标准坐标系的原点，第一直线所指向的方向为第一方向，第二直线所指向的方向为第二方向，且第一方向和第二方向互相垂直。

其中，在对人脸图像进行人脸关键点检测之后，将人脸图像置于上述的标准坐标系内，且人脸图像的左上角的顶点与标准坐标系的原点重合，且人脸图像的上边缘与标准坐标系的第一直线重合，人脸图像的左边缘与标准坐标系的第二直线重合，使得能够在标准坐标系中，确定人脸图像中各个人脸关键点的位置信息，该位置信息包括在第一方向分量上的值，和在第二方向分量上的值。可以理解的是，上述标准坐标系可以是XY坐标系，第一直线可以是X轴，第二直线可以是Y轴、X轴和Y轴的交点为原点。

在本发明实施例中，在确定人脸关键点在标准坐标系中的位置信息之后，将选取第一方向分量上的第一最小值及第一最大值，及在第二方向分量上的第二最小值及第二最大值。具体的，可以将人脸关键点在第一方向分量上的值放入一个集合中，从该集合中选取最大值和最小值分别作为上述的第一最大值和第一最小值。同理，可以得到上述的第二最小值及第二最大值。

可以理解的是，上述第一最小值和第一最大值可以确定人脸区域的最小长度，上述的第二最小值和第二最大值可以确定人脸区域的最小宽度，将该最小长度和最小宽度结合，即可确定最小人脸矩形区域。

具体的，可以将第一最小值和第二最小值所确定的位置作为第一位置，将第一最大值及第二最大值确定的位置作为第二位置，以第一位置和第二位置作为第一矩形相对的两个顶点，在人脸图像中确定第一矩形，该将第一矩形所包围的区域作为最小人脸矩形区域。

例如，以XY坐标轴为例，若在X轴方向分量上的第一最小值为Xmin、及第一最大值为Xmax，在Y轴方向分量上的第二最小值为Ymin及第二最大值为Ymax，因此，可以确定第一位置的坐标值为(Xmin，Ymin)，第二位置的坐标值为(Xmax，Ymax)，则可以基于(Xmin，Ymin)、及(Xmax，Ymax)分别作为第一矩形的两个顶点，在人脸图像中确定第一矩形，并将其包围的区域，作为最小人脸矩形区域。

在本发明实施例中，通过确定第一方向分量上的第一最小值及第一最大值，及确定第二方向分量上的第二最小值及第二最大值，使得能够得到用于确定第一矩形的第一位置及第二位置，有效实现最小人脸矩形区域的确定。

进一步地，对于图2所示实施例中的步骤203，具体可以通过以下方式进行最小人脸区域的调整，包括：

当第一最大值与第一最小值之间的第一差值大于第二最大值与第二最小值之间的第二差值时，计算第一差值减去第二差值得到的第三差值，将第二位置中的第二最大值加上第三差值，得到调整后的第二位置，基于第一位置和调整后的第二位置对最小人脸矩形区域进行更新，得到目标人脸区域；或者，将第一位置中的第二最小值减去第三差值，得到调整后的第一位置，基于调整后的第一位置和第二位置对最小人脸矩形区域进行更新，得到目标人脸区域。

为了更好地理解，以第一最小值为Xmin、第一最大值为Xmax，第二最小值为Ymin及第二最大值为Ymax为例进行说明。当Xmax-Xmin>Ymax-Ymin，表明最小人脸矩形区域的长度大于宽度，为了实现长宽比1:1的要求，需要增大宽度，具体的，可以计算第一差值(Xmax-Xmin)减去第二差值(Ymax-Ymin)得到第三差值，该第三差值表示的即是长度和宽度之间的差距，为了能够增大宽度，有两种调整方式，一种是调整第一位置，一种是调整第二位置。下面分别进行说明。

将第二最小值Ymin减去第三差值，则相当于减小了第二最小值以增大第二最小值与第二最大值之间的差值，以增大宽度，得到新的Ymin，将该新的Ymin与Xmin重新确定的位置作为调整后的第一位置，基于该调整后的(Xmin、新的Ymin)与(Xmax、Ymax)对最小人脸矩形区域进行更新，可以得到目标人脸区域。

或者，还可以通过增大Ymax的方式以增大Ymin与Ymax之间的差值，以实现增大宽度的目的，具体的，将Ymax加上第三差值，得到新的Ymax，得到调整后的第二位置(Xmax、新的Ymax)，并基于(Xmin、Ymin)与(Xmax、新的Ymax)对最小人脸矩形区域进行更新，可以得到目标人脸区域。

上述描述的是最小人脸矩形区域中长度大于宽度时，对宽度进行调整的方式，下面将描述最小人脸矩形区域中宽度大于长度时，对长度进行调整的方式，具体包括：

当第一最大值与第一最小值之间的第一差值小于第二最大值与第二最小值之间的第二差值时，计算第二差值减去第一差值得到的第四差值，将第二位置中的第一最大值加上第四差值，得到调整后的第二位置，基于第一位置和调整后的第二位置对最小人脸矩形区域进行更新，得到目标人脸区域；或者，将第一位置中的第一最小值减去第四差值，得到调整后的第一位置，基于调整后的第一位置和第二位置对最小人脸矩形区域进行更新，得到目标人脸区域。

为了更好地理解，以第一最小值为Xmin、第一最大值为Xmax，第二最小值为Ymin及第二最大值为Ymax为例进行说明。当Xmax-Xmin

将第一最小值Xmin减去第四差值，则相当于减小了第一最小值以增大第一最小值与第一最大值之间的差值，以增大长度，得到新的Xmin，将该新的Xmin与Ymin重新确定的位置作为调整后的第一位置，基于该调整后的(新的Xmin，Ymin)与(Xmax、Ymax)对最小人脸矩形区域进行更新，可以得到目标人脸区域。

或者，还可以通过增大Xmax的方式以增大Xmin与Xmax之间的差值，以实现增大长度的目的，具体的，将Xmax加上第四差值，得到新的Xmax，得到调整后的第二位置(新的Xmax、Ymax)，并基于(Xmin、Ymin)与(新的Xmax、Ymax)对最小人脸矩形区域进行更新，可以得到目标人脸区域。

在本发明实施例中，通过上述方式，能够有效实现对最小人脸矩形区域的调整，得到目标人脸区域，达到目标人脸区域的长宽比为1:1的目的。

在一种可行的实现方式中，为了能够避免非脸型轮廓相关的图像对脸型识别结果的影响，在步骤204之前，还可以对目标图像中的五官区域进行马赛克处理，得到更新后的目标图像，且在执行步骤204时，是将更新后的目标图像输入至脸型识别模型中，根据脸型识别模型的输出结果确定用户的脸型。

其中，目标图像中的五官区域，包括眼睛、眉毛、鼻子及嘴巴等等，对这些区域进行马赛克处理，可以让脸型识别模型更多的关注人脸的轮廓，能够很好地保留人脸的轮廓与五官信息之间的平缓过渡，避免脸型识别模型过多的识别五官信息带来对脸型识别的准确性的影响。

其中，马赛克的方式可以是：将目标图像划分成若干个小块网格，对于每一个小网格，确定该网格中是否包含人脸轮廓的人脸关键点，若包含人脸轮廓的人脸关键点，则不对该网格进行处理，若不包含人脸轮廓的人脸关键点，则计算该网格中的像素点的平均值，利用该平均值替换该网格中各个像素点的像素值，以便形成人脸轮廓与五官之间的平缓过渡。

需要说明的是，在上述脸型识别方法中，使用的脸型识别模型可以是常用的已有的脸型识别模型，或者可以是基于人脸识别的需求设置的脸型识别模型，在实际应用中，可以选择常用的已有的脸型识别模型也可以选择基于人脸识别需求设置的脸型识别模型，此处不做限定。

进一步地，在一种可行的实现方式中，可以设置一种脸型识别模型，具体的，该脸型识别模型包括：依次级联的第一卷积层、第一特征提取层、第二卷积层、第二特征提取层、第三卷积层、第三特征提取层、第四卷积层、第四特征提取层、第五卷积层、第六卷积层、池化层及第七卷积层。

其中，第一特征提取层、第二特征提取层、第三特征提取层及第四特征提取层均包含至少两个依次级联的特征融合层。

为了更好地理解本发明实施例中脸型识别模型的结构，请参阅下表，为本发明实施例中脸型识别模型一种可行的网格结构：

在上述表格中，包括5个3*3的卷积层，14个Res_block结构，一个池化层(Avgpooling)和2个1*1卷积层，且其中，c表示输出的通道数，n表示该层重复的次数，s表示为步长，k表示脸型的类型数，具体的，层1表示第一卷积层、层2表示第一特征提取层、层3表示第二卷积层、层4表示第二特征提取层、层5表示第三卷积层、层6表示第三特征提取层、层7表示第四卷积层、层8表示第四特征提取层、层9表示第五卷积层、层10表示第六卷积层、层11表示池化层、层12表示第七卷积层。由此可以，函数为Res_block结构的层均为特征提取层，且特征提取层至少包含两个依次级联的特征融合层。

在一种可行的实现方式中，Res_block结构主要是卷积层及Dwise层(深度级可分离卷积层)构成。

具体的，请参阅图4，为本发明实施例中特征融合层的结构示意图，该特征融合层包含依次级联的第一子卷积层、深度级可分离卷积层、第二子卷积层，此外，还包括输入节点、融合模块和输出节点，其中，输入节点用于与上一层进行连接，接收上一层输出的特征图像，输出节点用于与下一层进行连接，向处理后的特征图像发送至下一层。且输入节点有两个分支，一个分支直接连接到融合模块，另外一个分支则是输入节点、第一子卷积层、深度级可分离卷积层、第二子卷积层，再到融合模块。若输入节点输入的为特征图像A，则将对该特征图像A进行复制，得到两份特征图像A，且一份特征图像A传输至融合模块，另一份特征图像经过第一子卷积层、深度级可分离卷积层、第二子卷积层，得到特征图像A1，并由融合模块将特征图像A与特征图像A1进行融合，并从输出节点输出融合后的特征图像。因此，特征融合层的输出的特征图像为：将输入特征融合层的输入特征图像与第二子卷积层的输出特征图像进行融合后得到的特征图像。可选地，上述第一子卷积层和第二子卷积层的卷积核为1*1，上述的深度级可分离卷积层的卷积核为3*3。

需要说明的是，上述的脸型识别模型是轻量型的，可以应用在用户端，方便在用户端实现对脸型的识别，且不占用用户端过多的内存。在构建上述的轻量型的脸型识别模型时，考虑到受限于卷积核的数量和网络深度，因此，提出一种包含特征融合层的网络结构，该特征融合层首先采用1*1卷积核进行降维操作，减少输入得到的特征图，从而降低3*3的Dwise运算的参数量，然后再采用1*1卷积核进行升维操作，为后续的特征提取提供更多的特征信息。由于脸型的脸型轮廓的特征是不太明显的，容易导致模型在卷积运算的过程中丢失浅层的纹理轮廓特征信息，导致模型不能很好的识别脸部的轮廓，因此在上述的脸型识别模型中采用了融合特征层，通过设置两个分支的方式，保留了输入的特征图像，并与卷积后的特征图像进行融合，从而可以保证输出的特征图像都包含浅层的纹理特征，并且通过在不同的层设置特征融合层的方式，使得不同尺寸的特征图像中，都能够有效地在增强网络深度的同时，不增加模型的参数，以实现轻量型的目的。

此外，在上述的脸型识别模型中，还使用平均池化层和1*1卷积层替代全连接层，也能够降低整体模型的参数，从而进一步构建出轻量型的脸型识别模型。

在本发明实施例中，通过设置上述的脸型识别模型，使得能够有效的对脸型进行识别，且上述模型是轻量化模型，实现针对性的模型构建。

进一步地，请参阅图5，为本发明实施中脸型识别模型训练方法的流程示意图，包括：

401、获取人脸图像样本数据集，人脸图像样本数据集包含人脸样本图像及人脸样本图像的脸型；

402、对人脸图像样本数据集中人脸样本图像进行人脸关键点检测，根据检测到的人脸关键点在人脸样本图像中确定初始人脸样本区域；

403、对初始人脸样本区域进行调整，使得调整后的目标人脸样本区域的长宽比为1:1，并从人脸样本图像中提取目标人脸样本区域对应的目标样本图像，得到目标人脸图像样本数据集，目标人脸样本数据集包含目标样本图像，及目标样本图像的脸型；

404、利用目标样本图像数据集对脸型识别模型进行迭代训练，直至基于脸型识别模型训练输出结果及目标样本图像的脸型确定脸型识别模型收敛。

在本发明实施例中，将先获取到人脸图像样本数据集，该人脸图像样本数据集包含人脸样本图像及人脸样本图像的脸型。且将对人脸样本数据集中人脸样本图像进行人脸关键点检测，根据检测到的人脸关键点在人脸样本图像中确定初始人脸样本区域。

具体的，包括：从检测到的人脸样本图像包含的人脸关键点的位置信息中，选取在第一方向分量上的第一最小样本值及第一最大样本值，及在第二方向分量上的第二最小样本值及第二最大样本值；将第一最小样本值及第二最小样本值所确定的位置作为第一样本位置，将第一最大样本值及第二最大样本值所确定的位置作为第二样本位置，以第一样本位置和第二样本位置作为第二矩形相对的两个顶点，在人脸样本图像中确定第二矩形，并将第二矩形所包围的区域作为初始人脸样本区域。

需要说明的是，初始人脸样本区域的确定方法与前述方法实施例中的最小人脸矩形区域的确定原理和方式都相似，详细描述可以参阅前述方法实施例中最小人脸矩形区域的相关内容，此处不做赘述。

进一步地，将对初始人脸样本区域进行调整，使得调整后的目标人脸样本区域的长宽比为1:1，包括：

当第一最大样本值与第一最小样本值之间的第五差值大于第二最大样本值与第二最小样本值之间的第六差值时，计算第五差值减去第六差值得到的第七差值，将第二样本位置中的第二最大样本值加上第七差值，得到调整后的第二样本位置，基于第一样本位置和调整后的第二样本位置对初始人脸样本区域进行更新，得到目标人脸样本区域；或者，将第一样本位置中的第二最小样本值减去第七差值，得到调整后的第一样本位置，基于调整后的第一样本位置和第二样本位置对初始人脸样本区域进行更新，得到目标人脸样本区域；

当第一最大样本值与第一最小样本值之间的第五差值小于第二最大样本值与第二最小样本值之间的第六差值时，计算第六差值减去第五差值得到的第八差值，将第二样本位置中的第一最大样本值加上第八差值，得到调整后的第二样本位置，基于第一样本位置和调整后的第二样本位置对初始人脸样本区域进行更新，得到目标人脸样本区域；或者，将第一样本位置中的第一最小样本值减去第八差值，得到调整后的第一样本位置，基于调整后的第一样本位置和第二样本位置对初始人脸样本区域进行更新，得到目标人脸样本区域。

需要说明是，此处对初始人脸样本区域的调整方式与前述方法实施例中对最小人脸矩形区域的调整方式相似，具体可参阅前述描述的最小人脸矩形区域的调整的相关内容，此处不做赘述。

进一步地，脸型识别模型包括依次级联的第一卷积层、第一特征提取层、第二卷积层、第二特征提取层、第三卷积层、第三特征提取层、第四卷积层、第四特征提取层、第五卷积层、第六卷积层、池化层及第七卷积层；第一特征提取层、第二特征提取层、第三特征提取层及第四特征提取层均包含至少两个依次级联的特征融合层；特征融合层包含依次级联的第一子卷积层、深度级可分离卷积、第二子卷积层，特征融合层的输出的特征图像为：将输入特征融合层的输入特征图像与第二子卷积层的输出特征图像进行融合后得到的特征图像。

需要说明的是，本发明实施例中的脸型识别模型可以是设置的轻量型模型，具体可以参阅前述方法是实施例中关于脸型识别模型的相关描述，此处不做赘述。

在本发明实施例中，步骤404具体包括如下步骤：

将目标样本图像输入脸型识别模型中，获取脸型识别模型训练输出结果；

利用训练输出结果、目标样本图像的脸型及预设的目标样本图像的脸型对应的权重系数，得到损失值；

根据损失值确定脸型识别模型是否收敛。

在本发明实施例中，考虑到脸部的微表情，比如抿嘴，将导致脸部轮廓出现变形，识别结果容易出准确，因此，设置权重系数，针对不同的脸型的类型，设置不同的权重，降低模型在训练过程中过多的关注由于脸部表情导致的脸部轮廓发生变化的情况。

在训练过程中，若脸型识别模型训练输出结果为Z(z1,z2,…,zk)，则该脸型识别模型的损失函数如下：

其中，Loss表示损失值，k表示脸型的类型数量，α

其中，权重系数可以是常数，该值可以是人工设置的系数。

在本发明实施例中，若基于损失值确定脸型识别模型收敛，则将收敛后的脸型识别模型作为训练完成的脸型识别模型，若基于损失值确定脸型识别模型不收敛，则对脸型识别模型进行参数优化，得到优化后的脸型识别模型，并返回将目标样本图像输入至脸型识别模型中，获取连续识别模型的训练输出结果的步骤。

在对脸型识别模型进行参数优化时，可以先确定迭代训练的次数i，利用该i的值对自适应矩估计(Adaptive moment estimation，adam)算法的学习率进行更新，得到更新后的学习率，并利用总损失值、更新后的学习率及adam算法对当前的脸型识别模块进行参数优化，得到优化后的脸型识别模型。

需要说明的是，使用adam算法需要预先配置参数，包括迭代次数的设置，初始学习率，学习率的权重衰减等等，每一次迭代训练，都需要更新adam算法的学习率。例如，迭代次数可以设置为500次，初始化学习率设置为0.001，学习率的权重衰减设置为0.0005，经过50次迭代，学习率将衰减成原来的1/10，其中，可以将学习率、总损失值输入adam算法中，得到adam输出的调整参数，利用该调整参数实现脸型识别模型的参数优化。

在本发明实施例中，通过利用长宽比为1:1的目标样本图像对脸型识别模型进行训练，能够有效避免人脸轮廓被脸型识别模型改变，使得脸型识别模型能够更好地学习不同脸型的轮廓信息，训练得到的脸型识别模型的识别脸型的准确性也就越高。进一步的，还可以通过对目标样本图像进行马赛克处理的方式，降低模型训练的过程中，对五官的关注，使得能够更好实现人脸轮廓与五官的平缓过渡，降低脸型识别模型在训练的过程中，过渡关注非人脸轮廓。进一步地，通过构建轻量型的脸型识别模型，使得能够实现针对性的模型设置，更符合需求。进一步地，通过设置权重系数，使得能够针对不同的脸型设置不同的权重系数，降低脸型识别模型在训练过程中过多的关注脸部表情导致的脸部轮廓发生变化的情况。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。