一种面部皮肤肤质的识别方法及其智能终端

技术领域

本发明属于图像识别技术领域，具体地涉及一种面部皮肤肤质的识别方法及其智能终端。

背景技术

图像识别技术广泛应用于金融、航天、电力、工业、教育、医疗等生活的各个领域，尤其是随着卷积神经网络等深度学习方法的蓬勃发展，图像识别在人脸，医疗等应用领域，已经取得超过人类的准确率。

随着时代的发展，人们越来越依赖通过网上商城的方式进行购物，而经济的发展，促使女性越来越重视自身的形象管理，其中对于面部的护理尤为重视。传统女性购买面部护肤品，主要通过线下门店的柜台专员进行肤质的测试，进而推荐相应的护肤品。不过，这种传统的方式对于线上购物的用户带来不便。

发明内容

本发明提供一种面部皮肤肤质的识别方法及其智能终端，解决现有技术中线上购物时用户不能方便了解自己的肤质类型等问题。

在本发明的第一方面，提供了一种面部皮肤肤质的识别方法，包括以下步骤：

(1)收集数据库中用户的历史面部图像；

(2)对收集到的面部图像进行筛选并进行人工标注分类；

(3)对收集到的面部图像进行特征工程处理；

(4)基于卷积神经网络搭建ResNet深度神经网络模型，模型包含50个layer，使用GPU训练模型，迭代10000次，输出模型参数，并对模型进行调优；

(5)压缩模型参数，使其能够集成到智能终端中并检验模型的识别准确率，对需要识别的面部图像输入模型进行识别，得到识别结果。

本发明所述步骤(2)中对面部图像进行标注的内容包括：油性皮肤、干性皮肤、混合型皮肤、痘痘以及黑头。

本发明所述步骤(3)中对收集到的面部图像进行特征工程处理的内容包括：对图片进行裁剪、缩放、灰度转换、曝光过度区域修复以及对比度调整。

本发明所述步骤(4)中50个layer包含卷积神经网络层、批归一化层、max_pooling层以及激活函数层。

本发明所述步骤(6)中采用剪枝、共享参数的方法压缩模型参数或者采用轻量级的模型代替原有模型以使巨量参数的模型能够运行在内存运存有限的智能终端上。

在本发明的第二方面，提供了一种面部皮肤肤质识别智能终端，包括：

人脸识别模块，用于识别采集用户的面部图像；

图像处理模块，用于对采集到的用户面部图像进行处理；

模型训练模块，用于对数据库中的历史用户面部头像进行训练并分类；

肤质识别模块，用于对待分类的用户面部肤质进行分类。

本发明所述人脸识别模块采用摄像头拍摄获取用户面部图像。

在本发明的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如本发明第一方面所述的方法。

在本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如本发明第一方面所述的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。

本发明有益效果：本发明提供面部皮肤肤质的识别方法及其智能终端，用于识别用户面部皮肤肤质，准确率高，可根据识别结果产生相应的护肤品推荐，提高用户线上购买护肤品的满意度。

附图说明

图1为本发明一实施例的面部皮肤肤质的识别方法的整体流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本发明保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

图1示出了面部皮肤肤质的识别方法的整体流程示意图。

一种人类面部肤质的识别处理方法，包括以下步骤：

(1)收集数据库中用户的历史面部图像；

(2)对收集到的面部图像进行筛选并进行人工标注，如油性皮肤，干性皮肤，混合皮肤，痘痘，黑头等面部皮肤的肤质分类以及一些常见的皮肤问题；

(3)对收集到的图片进行特征工程，包括并不限于对图片进行裁剪，缩放，灰度转换，曝光过度区域修复，对比度调整等；

(4)基于卷积神经网络搭建ResNet深度神经网络模型，模型包含50个layer，layer包含卷积神经网络层，批归一化层，max_pooling层，激活函数层等；使用GPU训练模型，迭代10000次，输出模型参数，并对模型进行调优；

(5)训练其他模型，如VGGNet，AlexNet等常见模型作为baseline,并进行模型对比，选择在测试机上表现良好且具有较好泛化能力的模型；

(6)压缩模型参数，使其能够集成到智能终端的代码中，并检验模型的识别准确率，存储到智能终端，供程序调用；

(7)采集需要识别的用户面部图像并输入模型进行识别，得到识别结果。

在步骤(3)中，由于采集到的图片存在拍摄到的面部部位不全，或者由于快门速度过慢等原因造成的图片模糊，需要对图片进行特征工程进行修复，此处采用GAN深度学习模型对此类图片进行修复，同时对图片进行特征工程，以达到输入模型的要求。

在步骤(6)中，可以采取剪枝，共享参数等方法压缩模型或者采用轻量级的模型，在不影响预测的准确性以及泛化能力的情况下代替原有模型，使得巨量参数的模型能够运行在内存运存有限的智能终端上。

在步骤(7)中采集需要识别的面部图像的方法为，触发智能终端通过摄像头对人面部进行识别；为确保采集的图片清晰度，根据背景光的强度，自适应配置对应的自曝光窗口的曝光值，从而进行对应的曝光，最终获得清晰的人脸图像，当用户的姿势不正确无法识别到人类面部时，应提示用户端正姿势。

在步骤(7)中，若人脸识别失败，则返回触发人脸识别的步骤，直至满足第一条件，第二条件，第三条件、第四条件和第五条件。其中，第一条件为：连续触发人脸识别的次数超过预设次数的阈值；第二条件为：单次触发人脸识别的时长超过预设的时长；第三条件为：所检测到的图像不是人类的面部；第四条件为：检测环境的亮度过高；第五条件为：检测环境的亮度过低；第六条件：人脸识别成功。

当满足上述第一条件时，输出指示人脸识别失败的第一提示信息；

当满足上述第二条件时，输出指示人脸识别失败的第二提示信息；

当满足上述第三条件时，输出指示人脸识别失败的第三提示信息；

当满足上述第四条件时，输出提示人脸识别失败的第四提示信息；

当满足上述第五条件时，输出提示人脸识别失败的第五提示信息；

当满足上述第六条件时，输出指示人脸识别成功的第六提示信息；

上述第一提示信息提示用户识别的次数过多，稍后再试；第二提示信息提示用户识别的时间过长，稍后重试；第三提示信息提示用户检测到的图像不是人类的面部，请用户将人类的面部对准智能终端的摄像头；第四提示信息提示用户检测的环境亮度过高，需要调低环境的亮度；第五提示信息提示用户检测的环境亮度过低，需要调高环境的亮度；第六提示信息提示用户面部识别成功，正在分析用户面部肤质。

一种面部皮肤肤质识别智能终端，包括：

人脸识别模块，用于识别采集用户的面部图像；

图像处理模块，用于对采集到的用户面部图像进行处理；

模型训练模块，用于对数据库中的历史用户面部头像进行训练并分类；

肤质识别模块，用于对待分类的用户面部肤质进行分类。

本申请实施例提供了一种基于知识图谱的商品推荐方法，包括：

基于上述面部皮肤肤质的识别方法及其智能终端，识别出用户的面部皮肤肤质，通过知识图谱以及知识库，产生推荐的商品id；

若模型无法识别出用户的面部皮肤肤质，则重复识别，直至满足第七条件或者第八条件。其中第七条件为：执行的次数超过预设的阈值；第八条件为：推荐成功。

当满足上述第七条件时，输出提示面部皮肤肤质识别失败的第七提示信息；

当满足上述第八条件时，输出提示面部皮肤肤质识别成功的第八提示信息，并显示用户肤质；

通过排序算法排序，得出最佳的top10推荐结果，并输出到智能终端显示屏。

实施例1

1、触发智能终端进行人脸识别。当用户通过点击智能终端应用识别按钮，触发智能终端进行人脸识别，智能终端将调用终端的摄像头。

2、进行人类面部识别，若识别成功则进入下一步，否则重复步骤直至满足条件1～6，并输出相应提示。本实施例中，智能终端用户通过摄像头获取用户脸部图像，通过图像识别判断所获得的图像是否是人类的脸部，如果图像为人类的面部，则进入步骤3，否则的话，判断识别失败的原因，如果调用超过规定次数或者超时，则提示用户识别失败，请求用户重试。

3、面部图像识别成功后进行面部皮肤肤质识别，根据模型对面部图像进行预测，获取肤质分类。根据步骤2得到的用户面部图像，对图像进行灰度，对比度，缩放等特征处理，处理后的数据输入存储在本地的模型，经过模型对图像进行预测，得到用户肤质的分类结果。

4、训练、优化以及更新人类面部皮肤肤质分类模型。面部皮肤肤质分类模型的训练，优化在服务器进行，并定期通过联网更新本地的模型数据，以求获得更好的分类结果，同时根据智能终端返回服务器的数据对模型进行调优。

5、通过知识图谱以及知识库，产生top10商品推荐。获取到用户的肤质分类之后，通过专家知识构建的知识库以及用户的皮肤特征，用户的属性特征等，通过知识图谱输出相应的商品id，并通过排序模型选取top10对用户进行推荐。

用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本发明的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。