一种基于多光谱成像技术的人体肤色识别方法及系统

技术领域

本发明涉及光谱识别技术领域以及皮肤肤色检测技术领域，具体涉及一种基于多光谱图像探测技术的肤色识别方法及系统。

背景技术

随着人工智能的快速发展，智能化的肤色检测技术受到了美容院、皮肤研究机构等的广泛关注。目前常用的肤色检测技术主要以RGB和YCbCr颜色空间信息技术为主；例如：申请号为202010091828.8的中国专利公开的《肤色显示方法及装置》、申请号为202110285263.1的中国专利公开的《一种基于颜色空间转换的RGB人脸图像判断方法》以及申请号为201410653563.0的中国专利公开的《一种基于单张图像的肤色人脸检测方法及系统》均是采用RGB技术；然而，利用RGB信息描述肤色的方法所包含的信息量较小，并且会出现RGB值相同而面部光谱反射率不同，从而导致肤色识别误差较大的问题，对肤色识别不够准确。申请号为201911376349.4的中国专利公开的《皮肤检测方法、装置、终端设备及计算机存储介质》采用YCbCr技术，这种利用YCbCr颜色空间描述肤色特征的方法同样无法解决复杂光照环境下人脸的肤色识别问题。申请号为201510864315.5的中国专利公开了《手机中人脸检测方法》，该方法利用肤色在YCgCr颜色空间的聚类特性完成肤色分割，对经处理后的人脸图像加权欧氏距离来度量与人脸模板的匹配度，其可以在多种环境下检测人脸，解决了复杂光照环境下人脸的肤色识别问题，但存在信息量欠缺、过程繁琐等缺点。

为了克服了上述以RGB、YCbCr以及YCgCr颜色空间为代表的肤色检测技术上信息量小、环境光干扰等局限性问题，近年来出现一种基于多光谱的皮肤检测方法和系统。例如：中国专利CN211155741U公开了《基于光谱检测技术的皮肤检测仪》，该检测仪采用UV光、伍德氏光、白光三种光检测肤质，但对于面部肤色方面未做到精确识别。中国专利CN111528807A公开了《基于多光谱和3D模型重建的人脸图像分析系统及其方法》，该方法通过采用UV光、伍德氏光、白光、正偏振光、负偏振光获取人脸皮肤信息，但该系统结构复杂，不具备便携性，应用场景较为单一。中国专利CN103268499A公开了《基于多光谱成像的人体皮肤检测方法》，该方法利用多光谱成像系统获取图像中人脸及物体的反射特性，用于区分物体与人脸，但并未对肤色的准确识别方面做出进一步的成果。中国专利CN104545815A公开了《一种基于多光谱视频的面部光谱反射率复原方法》，该方法通过光谱反射率复原技术对面部进行面部光谱反射率复原，该系统体积较大，使用条件较为严格，不具备便携性，难以满足人们日常生活中检测肤色的需求。中国专利CN105380609A公开了《基于多光谱的皮肤检测方法与系统》，该方法利用多光谱对皮肤黑色素、胶原蛋白等物质进行分析检测，但该方法并未考虑多种光源下肤色检测识别精度较低的问题，在实际应用中仍存在较大误差，且系统结构复杂，不具备便携性。中国专利CN109124575A公开了《多光谱面部皮肤图像获取装置及系统》，该系统能够在统一色温、景深、光源位置、曝光参数、拍摄背景和被检测对象面部体位的标准化拍摄条件和环境下，完成被检测对象面部皮肤图像自动连续获取，反映被检测对象面部皮肤的肤质状况。但该方法实施条件较为严格，仪器体积较大，不具便携性，难以满足日常生活环境中检测肤色的需求。

综上可以看出，虽然现有肤色的测量方法多种多样，但基于RGB颜色空间、YCbCr颜色空间以及YCgCr颜色空间的肤色检测方法，均存在信息量较小、无法在复杂光源下准确检测皮肤肤色，检测过程繁琐的问题。而基于多光谱成像技术的皮肤检测虽然能够对皮肤肤质进行全面检测，但仪器较大，不具备便携性，且未考虑多种光源下肤色检测识别精度较低的问题，无法满足在各种生活场景中进行肤色检测的需求。

发明内容

鉴于上述问题和缺陷，本发明的目的在于提供一种基于多光谱图像探测技术的肤色识别方法，该方法利用人体面部皮肤多光谱图像信息实现人体肤色快速、高效、准确的识别，识别过程中不受环境光的影响，克服了现有检测方法所含信息量较少、肤色检测识别不准确、光谱范围小，易受到外界环境影响等缺点。

为实现上述目的，本发明采用如下技术方案：

一种基于多光谱图像探测技术的肤色识别方法，该方法包括以下步骤：

步骤S1、以白板为背景，利用多光谱图像采集模块在指定照明光源下采集白板多光谱图像数据以及多名肤色各异的志愿者面部肤色的多光谱图像数据，建立数据库；其中，所述白板的反射率为1；

步骤S2、利用色差仪对每个志愿者的面部肤色进行检测，之后在肤色色卡上找出与检测结果最接近的肤色色号，并依据肤色色卡上的肤色色号对步骤S1获取的多名志愿者的多光谱图像数据进行肤色标签；

步骤S3、根据步骤S1采集到的人脸多光谱图像数据和白板多光谱图像数据，获得人脸反射率谱，之后将已进行肤色标签的人脸多光谱图像数据与对应的人脸反射率谱进行色号标签；其中，所述人脸反射率谱的计算公式如下：

其中，R(λ)表示测试目标的反射率；D(λ)表示探测光强度信息；λ为波长；

步骤S4、利用多光谱图像采集模块采集人脸中影响肤色的主要成分的多光谱图像数据，计算各主要成分的标准反射率谱；

步骤S5、根据步骤S3获取的人脸反射率谱以及步骤S4获取的影响人脸肤色的各主要成分的标准反射率谱，计算各志愿者人脸皮肤上各主要成分的含量；

步骤S6、将已进行肤色标签的人脸反射率谱的肤色色号与步骤S5计算得到的多名志愿者人脸皮肤上各主要成分的含量进行标签，建立皮肤中影响肤色的各主要成分含量矩阵A与肤色色号矩阵F的对应关系；

步骤S7、将步骤S6获取的数据进行AI训练，确定影响肤色的主要成分含量与肤色色号对应关系矩阵B；

步骤S8、按照步骤S1的方法采集待测人脸的多光谱图像数据，之后根据人脸的多光谱图像数据计算人脸反射率谱，再按照步骤S5的方法根据人脸反射率谱计算人脸皮肤中影响肤色的各主要成分的含量，之后根据步骤S7获得的矩阵B即可直接输出人脸肤色。

作为本发明的优选，所述多光谱图像采集模块的光谱覆盖范围为350-850nm，谱段数大于6段；采集数据时，多光谱图像采集模块镜头端距离人脸水平距离40-50cm。

作为本发明的优选，所述志愿者的人数应大于肤色色卡中肤色色号的数量，保证肤色色卡中的每一个肤色色号均与至少一名志愿者相对应。

作为本发明的优选，所述肤色色卡采用Pantone人体肤色色卡，该色卡由110种色号构成。

作为本发明的优选，步骤S4中所述的影响人脸肤色的主要成分包括真皮、黑色素、血红蛋白和氧合血红蛋白；步骤S5在计算真皮、黑色素、血红蛋白和氧合血红蛋白含量时，将光谱覆盖范围分为N个波段，N大于6，构建每个波段内人脸的反射率谱R与真皮、黑色素、血红蛋白和氧合血红蛋白的标准反射率谱X、Y、Z、N的关系，表达式如下：

R

R

R

R

……

R

根据上述超定方程组采用最小二乘法求解出a、b、c和d值；其中，a、b、c、d分别代表皮肤中真皮、黑色素、血红蛋白和氧合血红蛋白的含量。

作为本发明的优选，步骤S7所述的AI训练采用SVM支持向量机训练。

本发明的另一目的在于提供一种基于多光谱成像技术的人体肤色识别系统，该系统包括多光谱图像采集模块、人脸反射率谱计算模块、主成分含量计算模块、肤色色号关联模块、AI训练模块、肤色反演模块、数据库；其中，所述多光谱图像采集模块，用于采集多光谱图像数据；

所述人脸反射率谱计算模块，用于根据测试者的多光谱图像数据以及数据库内存储的白板探测光强度信息，获得不含环境光的人脸反射率谱；

主成分含量计算模块，用于根据人脸反射率谱图像信息以及数据库中存储的人脸中影响人脸肤色的各主要成分的标准反射率谱，计算得到人脸中影响人脸肤色的各主要成分的含量；

肤色色号关联模块，用于将获取的多光谱图像数据、人脸反射率谱以及影响人脸肤色的各主要成分的含量与人体肤色色卡上的色号进行关联，建立影响肤色的主要成分含量矩阵A与肤色色号矩阵F对应关系；

AI训练模块，用于对获取的影响肤色的主要成分含量矩阵A与肤色色号矩阵F对应关系进行AI训练，计算影响肤色的主要成分含量矩阵A与肤色色号矩阵F对应关系矩阵B；

肤色反演模块，用于根据测试者中人脸皮肤中影响人脸肤色的各主要成分的含量，以及AI训练模块计算的对应关系矩阵B计算人脸肤色。

本发明的第三个目的在于提供一种电子设备，包括：一个或多个处理器、存储器；其中，所述存储器用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，一个或多个处理器实现上述基于多光谱图像探测技术的肤色识别方法。

本发明的第四个目的在于提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于多光谱图像探测技术的肤色识别方法。

本发明的优点和技术效果是：

1、本发明提供的识别方法中利用皮肤多光谱图像数据中包含影响皮肤肤色的主要成分的光谱信息，根据主要成分的反射率谱，得到影响人脸肤色的主要成分的含量，建立肤色与主要成分含量的对应关系模型，之后通过AI对模型进行训练，从而保证最终得出的肤色数据的准确性。

2、本发明提供的方法以白板为背景，所获得的人脸反射率谱中不含环境光，因此该方法不受环境光的影响，能够在生活中的复杂光照环境下对肤色进行快捷、精准的检测识别，适用于各种日常环境中的肤色检测需求，适用范围广泛。

3、本发明提供的肤色识别系统使用的多光谱成像技术，相比传统的RGB检测人脸肤色的方法，具有光谱信息量更大，光谱范围宽、暗光识别率高等优点。另外，本发明识别系统中多光谱图像采集模块采用光谱芯片对光谱数据进行采集，具有光谱范围广(350-850nm)、体积小、重量轻、兼容性好、操作便捷、检测速度快等优点，可应用于手机、镜子及电子穿戴产品等肤色检测装置中。

附图说明

图1是本发明识别系统的流程图；

图2是人脸皮肤中真皮、黑色素、血红蛋白和氧合血红蛋白的标准反射率谱；

图3是本发明识别系统的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

另外，在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其它方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。下面将参考附图并结合实施方式来详细说明本公开的技术方案。

实施例1一种基于多光谱图像探测技术的肤色识别方法

如图1所示，本发明提供了一种基于多光谱图像探测技术的肤色识别方法，该方法包括以下步骤：

步骤S1、利用多光谱图像采集模块在D65(日光6500K)照明光源下，采集白板多光谱图像数据以及150名肤色各异的志愿者面部肤色的多光谱图像数据，建立数据库；其中，多光谱图像采集模块的核心部件采用吉林求是光谱数据科技有限公司的光谱芯片(申请号2020104492975公开了光谱芯片的结构)，光谱覆盖范围为350-850nm，谱段数为8段；采集数据时，多光谱图像采集模块镜头端距离人脸水平距离40-50cm，在人脸水平放置白板，用于后续背景光消除；

步骤S2、利用色差仪对每个志愿者的面部肤色进行检测，之后在肤色色卡上找出与检测结果最接近的肤色色号，并依据肤色色卡(Pantone人体肤色色卡，该色卡由110种色号构成)上的肤色色号对步骤S1获取的多名志愿者的多光谱图像数据进行肤色标签，保证肤色色卡中的每一个肤色色号均与至少一名志愿者相对应；

步骤S3、根据步骤S1采集到的人脸多光谱图像数据和白板多光谱图像数据，获得人脸反射率谱，之后将已进行肤色标签的人脸多光谱图像数据与对应的人脸反射率谱进行色号标签；

根据多光谱图像采集模块采集到的多光谱图像数据中包含已知光源的光谱信息、探测目标反射率以及仪器传函：

D(λ)＝S(λ)·R·(λ)·T(λ)

其中，D(λ)表示探测光强度信息；S(λ)表示光源信息；R(λ)表示测试目标的反射率，T(λ)表示探测器的传递函数；

人脸和白板探测光强度之比为：

在相同光源，相同探测器下有：

所以有：

即：根据人脸和白板的多光谱图像数据中的强度信息可获得人脸反射率谱；当然，测试时背景不局限于白板，也可以采用其他已知反射率的板，然后参照上述公式计算人脸的反射率谱，本申请之所以选择白板是为了简化计算过程；

步骤S4、利用多光谱图像采集模块采集人脸中影响肤色的主要成分的多光谱图像数据，计算各主要成分的标准反射率谱(见图2)，对于人体皮肤中油脂、水分等对肤色影响较小的成分予以忽略；其中，所述的影响人脸肤色的主要成分包括真皮、黑色素、血红蛋白和氧合血红蛋白；

步骤S5、根据步骤S3获取的人脸反射率谱以及步骤S4获取的影响人脸肤色的真皮、黑色素、血红蛋白和氧合血红蛋白的标准反射率谱，采用主成分回归模型计算各志愿者人脸皮肤上真皮、黑色素、血红蛋白和氧合血红蛋白的含量，计算公式如下：

R(λ)＝aX(λ)+bY(λ)+cZ(λ)+dN(λ)

其中，R(λ)表示人脸的反射率谱，且在步骤S3中已进行色号标签，X(λ)、Y(λ)、Z(λ)和N(λ)分别表示皮肤中真皮、黑色素、血红蛋白和氧合血红蛋白的标准反射率谱，而a、b、c、d则分别代表真皮、黑色素、血红蛋白和氧合血红蛋白的含量。

如：R

R

R

R

R

……

R

根据上述超定方程，采用最小二乘法可以求解出a，b，c和d高精度的近似值，分别代表志愿者皮肤中真皮、黑色素、血红蛋白和氧合血红蛋白的这四种元素含量；

由110名不同肤色的志愿者产生的影响肤色的主要成分含量数据构成含量矩阵A，即

步骤S6、将已进行肤色标签的人脸反射率谱的肤色色号与步骤S5计算得到的多名志愿者人脸皮肤上各主要成分的含量进行标签，建立皮肤中影响肤色的各主要成分含量矩阵A与肤色色号矩阵F的对应关系，如第i个人影响肤色的主要成分含量为A

步骤S7、将步骤S6获取的数据进行AI训练(SVM支持向量机)，计算影响肤色的主要成分含量矩阵A与肤色色号矩阵F对应关系矩阵B：

步骤S8、按照步骤S1的方法采集待测人脸的多光谱图像数据，之后根据人脸的多光谱图像数据计算人脸反射率谱，再按照步骤S5的方法根据人脸反射率谱计算人脸皮肤中影响肤色的各主要成分的含量，之后根据步骤S7获得的矩阵B即可直接输出人脸肤色。

实施例2一种基于多光谱成像技术的人体肤色识别系统

如图3所述，本发明提供的一种基于多光谱成像技术的人体肤色识别系统，该系统包括多光谱图像采集模块1、人脸反射率谱计算模块2、主成分含量计算模块3、肤色色号关联模块4、AI训练模块5、肤色反演模块6、数据库7；

其中，所述多光谱图像采集模块1，用于采集多光谱图像数据，多光谱图像采集模块1的核心部件采用吉林求是光谱数据科技有限公司的光谱芯片(申请号2020104492975公开了光谱芯片的结构)，光谱覆盖范围为350-850nm，谱段数为8段；

所述人脸反射率谱计算模块2，用于根据测试者的多光谱图像数据以及数据库6内存储的白板探测光强度信息，获得不含环境光的人脸反射率谱；

主成分含量计算模块3，用于根据人脸反射率谱图像信息以及数据库中存储的人脸中影响人脸肤色的各主要成分的标准反射率谱，计算得到人脸中影响人脸肤色的各主要成分的含量；所述影响人脸肤色的主要成分包括真皮、黑色素、血红蛋白和氧合血红蛋白；

肤色色号关联模块4，用于将获取的多光谱图像数据、人脸反射率谱以及影响人脸肤色的真皮、黑色素、血红蛋白和氧合血红蛋白的含量与Pantone人体肤色色卡上的色号进行关联，建立影响肤色的主要成分含量矩阵A与肤色色号矩阵F对应关系；

AI训练模块5，用于根据获取的影响人脸肤色的真皮、黑色素、血红蛋白和氧合血红蛋白的含量与Pantone人体肤色色卡上的色号对应关系，采用SVM支持向量机进行训练分析，计算影响肤色的主要成分含量矩阵A与肤色色号矩阵F对应关系矩阵B；

肤色反演模块6，用于根据人脸皮肤中影响人脸肤色的各主要成分的含量以及AI训练模块计算的对应关系矩阵B，计算人脸肤色。

需要说明：本发明提供的肤色识别系统可应用于手机、镜子及电子穿戴产品等任一肤色检测装置中，凡采用本申请识别系统的肤色检测的装置均属于本发明保护的范围。

另外，本发明还提供一种电子设备，包括：一个或多个处理器、存储器；其中，所述存储器用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，一个或多个处理器实现实施例1所述的基于多光谱图像探测技术的肤色识别方法。

本发明还提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述的基于多光谱图像探测技术的肤色识别方法。

本领域技术人员可以理解，上述实施方式中各种方法/模块的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。

另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。