一种图像处理方法、装置、电子设备和刻度存储介质

技术领域

本发明涉及图像处理技术领域。更具体地，涉及一种用于将紫外图像和可见光图像融合的图像处理方法、装置、电子设备和刻度存储介质。

背景技术

随着电子技术的飞速发展，电子设备能够配备的设施越来越多，例如，可以通过不同的图像传感器获取的图像，并获得拍摄场景中不同类的信息。用于利用紫外成像设备可以观察到防晒霜等能够吸收或反射紫外光的产品在皮肤上的涂抹情况。然而，现有技术中紫外成像装置仅能通过灰度图像进行显示，且图像中人体不同部位(如人脸上的嘴唇和脸颊)的像素值比例与普通可见光相机拍摄的黑白图像不同，导致最终展示的紫外图像不符合用户的视觉习惯，用户体验不佳。

发明内容

本方案的目的在于提供一种用于将紫外图像和可见光图像融合的图像处理方法、装置、电子设备和刻度存储介质。

为达到上述目的，本方案采用下述技术方案：

第一方面，本方案提供一种图像处理方法，该方法的步骤包括：

获取对应于同一被采集区域的紫外光图像和可见光图像；识别所述可见光图像中的第一皮肤区域；根据坐标对应关系从所述紫外光图像中确定与所述第一皮肤区域对应的第二皮肤区域，所述坐标对应关系为对所述紫外光图像与所述可见光图像进行标定后得到的坐标对应关系；从所述第二皮肤区域中确定与防晒霜涂抹痕迹对应的目标区域；根据所述目标区域和所述可见光图像生成融合图像。

在一种优选地实施例中，所述识别所述可见光图像中的第一皮肤区域，包括：

通过预设人体轮廓识别模型识别所述可见光图像中的人体轮廓图像；根据预设像素颜色阈值，从所述人体轮廓图像中确定所述第一皮肤图像。

在一种优选地实施例中，所述根据预设像素颜色阈值，从所述人体轮廓图像中确定所述第一皮肤图像，包括：获取采集到的用户皮肤图像；根据所述用户皮肤图像中的像素颜色值确定所述预设像素颜色阈值。

在一种优选地实施例中，所述从所述第二皮肤区域中确定与防晒霜涂抹痕迹对应的目标区域，包括：根据预设灰度阈值，从所述第二皮肤区域中确定所述目标区域。

在一种优选地实施例中，所述从所述第二皮肤区域中确定与防晒霜涂抹痕迹对应的目标区域，包括：根据预设轮廓检测模型，从所述第二皮肤区域中确定所述目标区域。

在一种优选地实施例中，所述目标区域中包括的像素数量，大于预设像素数量。

在一种优选地实施例中，所述根据所述目标区域和所述可见光图像生成融合图像，包括：从所述第二皮肤区域中提取所述目标区域对应的图像；根据所述坐标对应关系，从所述第一皮肤区域中确定与所述目标区域对应的待替换区域；将所述待替换区域的图像替换为所述目标区域对应的图像，得到所述融合图像，或，将所述目标区域对应的图像的透明度调整至第一透明度，将调整后的所述目标区域对应的图像叠加至所述待替换区域之上，得到所述融合图像。

在一种优选地实施例中，所述根据所述目标区域和所述可见光图像生成融合图像，包括：将所述紫外光图像中的目标区域的透明度调整至第二透明度值；将在特定区域中所述目标区域以外的区域的透明度调整至第三透明度值，得到透明图像，其中，所述特定区域为所述紫外光图像中范围包括且大于所述目标区域的区域，所述第三透明度值高于所述第二透明度值；根据所述坐标对应关系，将所述透明图像叠加至所述可见光图像上，得到所述融合图像。

第二方面，本方案提供一种图像处理装置，该装置包括：

获取模块，用于获取对应于同一被采集区域的紫外光图像和可见光图像；

识别模块，用于识别所述可见光图像中的第一皮肤区域；

第一确定模块，用于根据坐标对应关系从所述紫外光图像中确定与所述第一皮肤区域对应的第二皮肤区域，所述坐标对应关系为对所述紫外光图像与所述可见光图像进行标定后得到的坐标对应关系；

第二确定模块，用于从所述第二皮肤区域中确定与防晒霜涂抹痕迹对应的目标区域；

生成模块，用于根据所述目标区域和所述可见光图像生成融合图像。

第三方面，本方案提供一种设备，包括：存储器，一个或多个处理器；存储器与处理器通过通信总线相连；处理器被配置为执行存储器中的指令；所述存储介质中存储有用于执行如上所述图像处理方法中各个步骤的指令。

第四方面，本方案提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述图像处理方法的步骤。

本发明的有益效果如下：

本方案通过将紫外图像中的目标区域叠加至可见光图像中，使得用户能够更加清晰的识别出皮肤上防晒霜等产品的涂抹情况，且更符合用户的视觉习惯。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本方案所述图像数据处理方法的示意图；

图2示出本方案所述一种图像数据处理装置的示意图；

图3示出本方案所述一种电子设备的示意图；

图4示出本方案所述获取第一皮肤区域的示意图；

图5示出本方案所述获取第二皮肤区域的示意图；

图6示出本方案所述获取目标区域的示意图；

图7示出本方案所述融合图像的示意图。

具体实施方式

为使本发明的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

经过对现有技术的分析和研究，由于环境或不同场合的需求，人们会适当涂抹一些防晒类的护肤产品，然而，用户并不清楚防晒类护肤产品的真实涂抹情况，例如防晒霜是否涂抹均匀等。防晒类产品的涂抹情况无法通过肉眼直接识别，仅能通过紫外成像的方式来观察。然而，紫外成像装置仅能通过灰度图像进行显示，且图像中人体不同部位(如人脸上的嘴唇和脸颊)的像素值比例与普通可见光相机拍摄的黑白图像不同，导致最终展示的紫外图像不符合用户的视觉习惯，用户体验不佳。

因此，本方案旨在提供一种图像处理方法，通过该方法将紫外图像中的涂抹化妆产品或护肤产品的区域显示在彩色图像中，从而使用户能够更加清晰的识别出皮肤上涂抹化妆产品或护肤产品的情况，且更符合用户的视觉习惯。

以下，结合附图对本方案提出的一种图像处理方法进行详细描述。如图1所示，该方法可以包括如下步骤：

步骤S1：获取对应于同一被采集区域的紫外光图像和可见光图像；

步骤S2：识别所述可见光图像中的第一皮肤区域；

步骤S3：根据坐标对应关系从所述紫外光图像中确定与所述第一皮肤区域对应的第二皮肤区域，所述坐标对应关系为对所述紫外光图像与所述可见光图像进行标定后得到的坐标对应关系；

步骤S4：从所述第二皮肤区域中确定与防晒霜涂抹痕迹对应的目标区域；

步骤S5：根据所述目标区域和所述可见光图像生成融合图像。

本方案步骤S1中获取的图像可以通过具有紫外图像传感器和可见光图像传感器的相机或摄像头进行采集。为了降低图像融合过程中的误差，尽量紫外图像传感器和可见光图像传感器在产品或设备上设置在相邻位置且保持图像采集方向统一，以减小紫外图像传感器和可见光图像传感器之间产生角度差，使融合图像展示涂抹防晒产品的区域更加准确。

本方案步骤S2中，由于可见光图像中皮肤与周围环境的颜色差别明显，因此，可通过图像识别技术，从可见光图像中识别出皮肤区域。具体的，如图4所示，识别所述可见光图像中的第一皮肤区域，可以包括：通过预设人体轮廓识别模型识别所述可见光图像中的人体轮廓图像；根据预设像素颜色阈值，从所述人体轮廓图像中确定所述第一皮肤图像。

在一种实例中，预设人体轮廓识别模型可以是基于神经网络的图像人体轮廓提取模型，具体可以采用如下方法：首先是对人体的分割提取，再利用边缘提取算子例如canny算子对人体轮廓进行粗略计算，最后使用形态学及相关算法对轮廓图像进行修改，去除杂点，连接间断边缘。如果提取的目标是简单背景时，可以直接用数字图像处理的办法，对人体轮廓进行提取，如果是复杂背景下，可以使用mask_rcnn分割算法进行像素级别的分割。再例如，可以使用漫水算法对小的边缘检测过程中产生的小的空洞进行填补，使用形态学处理对不连续的轮廓边界进行连接，也可以自己写一个领域查找算法，先找到端点，然后再找离端点最近的点，将其用直线连接起来。本方案中，可以先对神经网络模型进行训练，得到满足条件的神经网络模型后，直接用其进行可见光图像中的人体轮廓识别，无需单独对模型进行训练。

在一种实例中，可以先将RGB颜色模型转换为YCbCr颜色模型，随后，利用颜色阈值进行皮肤区域的分割。例如，黄种人的颜色阈值中Cr分量大约在133至173之间，Cb分量大约在77至127之间，通过当前图像中肤色的这些分量是否落在颜色阈值范围内，识别处皮肤区域和皮肤颜色。

本方案中，像素颜色阈值范围可以根据当前光线强度，利用预置的色差调整表、色差调整模型等对像素颜色阈值范围进行适当调整。

可选的，根据预设像素颜色阈值，从所述人体轮廓图像中确定所述第一皮肤图像，包括：获取采集到的用户皮肤图像；根据所述用户皮肤图像中的像素颜色值确定所述预设像素颜色阈值。由于不同用户的皮肤颜色会存在差异，因此如果使用同一的像素颜色预支范围来识别皮肤，可能会导致对不同肤色用户皮肤的识别错误，因此，可以先采集用户自身的皮肤图像，从而获得用户自身皮肤颜色对应的像素颜色值，从而确定出与用户自身对应的预设像素颜色阈值，以更精确地从可见光图像中识别出用户自身的皮肤区域。

本方案步骤S3中，坐标对应关系是对所述紫外光图像与所述可见光图像进行标定后得到的坐标对应关系。由于紫外光图像是通过紫外光图像传感器采集的，可见光图像是通过可见光图像传感器采集的，两个传感器由于拍摄角度存在视角差，因此，需要对两个传感器进行标定，以得到同一个被拍摄物体在紫外光图像和可见光图像中图像像素的坐标对应关系。紫外光图像中，防晒霜等化妆品的颜色会与人体皮肤有较大颜色差别，但是，在识别紫外光图像中的防晒霜涂抹痕迹时，背景图像会对识别造成较大干扰，因此需要先识别出紫外光图像中的皮肤区域，才能从皮肤区域中更精准地识别出防晒霜涂抹痕迹。因此，在从可见光图像中确定出第一皮肤区域之后，根据上述坐标对应关系，从紫外光图像中确定出对应的第二皮肤区域，如图5所示。

在本方案步骤S4中，如图6所示，从所述第二皮肤区域中确定与防晒霜涂抹痕迹对应的目标区域，具体可以为：根据预设灰度阈值，从所述第二皮肤区域中确定所述目标区域。具体来说，可以设定一个灰度值的范围，提取紫外光图像中第二皮肤区域图像上的灰度值，通过预设灰度值范围来筛选满足条件的区域，从而识别出防晒产品或化妆产品的涂抹区域，将此区域作为目标区域。例如，可以将高于第一预定灰度值的白色区域，认定为是物理防晒涂抹痕迹，并将该区域作为目标区域。再例如，可以将低于第二预定灰度值的黑色区域，认定为是化学防晒涂抹痕迹，并将该区域作为目标区域。

此处需要注意的是，紫外光图像传感器采集的图像通常为灰度图像；灰度图像中灰度值越高(即图像越白)，则表明这个位置紫外线反射越强，灰度值越低(即图像越黑)，则表示该部分紫外线反射越弱。以涂抹防晒霜为例，例如采用化学防晒霜，其是通过吸收紫外线来达到防晒的效果，如果皮肤上某个区域涂抹了足够的化学防晒霜，则其在灰度图像中对应的部分会呈现黑色。如物理防晒霜，其是通过反射紫外线来达到防晒效果，如果皮肤上某个区域涂抹了足够的物理防晒霜，则其在灰度图像中对应的部分会呈现白色。

可选的，还可以根据预设轮廓检测模型，从所述第二皮肤区域中确定所述目标区域。由于在紫外光图像中，皮肤上涂抹了防晒霜的区域颜色与皮肤有较大差别，因此涂抹了防晒霜的区域在皮肤图像上会有比较明显的轮廓。且在紫外光图像下，上述第二皮肤区域中除了涂抹防晒霜的区域，不存在其他具有明显轮廓的区域。因此，通过对轮廓的识别，也能准确的检测到上述目标区域。上述预设轮廓检测模型可依据边缘检测算子如Sobel算子、Prewitt算子、Canny算子等构建，也可基于人类视觉系统模型构建，如Gabor滤波器模型。

本方案在进行目标区域识别时，可能由于图像质量、灰尘黏附等问题，导致目标区域识别有误，此时，可以进一步对目标区域的类型进行识别。具体来说，可以对第二皮肤区域图像中初步判定的目标区域的像素数量进行计算，通过该初步判定的目标区域的像素数量多少来剔除噪声图像。在一种实例中，可以预设像素数量，将计算得到的初步判定的目标区域的像素数量与预设像素数量进行比较，若像素数量小于预设像素数量，则将该目标区域确定为噪声图像，忽略对该目标区域图像的处理。

在本方案步骤S5中，所述根据所述目标区域和所述可见光图像生成融合图像，具体得到的是已可见光图像为背景，显示防晒霜涂抹痕迹的图像，使得用户既能清晰地看到防晒霜涂抹痕迹，且该融合图像更为符合用户的视觉习惯。可选的，所述根据所述目标区域和所述可见光图像得到融合图像，包括：从所述第二皮肤区域中提取所述目标区域对应的图像；根据所述坐标对应关系，从所述第一皮肤区域中确定与所述目标区域对应的待替换区域；将所述待替换区域的图像替换为所述目标区域对应的图像，得到所述融合图像，或，将所述目标区域对应的图像的透明度调整至第一透明度，将调整后的所述目标区域对应的图像叠加至所述待替换区域之上，得到所述融合图像，如图7所示。上述实施方式中，直接将所述待替换区域的图像替换为所述目标区域对应的图像，可使融合图像中与防晒霜涂抹痕迹对应的区域只显示单色图像(如化学防晒霜涂抹痕迹对应得黑色图像)，使得防晒霜涂抹痕迹在该融合图像中更为明显，而将所述目标区域对应的图像的透明度调整至第一透明度，将调整后的所述目标区域对应的图像叠加至所述待替换区域之上，可使防晒霜涂抹痕迹以一定透明度覆盖在彩色皮肤图像上，即融合图像中能够显示完整的皮肤图像，对用户来说视觉效果更佳。

可选的，所述根据所述目标区域和所述可见光图像得到融合图像，包括：将所述紫外光图像中的目标区域的透明度调整至第二透明度值；将在特定区域中所述目标区域以外的区域的透明度调整至第三透明度值，得到透明图像，其中，所述特定区域为所述紫外光图像中范围包括且大于所述目标区域的区域，所述第三透明度值高于所述第二透明度值；根据所述坐标对应关系，将所述透明图像叠加至所述可见光图像上，得到所述融合图像。上述方案中，将紫外光图像中防晒霜涂抹痕迹对应的目标区域设置成低透明度，将其他区域设置成高透明度，直接将调整了透明度的图像根据坐标对应关系覆盖到可见光图像上，则在融合图像中防晒霜涂抹痕迹对应的区域更突显紫外图像，其他区域更突显可见光图像。需要说明的是，上述特定区域，可以是整个紫外光图像，可以是第二皮肤区域，也可以是任何紫外光图像中范围包括且大于所述目标区域的区域。

本方案通过将紫外图像中的目标区域叠加至可见光图像中，使得用户能够更加清晰的识别出皮肤上防晒霜等产品的涂抹情况，且更符合用户的视觉习惯。

如图2所示，本方案进一步提供了配合上述图像处理方法实施的图像处理装置101，该装置包括：获取模块102和融合模块103。该装置在工作时，首先，利用获取模块获取同一区域的紫外光图像和可见光图像；然后，利用融合模块103将紫外光图像中的预定区域与可见光图像中对应的区域叠加，调整所述预定区域中目标区域和/或目标区域以外区域的透明度，获得融合图像；或者，将紫外光图像中的目标区域叠加至可见光图像中对应的区域，获得融合图像。其中，目标区域可以通过预设灰度值范围来辨识。

本方案中，融合模块103具体执行如下步骤：根据像素颜色阈值范围，将紫外光图像中的皮肤区域叠加至可见光图像的皮肤区域上；识别紫外光图像皮肤区域中目标区域，并将所述目标区域的透明度调整至第一透明度值和/或将所述目标区域以外的区域调整至第二透明度值，获得融合图像；或者，所述将紫外光图像中的目标区域叠加至可见光图像中对应的区域，获得融合图像的步骤包括：根据坐标投影关系将紫外光图像中的目标区域叠加至可见光图像中的对应区域。

具体来说，所述根据像素颜色值，将紫外光图像中的皮肤区域叠加至可见光图像的皮肤区域上的执行过程可以为：根据预先训练的神经网络模型识别可见光图像中的人体轮廓；基于预设的像素颜色阈值范围，识别可见光图像中人体轮廓范围内的第一皮肤区域；根据坐标投影关系确定紫外光图像中对应的第二皮肤区域；将所述第二皮肤区域对应叠加至可见光图像上。

本方案中，像素颜色阈值范围可以通过两种方式调整匹配。一种方式时根据当前光线强度，自动对像素颜色阈值范围进行调整；另一种方式是根据用户提供的自身皮肤图像，匹配符合用户皮肤颜色的像素颜色阈值范围。

本方案中，为了更加精准的识别出涂抹痕迹的区域，可以进一步设置复核模块104，该模块通过预设面积阈值，对初步判定为目标区域的面积进行筛选，若面积小于预设面积阈值，则将该涂抹痕迹图像确定为噪声图像，忽略对该图像的处理。

应当理解，本方案中各单元或模块可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(Programmable GateArray，PGA)，现场可编程门阵列(Field Programmable Gate Array，FPGA)等。

在上述图像数据处理方法实施方式的基础上，本方案进一步提供一种计算机可读存储介质。该计算机可读存储介质用于实现上述数据采集方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在设备，例如个人电脑上运行。然而，本方案的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本方案操作的程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、C++等，还包括常规的过程式程序设计语言-诸如"C"语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

在上述图像数据处理方法实施方式的基础上，本方案进一步提供一种电子设备。图3所示电子设备仅仅是一个示例，不应对本方案实施例的功能和使用范围带来任何限制。

如图3所示，电子设备201以通用计算设备的形式表现。电子设备201的组件可以包括但不限于：至少一个存储模块202、至少一个处理模块203、显示模块204和用于连接不同系统组件的总线205。

其中，所述存储模块202存储有程序代码，所述程序代码可以被所述处理模块203执行，使得所述处理模块203执行上述图像数据处理方法中描述的各种示例性实施方式的步骤。例如，所述处理模块203可以执行如图1中所示的步骤。

存储模块202可以包括易失性存储模块，例如随机存取存储模块(RAM)和/或高速缓存存储模块，还可以进一步包括只读存储模块(ROM)。

存储模块202还可以包括具有程序单元的程序/实用工具，这样的程序单元包括但不限于：操作系统、一个或者多个应用程序、其它程序单元以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线205可以包括数据总线、地址总线和控制总线。

电子设备201也可以与一个或多个外部设备207(例如键盘、指向设备、蓝牙设备等)通信，这种通信可以通过输入/输出(I/O)接口206进行。应当明白，尽管图中未示出，可以结合电子设备201使用其它硬件和/或软件单元，包括但不限于：微代码、设备驱动器、冗余处理模块、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。