基于多光谱偏振光的皮肤检测方法及装置

技术领域

本发明涉及计算机视觉和图像处理领域，尤其涉及基于多光谱偏振光的皮肤检测方法及装置。

背景技术

人体对于光的反射、折射、吸收等，使得许多生理参数可以通过非接触的方式来完成。目前，生命体征相机已经被用于检测来自人体面部或身体的生理信号，其概念及可行性也在真实的医院场景，如ICU、NICU、睡眠医学中心等得到证明。然而，生命体征相机对于生理信号的监测，通常需要选取一个皮肤区域用于生理信号的提取，所被选取皮肤区域即为RoI（Region of Interest）。传统的基于机器学习的方法在选取皮肤时，会包含头发、眉毛等无生理特征意义的区域，无法保证检测区域的生理特性。因此，基于活体皮肤检测选取RoI的方法被广泛关注。

目前方法中，基于光电容积脉搏波成像技术(Photo-Plethysmography imaging,PPGI)用于活体皮肤检测的皮肤灌注图法被大量使用，此方法不仅可以有效判断活体皮肤，辅助选取RoI，而且其活体检测能力可用于辅助提高防欺诈系统成功率。但在实施时，此方法需要连续测量至少2-3个心脏周期的稳定的PPG信号以获得可供分析的信号，这限制了实际应用的部署，例如：NICU活跃的新生儿难以保持长时间静止使得生理监测持续有效，机场自动识别也无法要求乘客等相当一段时间进行测量和识别。因此，新的方法急需提出，来保证实现实时和准确的生理检测和活体检测，同时还可以真正部署到在实际应用中。

所以，目前对于活体皮肤检测的方法仍有待于进一步改进。

发明内容

本发明提出了基于多光谱偏振光的皮肤检测方法及装置，解决了现有的基于PPGI的活体皮肤检测方法中不具实时性，以及录活体主体的视频也会产生PPG信号干扰而无法完全确认是活体的技术问题。

为了解决上述问题，本发明提出以下技术方案：

本发明提供一种基于多光谱偏振光的皮肤检测方法及装置。

一方面，本发明提供了基于多光谱偏振光的皮肤检测方法，包括：

通过光源交替发射第一偏振光和第二偏振光照射皮肤，采集所述第一偏振光照射在所述皮肤上的第一图像和所述第二偏振光照射在所述皮肤上的第二图像，其中所述第一偏振光与所述第二偏振光的偏振方向不同；

提取所述第一图像的第一像素信息和所述第二图像的第二像素信息；

对所述第一像素信息和所述第二像素信息进行降采样处理，并获取所述第一像素信息和所述第二像素信息的差值矩阵；

可视化转换所述差值矩阵，得到皮肤热力图。

在此技术方案基础上，进一步优选地，所述第一偏振光的偏振方向与所述第二偏振光的偏振方向垂直。

在此技术方案基础上，进一步优选地，所述通过光源交替发射第一偏振光和第二偏振光照射皮肤，采集所述第一偏振光照射在所述皮肤上的第一图像和所述第二偏振光照射在所述皮肤上的第二图像，包括：

以1:1的发射时间向所述皮肤交替发射所述第一偏振光和所述第二偏振光；

拍摄所述第一偏振光和所述第二偏振光照射在所述皮肤上的图像，获取所述第一图像和所述第二图像。

在此技术方案基础上，进一步优选地，所述提取所述第一图像的第一像素信息和所述第二图像的第二像素信息，包括：获取所述第一图像的RGB通道像素值作为所述第一像素信息，获取所述第二图像的RGB通道像素值作为所述第二像素信息。

在此技术方案基础上，进一步优选地，所述对所述第一像素信息和所述第二像素信息进行降采样处理，并获取所述第一像素信息和所述第二像素信息的差值矩阵，包括：

以0.1的降采样比例处理所述第一像素信息和所述第二像素信息，以盒式核作为插值核对所述第一像素信息和所述第二像素信息进行降采样处理，得到处理后的第一像素信息和处理后的第二像素信息；

获取所述处理后的第一像素信息中R通道像素值和G通道像素值的比值为第一R/G值，获取所述处理后的第二像素信息中R通道像素值和G通道像素值的比值为第二R/G值；

用所述第二R/G值减去所述第一R/G值，获得所述差值矩阵，其中，R通道为红色通道，G通道为绿色通道。

在此技术方案基础上，进一步优选地，所述可视化转换所述差值矩阵，得到皮肤热力图，包括：

将所述差值矩阵中小于0的区域设为0，得到裁剪后的差值矩阵；

将所述裁剪后的差值矩阵以1为标准差进行高斯滤波处理得到处理后的差值矩阵；

基于所述处理后的差值矩阵中的RGB通道像素值，可视化转换得到所述皮肤热力图。

在此技术方案基础上，进一步优选地，基于所述第一像素信息和所述第二像素信息，确定所述第一图像和所述第二图像中的皮肤区域，并通过所述差值矩阵获得所述皮肤区域的所述皮肤热力图。

第二方面，本发明还提供了一种基于多光谱偏振光的皮肤检测装置，所述基于多光谱偏振光的皮肤检测装置包括：

图像采集模块，用于通过光源交替发射第一偏振光和第二偏振光照射皮肤，采集所述第一偏振光照射在所述皮肤上的第一图像和所述第二偏振光照射在所述皮肤上的第二图像，其中所述第一偏振光为平行偏振光，与所述第二偏振光为交叉偏振光的偏振方向不同；

信息提取模块，用于提取所述第一图像的第一像素信息和所述第二图像的第二像素信息；

图像处理模块，用于对所述第一像素信息和所述第二像素信息进行降采样处理，并获取所述第一像素信息和所述第二像素信息的差值矩阵；

图像生成模块，用于可视化转换所述差值矩阵，得到皮肤热力图。

在此技术方案基础上，进一步优选地，所述图像采集模块包括所述光源、采光器件和偏振片，其中所述光源为时分复用多路LED提供的LED光源，所述采光器件为相机，所述偏振片设置于所述采光器件与所述皮肤之间。

在此技术方案基础上，进一步优选地，所述图像处理模块包括降采样单元，获取单元和计算单元。

所述降采样单元以盒式核作为插值核对所述第一像素信息和所述第二像素信息进行降采样处理；所述获取单元获取所述处理后的第一像素信息中R通道像素值和G通道像素值的比值为第一R/G值，获取所述处理后的第二像素信息中R通道像素值和G通道像素值的比值为第二R/G值；所述计算单元用所述第二R/G值减去所述第一R/G值，获得所述差值矩阵。

与现有技术相比，本发明所能达到的技术效果包括：

本发明同时结合多光谱技术和偏振光技术，不仅获取物体在不同光谱波段上的光学特性，还分析偏振光对光谱的影响，利用偏振滤除皮肤表面反射光，为分析提供更深层、更准确的信息，从而提高活体皮肤检测和生理监测的准确性和实时性，并提出新颖简单的算法，完成活体皮肤检测。

本发明提出的基于多光谱偏振光的皮肤检测装置，利用去极化效果的波长依赖性，多波长皮肤去极化，MSD算法仅需平行和交叉偏振下产生的两张图片作为输入，在20帧/秒的摄像机下，活皮肤检测的总持续时间原则上可以小于0.1秒，应用简单。

附图说明

图 1为本发明所述基于多光谱偏振光的皮肤检测方法流程图；

图2为本发明实施例1基于多光谱偏振光的活体皮肤检测结果示意图；

图 3为本发明实施例2所述基于多光谱偏振光的皮肤检测装置图；

图4为本发明对比例1基于PPGI的活体皮肤检测结果示意图；

图5为本发明实施例2和对比例2对新生儿重症监护病房早产儿的活体皮肤分割示意图；

图6为本发明实施例2和对比例2对ICU患者的活体皮肤分割示意图。

具体实施方式

下面将结合本发明实施例中的附图，对实施例中的技术方案进行清楚、完整地描述。显然，以下将描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下，基于本发明权利要求所属技术所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，在此本发明实施例说明书中所使用的术语仅是出于描述特定实施例的目的而并不意在限制本发明实施例。如在本发明实施例说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

在基于光的远程检测中，无论是人体生理参数监测还是活体检测，都存在着皮肤反射光带来伪影和噪声数据的问题。此外，目前的生理监测和活体检测方法由于其不实时性，难以转化到实际应用。而使用两个互相交叉的偏振片可以有效去除皮肤表面的镜面反射，从而有效提高生命体征相机提取PPG的质量，并假设皮肤组织的去极化，可以使每个通道的光灵敏度转移到其传感范围内的较长波长部分，从而导致皮肤色度和血容量脉搏特征的变化。

基于以上发现和假设，本发明提出了基于多光谱偏振光的活体皮肤检测方法及应用，依据不同波长光子的不同皮肤穿透性，通过皮肤组织在R、G、B波长下的去极化程度的不同，从而区分皮肤和非皮肤像素。此外，还提出了一种新的算法分割核心算法（MSD），仅依靠平行偏振状态和交叉偏振状态下的两张图片，即可分析其R/G对比度的活皮肤像素，实现活体皮肤检测。基于上述MSD算法的活体皮肤检测，可以帮助生理信号提取时，更准确实时的选取合适的RoI，由偏振光去除皮肤镜面反射也能有效减少运动伪影，提高生理信号的鲁棒性。

如图1，为所述基于多光谱偏振光的皮肤检测方法流程图，因此，本实施例1提供了基于多光谱偏振光的皮肤检测方法，具体还包括：

步骤1，通过光源交替发射第一偏振光和第二偏振光照射皮肤，采集所述第一偏振光照射在所述皮肤上的第一图像和所述第二偏振光照射在所述皮肤上的第二图像，其中所述第一偏振光与所述第二偏振光的偏振方向不同。

步骤2，提取所述第一图像的第一像素信息和所述第二图像的第二像素信息。

步骤3，对所述第一像素信息和所述第二像素信息进行降采样处理，并获取所述第一像素信息和所述第二像素信息的差值矩阵。

步骤4，可视化转换所述差值矩阵，得到皮肤热力图。

其中，所述第一偏振光的偏振方向与所述第二偏振光的偏振方向垂直，所述第一偏振光的偏振方向与偏振片的方向平行。

所述通过光源交替发射第一偏振光和第二偏振光照射皮肤，采集所述第一偏振光照射在所述皮肤上的第一图像和所述第二偏振光照射在所述皮肤上的第二图像，包括：

以1:1的发射时间向所述皮肤交替发射所述第一偏振光和所述第二偏振光。

拍摄所述第一偏振光和所述第二偏振光照射在所述皮肤上的图像，获取所述第一图像和所述第二图像。

所述提取所述第一图像的第一像素信息和所述第二图像的第二像素信息，包括：获取所述第一图像的RGB通道像素值作为所述第一像素信息，获取所述第二图像的RGB通道像素值作为所述第二像素信息。

所述对所述第一像素信息和所述第二像素信息进行降采样处理，并获取所述第一像素信息和所述第二像素信息的差值矩阵，包括：

以0.1的降采样比例处理所述第一像素信息和所述第二像素信息，以盒式核作为插值核对所述第一像素信息和所述第二像素信息进行降采样处理，得到处理后的第一像素信息和处理后的第二像素信息；其中降采样预处理包括将盒式核作为插值核，不但可在像素信息中降低噪声影响，有助于提高对像素信息的处理效率。

获取所述处理后的第一像素信息中R通道像素值和G通道像素值的比值为第一R/G值，获取所述处理后的第二像素信息中R通道像素值和G通道像素值的比值为第二R/G值。

用所述第二R/G值减去所述第一R/G值，获得所述差值矩阵，其中，R通道为红色通道，G通道为绿色通道。

所述可视化转换所述差值矩阵，得到皮肤热力图，包括：

将所述差值矩阵中小于0的区域设为0，得到裁剪后的差值矩阵。

将所述裁剪后的差值矩阵以1为标准差进行高斯滤波处理得到处理后的差值矩阵。

基于所述处理后的差值矩阵中的RGB通道像素值，可视化转换得到所述热力图。

较佳实施方式中，上述步骤3和步骤4，还包括另一种实施方式，即所述MSD算法，具体还包括：

S1，通过切换平行偏振模式和交叉偏振模式，获取各自的图像，以0.1为降采样比例，盒式核为插值方法，分别进行降采样预处理，从而得到两张降采样后的图像；

S2，将降采样后交叉偏振模式的图像的R/G值，减去同样将降采样后平行偏振模式的图像的R/G值，得到两张图像以像素值为单位形成的差值的矩阵

S3，将矩阵

S4，将裁剪后的

S5，最终得到的

即为，

输入：获取平行偏振模式和交叉偏振模式的

：

：

：

：

：

输出：皮肤热力图：

其中，

最后经过高斯滤波器处理后，可视化转换，这样得到皮肤热力图会更加平滑。

根据上述方法选取 10 名不同肤色的成年受试者作为测试对象，测试对象坐在椅子上，距离相机 3 米，位于平行位置前方；同时在测试对象旁边放置了一个可欺骗系统的玩偶脸和玩偶躯干，其皮肤色调和外观类似。

结果：本实施例基于多光谱偏振光的生理信号提取过程，在极化从平行切换到交叉时，皮肤表面的镜面反射明显减少，皮肤的色度发生变化，面部看起来“更红”，RGB信号（AC/DC）的脉动强度增强，RGB通道之间的相对PPG幅度发生变化，例如血容量脉动特征从[0.4, 0.5, 0.6]修改为[0.3, 0.8, 0.5]。由于PPG信号获得方式是对原始信号的滤波、合成，原始信号的增强和RGB各通道间对比度的增强，促使获得更具鲁棒性的PPG信号。

图2可见，实施例1的基于多光谱偏振光的皮肤检测方法，能够识别欺骗系统的玩偶及玩偶躯干，提示本实施例的方法通过皮肤组织在R、G、B波长下的去极化程度的不同，有效区分皮肤（测试对象）和非皮肤像素（即玩偶及玩偶躯干）；并且仅依靠平行偏振状态和垂直偏振状态下的两张图片，即可分析其R/G对比度的活皮肤像素，实现活体皮肤检测，并且ROI提取更准确。

实施例2

一种基于多光谱偏振光的皮肤检测装置，如图3，包括图像采集模块10、信息提取模块20、图像处理模块30和图像生成模块40，具体还包括：

图像采集模块，用于通过光源交替发射第一偏振光和第二偏振光照射皮肤，采集所述第一偏振光照射在所述皮肤上的第一图像和所述第二偏振光照射在所述皮肤上的第二图像，其中所述第一偏振光为平行偏振光，与所述第二偏振光为交叉偏振光的偏振方向不同。

所述图像采集模块包括所述光源、采光器件和偏振片，其中所述光源为时分复用多路LED提供的LED光源，所述采光器件为相机，所述偏振片设置于所述采光器件与所述皮肤之间；所述光源发出任一单色激光，照向活体表面。

为了便于不同类型偏振光连续发射，在现有光源基础上，本实施例采用时分复用多路LED板，来提供LED光源，时分复用多路LED板依次发射两种类型偏振光，进而实现在较短时间的间隔内，照射活体皮肤表面；每个受试者的面部皮肤录制持续 2 分钟，平行偏振录制 1 分钟，交叉偏振录制 1 分钟，即在录制过程中旋转相机偏振器 90°切换偏振模式；录制环境均在环境光照条件下进行，并未对背景照明有所控制，偏振光与室内光混合，这样，本实施例的皮肤检测装置在日常环境下也可实现。

信息提取模块，用于提取所述第一图像的第一像素信息和所述第二图像的第二像素信息。

图像处理模块，用于对所述第一像素信息和所述第二像素信息进行降采样处理，并获取所述第一像素信息和所述第二像素信息的差值矩阵；所述图像处理模块包括降采样单元，获取单元和计算单元。

所述降采样单元以盒式核作为插值核对所述第一像素信息和所述第二像素信息进行降采样处理；所述获取单元获取所述处理后的第一像素信息中R通道像素值和G通道像素值的比值为第一R/G值，获取所述处理后的第二像素信息中R通道像素值和G通道像素值的比值为第二R/G值；所述计算单元用所述第二R/G值减去所述第一R/G值，获得所述差值矩阵。

图像生成模块，用于可视化转换所述差值矩阵，得到皮肤热力图。

采用本实施例所述的装置对20 名患者进行检测，其中 10 名来自 NICU，出生时长从 10 分钟到 8 天，10 名来自 ICU，年龄从 5 个月到 88 岁。

其中，NICU 和 ICU 进行的录制都是在环境光照条件下进行的，没有对背景照明进行控制，因此偏振光与室内光混合。在NICU 进行录制时，婴儿躺在保温箱里，眼睛被遮住。录制设置（相机和光源）放置在保温箱上方，从顶部俯视拍摄婴儿；生理监测过程在医院环境光照条件下进行，在 ICU 进行录制时，患者躺在床上，由设置从顶部俯视进行录制。ICU 的录制方式与 NICU 相似，但患者处于病床上。

对比例1

一种活体皮肤检测方法，与实施例1的区别在于，采用现有的基于PPGI进行活体皮肤检测，具体包括以下步骤：

首先，利用Lucas-Kanade光流法对图像序列进行特征点动态跟踪，通过仿射变换对图像进行校正，减少运动伪影，改善IPPG信号质量。

然后，采用滑动窗口遍历图像，获取各个窗口空间像素平均信号与整张图像空间像素平均信号的斯皮尔曼相关系数，并进行相关性地形图成像，以获取皮肤血液灌注分布图像。

结果：图2、图4分别为实施例1和对比例1的活体皮肤检测方法检测结果，图2中最后一栏的MSD (R/G)是实施例1采取的方法，图4为对比例1通过PPGI和MSD (R/B或R/G)获得10名被试的活体皮肤热图，热图中较亮的颜色表示皮肤区域。

可看出，与对比例1的PPGI相比较，实施例1的基于多光谱偏振光的皮肤检测方法，仅依靠平行偏振状态和垂直偏振状态下的两张图片，即可处理其R/G对比度的活皮肤像素，而经过所述处理后的差值矩阵中的RGB通道像素值，可视化转换得到所述的皮肤热力图，进而实现活体皮肤检测，并且ROI提取更准确。

对比例2

一种基于PPGI进行活体皮肤检测装置，与实施例2的区别在于，采用现有PPGI的检测装置进行活体皮肤检测。

结果：图5-6分别为实施例2和对比例2的活体皮肤检测装置在活体皮肤分割的结果，图5为PPGI 和MSD (R/G)对新生儿重症监护病房早产儿的影响；可看出，实施例2，基于MSD (R/G)算法的活体皮肤检测，可以帮助生理信号提取时，更准确实时地选取合适的ROI，由偏振光去除皮肤镜面反射也能有效减少运动伪影，提高生理信号的鲁棒性；

图6为PPGI 和MSD (R/G)对ICU病情恶化患者的评价；可看出对比例2，即现有的方法提取生理信号，选取皮肤的ROI时，包含头发、眉毛等无生理特征意义的区域，无法保证检测区域的生理特性；而实施例2利用偏振滤除皮肤表面反射光，为分析提供更深层、更准确的信息，从而提高生理监测的准确性和实时性。

综上所述，本发明提供了一种基于多光谱偏振光的活体皮肤检测方法及装置，通过结合多光谱技术和偏振光技术，利用RGB波长的皮肤组织不同程度的去极化来区分皮肤和非皮肤像素，用所提出的MSD算法来检测基于平行极化和交叉极化之间的R/G对比度的皮肤像素；其中MSD算法选取ROI将会更加高效实时，所得到的PPG信号由于去除了皮肤镜面反射光的影响并得到了更多皮肤深层信息，将更具鲁棒性。另外，MSD算法仅需平行和交叉偏振下产生的两张图片作为输入，在20帧/秒的摄像机下，活皮肤检测的总持续时间原则上可以小于0.1秒，应用简单。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。