一种基于色彩空间学习的人脸视频心率估计方法

技术领域

本发明涉及心率估计领域，尤其涉及一种基于色彩空间学习的人脸视频心率估计方法。

背景技术

使用人脸视频进行心率估计是非接触式光体积描记法（remotephotoplethysmography，rPPG）技术的一个重要应用。它通过对视频中脸部颜色的细微变化建模分析，估算出脸部的血液脉冲信号，从而预测出被测者的心率信息。

传统的 rPPG方法使用数学建模回归的方式，建立脸部视频与心率的映射关系。CHROM 方法使用基于色度的颜色处理方法提取脉冲信号，比基于 RGB色彩空间方法得到了更高的精度。POS方法使用皮肤平面正交（Plane-Orthogonal-to-Skin）的方法将脸部视频帧进行投影后提取脉冲信号。2SR方法使用了空间子空间旋转（Spatial SubspaceRotation）的方法进一步提升了 rPPG 方法的精度。

近年来，随着深度学习的发展，越来越多的使用神经网络进行心率估算的方法被提出。DeepPhys是第一个基于深度卷积网络的使用视频进行心率和呼吸速率估算的端到端方法。RhythmNet方法使用人脸视频构造了时空特征图，通过卷积神经网络来预测心率。

现有的使用人脸视频的心率估计方法需要提取人脸颜色的细微变化，因此对视频的光照非常敏感。为了选取更加合适的色彩空间以避免其他因素对心率估计的干扰，目前大多数的方法都在 YUV色彩空间上进行，并证明 YUV色彩空间比传统的 RGB色彩空间效果更佳，但无法证明 YUV色彩空间是最适合使用人脸视频的心率估计的色彩空间。

本发明提出了色彩空间学习的方法，创新性地在神经网络中加入了可学习的色彩空间变换层，将人脸视频映射到更适合的色彩空间上，从而达到更高的精度。同时使用了先进的注意力模块和多层皮肤区域选择方法，以充分提取人脸视频中的脉冲信号。

发明内容

本发明目的在于针对现有技术的不足，提出一种基于色彩空间学习的人脸视频心率估计方法，该方法在神经网络中加入了可学习的色彩空间变换层，通过训练可以得到更加适合心率估计的色彩空间，解决了心率估计问题中色彩空间选择的问题。同时网络中加入了先进的注意力模块和多层皮肤区域选择方法，充分利用人脸视频提取脉冲信号，以提高方法的精度。

本发明的目的是通过以下技术方案来实现的：一种基于色彩空间学习的人脸视频心率估计方法，具体步骤如下：

（1）通过摄像机拍摄人脸视频；

（2）构建用于人脸视频心率估计的神经网络；所述神经网络包含特征提取模块、色彩空间变换层和心率估计模块；所述特征提取模块采用多层皮肤区域选择方法提取人脸视频的特征图，所述色彩空间变换层通过学习得到，将提取的特征图映射到合适的色彩空间中，所述心率估计模块为估算心率的深度神经网络；

（3）将步骤（1）获取的人脸视频输入到步骤（2）中构建并训练完成的用于人脸视频心率估计的神经网络中，通过特征提取模块提取人脸视频的特征图，通过色彩空间变换层映射到学习后的色彩空间中，最后通过心率估计模块得出估算的心率。

进一步地，步骤（2）中，所述多层皮肤区域选择方法具体为：对于一段长度为

进一步地，步骤（2）中，所述色彩空间变换层是可学习的函数

其中

进一步地，色彩空间变换层

进一步地，步骤（2）中，心率估计模块以ResNet-18 作为基础网络，在基础网络的输出加入一层全连接层，使用网络提取出的信息对心率进行回归，并在基础网络中加入了通道注意力模块，在训练的过程中调整对不同色彩通道的注意力，使心率估计模块选择对心率预测更佳有益的色彩通道，从而提高模型的预测性能。

本发明的有益效果：

（1）首次使用色彩空间变换的方式进行人脸视频的心率估计，对比传统色彩空间降低了误差，提升了预测准确度；

（2）使用多层皮肤区域选择方式对人脸视频进行处理，结合全局和局部特征，即使在光照变化和头部运动较多的情况下都能够有较好的表现；

（3）使用先进的通道注意力模块进一步提升模型在色彩通道上的侧重，利于进一步提升心率估计的精度。

附图说明

图1为基于色彩空间学习的人脸视频心率估计方法架构图；

图2为本发明方法流程图；

图3为提取人脸视频的特征图过程示意图；

图4为特征提取中的多层皮肤区域选择过程示意图；

图5为本发明中色彩空间变换层示意图。

具体实施方式

以下结合附图对本发明具体实施方式作进一步详细说明。

如图1和图2所示，本发明提供的一种基于色彩空间学习的人脸视频心率估计方法，具体步骤如下：

（1）通过摄像机拍摄人脸视频，并对视频定长裁剪获得脸部视频片段：

（2）构建用于人脸视频心率估计的神经网络；所述神经网络包含特征提取模块、色彩空间变换层和心率估计模块；所述特征提取模块采用多层皮肤区域选择方法提取人脸视频的特征图，所述色彩空间变换层通过学习得到，将提取的特征图映射到合适的色彩空间中，所述心率估计模块为估算心率的深度神经网络；

如图3和图4所示，为了捕获视频中皮肤区域的颜色细微变化，通常使用的方法是 将人脸划分成几个区域，对于每个区域进行池化来作为该区域的代表颜色，但这种方法很 容易收到光照或者头部移动的影响。本发明使用多层皮肤区域选择方法，结合了脸部的局 部信息和全局信息，能够更加精确地反应脸部的颜色变化，具体为：对于一段长度为

色彩空间是指颜色的组织方式，或是使用数字来表示颜色的数学模型。传统的色 彩空间（例如 RGB、CMYK、YUV、HSL 等）都其特定的作用，例如 RGB 主要用于电子设备显示 颜色，CMYK 主要用于印刷业，YUV 在电视信号传播的编码上运用广泛，HSL 则是为人类提 供了一种在计算机上选取颜色的较为直观的方法。对于特定的任务，都会有更适合这项任 务的色彩空间，而对于人脸视频的相关任务中，大多都使用 YUV 色彩空间来进行皮肤颜色 相关的任务。实验证明在该任务中 YUV 比 RGB 拥有更好的表达能力，本发明基于以上思 想，设计了色彩空间变换层，通过学习的方式获得适合的色彩空间，具体来说，色彩空间变 换层是可学习的函数

其中

如图5所示，本发明提出两种色彩空间变换层，线性变换的色彩空间变换层

对于色彩空间变换后的特征图

（3）将步骤（1）获取的人脸视频输入到步骤（2）中构建并训练完成的用于人脸视频心率估计的神经网络中，通过特征提取提取人脸视频的特征图，通过色彩空间变换层映射到学习后的色彩空间中，最后通过心率估计模块得出估算的心率。

本发明方法相比于传统的物理方法与近年的机器学习方法相比在心率估计的问题上都有更低的误差及更高的准确度。在心率估计数据集 VIPL-HR 上的心率估计误差测试结果如表1所示。心率测量的单位是拍每分（bpm）。MAE 为平均绝对误差，RMSE 为均方根误差，单位均与心率的单位相同。从表中可以看出，本发明提出的方法比目前存在的物理方法（CHROM、POS）和基于机器学习的方法（DeepPhys、RhythmNet）误差都更小，证明了本方法的创新性与可行性。

表1 与现有的心率估计算法误差对比

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。