掌桥专利:专业的专利平台
掌桥专利
首页

基于改进Xception模型对面部视频进行脉搏率估计的方法及装置

文献发布时间:2024-04-18 19:59:31


基于改进Xception模型对面部视频进行脉搏率估计的方法及装置

技术领域

本申请涉及人工智能领域,特别是涉及一种基于改进Xception模型对面部视频进行脉搏率估计的方法及装置。

背景技术

脉搏率(PR)是人体健康的重要指标之一,需要定期监测以识别各种健康问题,目前主要的测量心率活动的方法是采用心电图和光电容积描记法(PPG)。这两种技术均使用需要附着在身体部位的接触传感器,尽管这些设备提供了高准度和稳定性,但需要特定条件才能获得准确的测量结果,此外,在某些关键情况下,如烧伤、皮肤溃疡或传染性疾病等与皮肤接触可能不方便甚至不可行,所以通过硬件传感器来获取脉搏率在实际应用中存在许多限制。过去十年间,非接触脉搏率估计使用成像光电容积描记法取得了巨大进展,因为它具有广泛的应用领域,然而,现有的非接触脉搏率估计方法仍存在诸多问题,如受限于特定环境、对头部运动敏感、光照条件不佳和肤色较喑等情况下表现不佳。

受计算机视觉任务的启发,当前先进的算法在传统成像光电容积描记法流程的不同阶段中整合了深度学习架构来获取iPPG信号从而检测脉搏率,然而现有的系统仍存在一些局限性,由于这些系统并不是端到端的系统,因此仍需要预处理或后处理步骤以及更长的时间窗口来估计脉搏率,增加了数据处理的复杂性和计算成本,此外,被测者的头部运动、表情变化以及部分遮挡或持续变化的光照条件都会影响iPPG信号的质量从而降低预测脉搏率的准确性。

发明内容

本申请实施例提供了一种基于改进Xception模型对面部视频进行脉搏率估计的方法及装置,通过精细的面部分割技术分割面部区域并截取选择包含最多脉搏信号的面部区域,通过将Xception模型中的2D卷积层替换为3D卷积层作为脉搏率估计模型来对视频帧间的空间和时间特征进行更全面的捕捉,从而提高脉搏估计的准确性和鲁棒性。

第一方面,本申请实施例提供了一种基于改进Xception模型对面部视频进行脉搏率估计的方法,所述方法包括:

获取待测面部视频;

将待测面部视频输入到预训练的面部脉搏率估计模型中,其中所述面部脉搏率估计模型由面部分割模型以及脉搏率估计模型串联组成,待测面部视频输入到面部分割模型中分割得到初始面部区域,根据初始面部区域中第一个非零像素点的坐标获取待测面部区域;

所述待测面部区域输入到脉搏率估计模型中输出脉搏率,所述脉搏率估计模型将Xception模型中的2D可分离卷积模块替换为3D可分离卷积模块,将最大池化层替换为全局平均池化层,且在每个卷积层后跟随归一化操作。

第二方面,本申请实施例提供了一种基于改进Xception模型对面部视频进行脉搏率估计的装置,包括:

获取模块:获取待测面部视频;

面部分割模块:将待测面部视频输入到预训练的面部脉搏率估计模型中,其中所述面部脉搏率估计模型由面部分割模型以及脉搏率估计模型串联组成,待测面部视频输入到面部分割模型中分割得到初始面部区域,根据初始面部区域中第一个非零像素点的坐标获取待测面部区域;

脉搏率估计模块:所述待测面部区域输入到脉搏率估计模型中输出脉搏率,所述脉搏率估计模型将Xception模型中的2D可分离卷积模块替换为3D可分离卷积模块,将最大池化层替换为全局平均池化层,且在每个卷积层后跟随归一化操作。

第三方面,本申请实施例提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行一种基于改进Xception模型对面部视频进行脉搏率估计的方法。

第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序包括用于控制过程以执行过程的程序代码,所述过程包括一种基于改进Xception模型对面部视频进行脉搏率估计的方法。

本发明的主要贡献和创新点如下:

本申请实施例中用于预测脉搏率的脉搏率估计模型将Xception模型中的2D卷积层替换为3D卷积层从而对视频帧中的空间和时间特征进行更全面的捕捉,从而提高了脉搏率估计的准确性和鲁棒性,并采用平均池化层来保留重要的特征信息,平均池化层能够更充分地提取特征信息并建立特征之间的关联,从而提高了脉搏率估计模型对面部视频数据中的细节捕捉能力;在每个卷积层后添加了批归一化操作来使模型更深层次的进行特征学习,同时保持了梯度的稳定性,提高了脉搏率估计模型的训练效率和准确性;本方案中采用ReLU作为激活函数来有效解决梯度消失问题并加速模型的收敛速度,而且还增强了脉搏率估计模型对复杂脉搏信号特征的学习和提取能力,提高了脉搏率估计的准确性。本方案相较于传统的接触式测量方法克服了传感器需要附着在身体部位的限制,实现了无需任何物理接触的脉搏率测量,从而提高了测量的舒适性和便利性,本方案通过即时处理面部视频数据,该技术能够在几秒内快速准确地估计脉搏率,使得监测过程更加高效,并有助于提早发现潜在的健康问题,本方案通过颜色通道解耦和深度学习模型的整合,本技术方案能够提取面部视频中更丰富、更准确的脉搏信号,从而实现了更精准的脉搏率估计;本方案能够在不受约束的环境中进行脉搏率估计,对光照变化、头部运动、表情变化以及部分遮挡等因素具有较强的适应性;本方案利用公共数据库进行广泛评估,证明了该方法在多种数据集上的有效性和通用性,为其在不同场景下的可靠性提供了充分的支持

本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:

图1是传统Xception模型的结构示意图;

图2是根据本申请实施例的一种基于改进Xception模型对面部视频进行脉搏率估计的方法的流程图;

图3是根据本申请实施例的一种脉搏率估计模型的结构示意图;

图4是根据本申请实施例的一种基于改进Xception模型对面部视频进行脉搏率估计的装置的结构框图;

图5是根据本申请实施例的电子装置的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。

需要说明的是:在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其他实施例中可能被分解为多个步骤进行描述;而本说明书中所描述的多个步骤,在其他实施例中也可能被合并为单个步骤进行描述。

为了便于理解本方案,在此对本方案中出现的名词进行解释说明:

Xception模型:Xception是Google公司继Inception后提出的对Inception-v3的另一种改进,其作者认为,通道之间的相关性与空间相关性最好要分开处理。于是采用Separable Convolution(可分离卷积)来替换原来Inception-v3中的卷积操作,Xception模型的结构如图1所示。

实施例一

本申请实施例提供了一种基于改进Xception模型对面部视频进行脉搏率估计的方法,具体地,参考图2,所述方法包括:

获取待测面部视频;

将待测面部视频输入到预训练的面部脉搏率估计模型中,其中所述面部脉搏率估计模型由面部分割模型以及脉搏率估计模型串联组成,待测面部视频输入到面部分割模型中分割得到初始面部区域,根据初始面部区域中第一个非零像素点的坐标获取待测面部区域;

所述待测面部区域输入到脉搏率估计模型中输出脉搏率;

所述脉搏率估计模型将Xception模型中的2D可分离卷积模块替换为3D可分离卷积模块,将最大池化层替换为全局平均池化层,且在每个卷积层后跟随归一化操作。

在一些实施例中,本方案采用多个公开数据集中的数据作为面部脉搏率估计模型的训练样本来对面部脉搏率估计模型进行预训练,示例性的,本方案获取了四个公开数据集,具体包括:

·MMSE-HR数据集:包含102个RGB面部视频,记录了40名受试者(17名男性和23名女性)的面部图像,以及通过接触式BVP传感器获得的平均脉搏率值。

·MAHNOB-HCI数据集:包含了来自27名受试者(12名男性和15名女性)的527个视频样本,其中包括相应的生理信号。这些视频以61fps的帧率和780×580像素的分辨率进行录制,通过ECG信号计算出脉搏率值。

·UBFC-rPPG数据集:包含42个受试者的42个视频样本,使用低成本网络摄像头以30fps的帧率和640×480像素的分辨率进行录制。每个录制的持续时间在50至90秒之间。手指脉搏血氧仪与视频录制同步,获取脉搏率值。

·BP4D数据集:涵盖了来自140名受试者的1400个RGB视频,这些视频以25fps的帧率进行录制,包括了丰富的生理信号数据,如脉搏率值、心率、呼吸率和血压等。

进一步的,本方案对收集到的数据进行数据质量的评估和筛选,排除了可能存在的不完整、损坏或无效数据,以确保后续训练和测试的可靠性和准确性。

进一步的,本方案为了统一数据集的格式和标准,我们对不同数据集中的视频格式、分辨率和帧率进行了转换和标准化,以确保后续处理的一致性和便捷性。

进一步的,本方案对数据集进行了清洗和去噪处理,包括去除噪声、异常值和不一致的数据点,确保数据的纯净性和可靠性。

进一步的,本方案针对每个视频样本生成了相应的脉搏率标签,并确保与视频样本的时间戳对齐,以便后续的监督学习和模型训练。

进一步的,本方案将数据集划分为训练集和测试集,同时采用交叉验证等方法确保训练和测试的公平性和准确性。

进一步的,本方案在数据增强阶段,为了解决数据集样本不均衡和皮肤色调问题带来的挑战,采用了数据增强技术来扩充训练集。应用了几种几何增强和视频放大技术,包括随机旋转、缩放、水平和垂直图像平移等操作,并使用了Eulerian视频放大技术对视频序列进行放大,以增强脉搏信号在视频中的颜色变化。

在本方案中,在“待测面部视频输入到面部分割模型中分割得到初始面部区域”步骤中,所述面部分割模型通过使用面部分割算法提取面部视频每一帧图像中包含脉搏信号的皮肤像素得到初始面部区域。

在本方案中,在“自初始面部区域中截取非零像素点作为待测面部区域”步骤中,根据始面部区域中的第一个非零像素点的坐标获取面部中心点,预设面部大小,根据面部大小以及面部中心点来获取待测面部区域。

进一步的,在“根据面部大小以及面部中心点来获取待测面部区域”步骤中,使用初始面部区域中的颜色信息、纹理特征以及上下文信息来对预设的面部大小进行微调以获取待测面部区域。

具体的,本方案采用面部分割技术来定位待测面部视频中的面部区域并对其进行分割,从而将其与背景区分开来。

在一些具体实施例中,本方案面部脉搏率估计模型的训练样本为一批50帧、两秒的面部视频,通过面部分割模型来消除背景的非皮肤区域,并在分割后通过尺度调整来将分割后的待测面部区域处理为合适的大小以适应后续输入。

在本方案中,采用FaceNetSeg的基于深度学习的面部分割算法来作为面部分割模型的算法进行面部分割,该算法可以准确地检测和分割面部区域,并消除背景和非皮肤区域的干扰。采用的算法利用卷积神经网络结构,经过大量的面部图像数据训练,可以在各种场景下有效地执行面部分割任务。

在面部分割过程中,使用FaceNetSeg算法,针对面部视频序列中的每一帧图像,提取包含脉搏信号的皮肤像素。该算法结合了深度卷积神经网络和图像处理技术,能够有效识别和提取面部皮肤区域,从而能得到经过准确分割的面部区域图像序列,为后续的脉搏率估计模型提供准确的输入数据。该方法能够有效地消除背景和非皮肤区域的干扰,提高脉搏信号的信噪比,并为后续的训练提供了高质量的数据基础。

具体的,由于待测面部视频中存在各种复杂的情况,例如光照变化、面部遮挡等,因此分割出的区域可能不完全对应于完整的面部区域。这意味着即使经过分割,所得到的区域也可能包含部分非面部的区域,或者在面部区域上存在一定程度的缺失,所以本方案采用根据初始面部区域中的第一个非零像素点的坐标来获取待测面部区域的技术手段来进行分割,具体来说,可以根据非零像素点的位置确定面部区域的中心,然后根据预设面部大小,计算出面部区域的边界框,本方案可以通过初始面部区域中的信息来调整预设的面部大小和位置,调整后的面部大小可以确保涵盖整个面部区域并最大程度地保留面部特征。

具体的,通过对预设面部大小进行优化来提高获取待测面部区域的准确性和完整性,并确保所选待测面部区域包含最多的脉搏信号。

具体的,本方案通过面部分割算法获得更可靠和精确的面部图像,为后续的脉搏率估计提供更高质量的数据基础。

在一些具体实施例中,在对所述面部分割模型进行训练时采用交叉熵损失函数来度量预测的像素分类结果和真实标签之间的差异,并采用Adam优化算法来最小化损失函数,初始学习率设置为0.001,对初始学习率进行动态调整以提高训练的效率和稳定性,在面部分割模型中对网络的不同层次进行了权重初始化并使用了批量归一化技术来加速训练过程和提高模型泛化能力。

示例性的,本方案采用来自BP4D数据集的大量面部图像数据进行模型的训练,确保模型在不同情境下都能有效地执行面部分割任务,训练方法为:先确定面部分割的输入数据为经处理的面部视频序列,视频序列包含25帧每秒的图像信息,采用批量大小为32的批处理方法训练20个epochs以确保面部分割算法充分学习和收敛,通过不断监控训练集和验证集的损失函数值和准确率,根据实际情况调整学习率和优化策略,以提高面部分割模型的泛化能力和鲁棒性,最后对面部分割模型进行验证与评估,为了评估面部分割模型的性能,我们使用了一些常见的评估指标,包括准确率、召回率和F1分数等。这些指标能够有效地评估面部分割模型的预测能力和准确性,帮助我们确定面部分割模型的优劣并进行进一步改进和优化。

在本方案中,所述脉搏率估计模型如图3所示,所述脉搏率估计模型由入口流、中间流与出口流组成,在所述入口流中包括第一入口模块、第二入口模块、第三入口模块、第四入口模块四个模块顺序串联,每个入口模块之间通过一个3D卷积层进行残差连接,其中,所述第一入口模块包括两个3D卷积模块串联,所述第二入口模块由3D可分离卷积模块、3D卷积模块、平均池化层顺序串联,所述第三入口模块与第四入口模块结构相同,由两个3D卷积模块和一个3D可分离卷积模块顺序串联。

所述中间流由8个相同的中间流模块串联,每个中间流模块之间进行残差连接,所述中间流模块由三个相同的3D卷积层串联组成。

所述出口流由第一出口流模块与第二出口流模块串联,所述出口流的输入与第一出口流的输出通过3D卷积层进行残差连接,其中,所述第一出口流模块由两个3D卷积模块和一个3D可分离卷积模块顺序串联,所述第二出口流模块通过两个3D卷积层对特征进行处理后输出。

在本方案中,在“所述脉搏率估计模型将Xception模型中的2D可分离卷积模块替换为3D可分离卷积模块”步骤中,所述的3D可分离卷积模块由批归一化层、激活函数层以及3D可分离卷积层顺序串联。

在本方案中,所述脉搏率估计模型中的3D卷积模块由3D卷积层、批归一化层以及激活函数顺序串联。

具体的,改进后的Xception模型在入口流、中间流以及出口流中总共包含36个卷积层,在本方案中,在每一3D卷积层后跟随批归一化操作以稳定训练并加快收敛速度,本方案在激活函数层中采用ReLU函数进行非线性映射。

具体的,脉搏率估计模型的结构如图3所示,本方案中的脉搏率估计模型通过使用深度可分离卷积来使每个颜色通过能够被单独处理,该深度可分离卷积操作的关键思想是在卷积层内分离深度信息和空间信息,以减小计算和内存开销。

本方案过深度可分离卷积,从每个颜色通道中提取局部特征,然后,进行点卷积操作,将各通道的特征图融合,以产生最终的脉搏率估计。

具体的,所述脉搏率估计模型中通过使用残差连接的方式来减轻梯度消失的影响。

具体的,将2D深度可分离卷积替换为3D深度可分离卷积以实现对视频帧间的空间和时间特征的捕捉。

示例性的,传统的2D卷积操作在处理视频数据时可能无法很好地捕捉到帧间的时间特征,所以本方案采用3D深度可分离卷积操作,它能够对视频帧间的空间和时间特征进行更全面的捕捉。通过在卷积操作中引入时间维度的信息,我们使网络能够更好地理解面部视频数据中的时序变化,从而提高了脉搏率估计的准确性和鲁棒性。

示例性的,本方案采用的ReLU激活函数具有简单且高效的非线性映射特性,能够有效地解决梯度消失问题并加速模型的收敛速度,并且通过在神经网络的不同层次引入ReLU函数,我们增强了网络对复杂脉搏信号特征的学习和提取能力,提高了脉搏率估计的准确性和鲁棒性。

具体的,本方案在在每个卷积层后添加了批归一化操作,这样做可以使网络更深层次地进行特征学习,同时保持了梯度的稳定性,提高了模型的训练效率和准确性

具体的,本方案为了更好地适应脉搏率估计任务的复杂性将脉搏率估计模型中的池化层改为平均池化层,打磨平均池化层能够更充分地提取特征信息并建立特征之间的关系,从而提高了模型对面部视频数据中的细节信息的捕捉能力。

在本方案中,在所述脉搏率估计模型出口流的第二出口流模块中通过两个3D卷积层对特征进行处理后先采用压平模块对处理好的特征进行压平处理得到压平特征,再将压平特征输入到全连接模块进行输出得到对应的脉搏率。

进一步的,所述全连接模块包括两个神经元不同的全连接层。

具体的,所述全连接模块包括两个全连接层,第一个全连接层的神经元数量为1024,使用ReLU激活函数,第二个全连接层的神经元数量为1,使用Linear激活函数,所述压平特征先经过第一个全连接层进行处理后再输入到第二个全连接层中,第二个全连接层的输出即为对应的脉搏率。

在一些具体实施例中,所述脉搏率估计模型使用均方差损失函数来度量预测值和实际值之间的误差,使用随机梯度下降优化算法来最小化损失函数,本方案中的学习率初始设置为10^-4,随着训练的进行学习率逐渐降低至10^-6,本方案在网络的最后一层之前应用了40%的丢弃率来减轻过拟合问题,并采用了L1和L2正则化策略来进一步提高模型的泛化能力以减少过拟合问题。

示例性的,本方案使用了39,762个长度为50帧的分割后的面部视频片段进行训练,每个片段对应2秒的视频数据,每个视频大小为160×120×3(高度、宽度、色素通道),采用批量大小为64的批处理方法,本方案训练了25个epochs以确保脉搏率估计模型充分学习和收敛,本方案在训练过程中不断监控训练集和验证集的损失函数和脉搏率的准确度,以便调整优化策略并确保脉搏率估计模型的高效训练和准确性,本方案根据实际情况调整学习率、批处理设置和损失函数等训练参数以提高脉搏率估计模型的泛化能力和鲁棒性。

示例性的,本方案采用均方根误差(Root Mean Square Error,RMSE)、平均绝对误差(Mean Absolute Error,MAE)以及相关系数(Correlation Coefficient)等指标来评估脉搏率估计模型的预测能力和准确性来确定模型的优劣并进行进一步改进和优化。

在一些具体实施例中,本方案在实际应用时先获取待测面部视频,之后由面部分割模型对其进行面部分割处理后输入到脉搏率估计模型中进行预测得到准确的得到对应的脉搏率数值。

具体的,本方案相较于传统的接触式测量方法克服了传感器需要附着在身体部位的限制,实现了无需任何物理接触的脉搏率测量,从而提高了测量的舒适性和便利性,本方案通过即时处理面部视频数据,该技术能够在几秒内快速准确地估计脉搏率,使得监测过程更加高效,并有助于提早发现潜在的健康问题,本方案通过颜色通道解耦和深度学习模型的整合,本技术方案能够提取面部视频中更丰富、更准确的脉搏信号,从而实现了更精准的脉搏率估计;本方案能够在不受约束的环境中进行脉搏率估计,对光照变化、头部运动、表情变化以及部分遮挡等因素具有较强的适应性;本方案利用公共数据库进行广泛评估,证明了该方法在多种数据集上的有效性和通用性,为其在不同场景下的可靠性提供了充分的支持。

实施例二

基于相同的构思,参考图4,本申请还提出了一种基于改进Xception模型对面部视频进行脉搏率估计的装置,包括:

获取模块:获取待测面部视频;

面部分割模块:将待测面部视频输入到预训练的面部脉搏率估计模型中,其中所述面部脉搏率估计模型由面部分割模型以及脉搏率估计模型串联组成,待测面部视频输入到面部分割模型中分割得到初始面部区域,根据初始面部区域中第一个非零像素点的坐标获取待测面部区域;

脉搏率估计模块:所述待测面部区域输入到脉搏率估计模型中输出脉搏率,所述脉搏率估计模型将Xception模型中的2D可分离卷积模块替换为3D可分离卷积模块,将最大池化层替换为全局平均池化层,且在每个卷积层后跟随归一化操作。

实施例三

本实施例还提供了一种电子装置,参考图5,包括存储器404和处理器402,该存储器404中存储有计算机程序,该处理器402被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

具体地,上述处理器402可以包括中央处理器(CPU),或者特定集成电路(ApplicationSpecificIntegratedCircuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中,存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制,存储器404可包括硬盘驱动器(HardDiskDrive,简称为HDD)、软盘驱动器、固态驱动器(SolidStateDrive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerialBus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器404可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器404可在数据处理装置的内部或外部。在特定实施例中,存储器404是非易失性(Non-Volatile)存储器。在特定实施例中,存储器404包括只读存储器(Read-OnlyMemory,简称为ROM)和随机存取存储器(RandomAccessMemory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(ProgrammableRead-OnlyMemory,简称为PROM)、可擦除PROM(ErasableProgrammableRead-OnlyMemory,简称为EPROM)、电可擦除PROM(ElectricallyErasableProgrammableRead-OnlyMemory,简称为EEPROM)、电可改写ROM(ElectricallyAlterableRead-OnlyMemory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下,该RAM可以是静态随机存取存储器(StaticRandom-AccessMemory,简称为SRAM)或动态随机存取存储器(DynamicRandomAccessMemory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存储器404(FastPageModeDynamicRandomAccessMemory,简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDateOutDynamicRandomAccessMemory,简称为EDODRAM)、同步动态随机存取内存(SynchronousDynamicRandom-AccessMemory,简称SDRAM)等。

存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器402所执行的可能的计算机程序指令。

处理器402通过读取并执行存储器404中存储的计算机程序指令,以实现上述实施例中的任意一种基于改进Xception模型对面部视频进行脉搏率估计的方法及装置。

可选地,上述电子装置还可以包括传输设备406以及输入输出设备408,其中,该传输设备406和上述处理器402连接,该输入输出设备408和上述处理器402连接。

传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中,传输设备包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备406可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。

输入输出设备408用于输入或输出信息。在本实施例中,输入的信息可以是面部视频等,输出的信息可以是对应的脉搏率等。

可选地,在本实施例中,上述处理器402可以被设置为通过计算机程序执行以下步骤:

S101、获取待测面部视频;

S102、将待测面部视频输入到预训练的面部脉搏率估计模型中,其中所述面部脉搏率估计模型由面部分割模型以及脉搏率估计模型串联组成,待测面部视频输入到面部分割模型中分割得到初始面部区域,根据初始面部区域中第一个非零像素点的坐标获取待测面部区域;

S103、所述待测面部区域输入到脉搏率估计模型中输出脉搏率,所述脉搏率估计模型将Xception模型中的2D可分离卷积模块替换为3D可分离卷积模块,将最大池化层替换为全局平均池化层,且在每个卷积层后跟随归一化操作。

需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。

通常,各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现,而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现,但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示,但是应当理解,作为非限制性示例,本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。

本发明的实施例可以由计算机软件来实现,该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行,或者由硬件来实现,或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中,并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外,在这一点上,应当注意,如图5中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。

本领域的技术人员应该明白,以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

相关技术
  • 电插接式连接件及用于电插接式连接件的夹持设备
  • 一种电连接件及具有该电连接件的电子设备
技术分类

06120116523116