脉搏波信号的提取方法、提取装置及存储介质、电子设备

技术领域

本发明涉及生物工程和人工智能技术领域，尤其涉及一种脉搏波信号的提取方法，一种脉搏波信号的提取装置，一种计算机可读存储介质和一种电子设备。

背景技术

相关技术中，在通过视频(图像序列)得到脉搏波信号时，主要是通过频域滤波手段剔除有效频带(1hz～3.33hz)外的噪声，得到脉搏波信号，少数通过检测血红蛋白容量得到一条与心率相关的信号。然而，通过上述技术得到的信号，并不纯净，原因是频带内的噪声没有去除，通过血红蛋白得到的信号与脉搏波信号相关性小。噪声在信号中的占比很大，甚至可能完全把脉搏波信号淹没。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种脉搏波信号的提取方法，可得到与接触式脉搏波传感器媲美的、纯净的被测目标的脉搏波信号。

本发明的第二个目的在于提出一种脉搏波信号的提取装置。

本发明的第三个目的在于提出一种计算机可读存储介质。

本发明的第四个目的在于提出一种电子设备。

为达到上述目的，本发明第一方面实施例提出了一种脉搏波信号的提取方法，包括以下步骤：采集被测目标的视频数据，其中，所述视频数据包括多帧视频图像和各视频图像对应的时间戳；确定每帧视频图像的信息值，并根据所述信息值和对应的时间戳得到基于时间序列的振动信号；将所述基于时间序列的振动信号输入至预设的空间向量分解模型，输出脉搏波信号空间矩阵；对所述脉搏波信号空间矩阵进行归一化处理，得到所述被测目标的脉搏波信号。

根据本发明的一个实施例，确定视频图像的信息值，包括：对所述视频图像进行预处理，得到所述视频图像的感兴趣区域；对所述感兴趣区域进行RGB颜色向量分解，得到RGB颜色矩阵；对所述RGB颜色矩阵中的每个颜色分量计算平均值，得到相应的信息值。

根据本发明的一个实施例，所述根据所述信息值和对应的时间戳得到基于时间序列的振动信号，包括：将各所述视频图像的信息值按照时间序列组合得到振动信号矩阵，并将各所述视频图像的时间戳按照时间序列组合得到时间戳矩阵；将所述振动信号矩阵与所述时间戳矩阵组合，得到所述基于时间序列的振动信号。

进一步地，在得到所述振动信号矩阵之后，所述方法还包括：将所述振动信号矩阵输入至预设的第一滤波器中，以对所述振动信号矩阵进行滤波处理；和/或在得到所述脉搏波信号之后，所述方法还包括：将所述脉搏波信号输入至预设的第二滤波器中，以对所述脉搏波信号进行滤波处理。

根据本发明的一个实施例，所述预设的空间向量分解模型包括第一空间矩阵、第二空间矩阵，其中，通过下式得到所述脉搏波信号空间矩阵：所述脉搏波信号空间矩阵＝所述第一空间矩阵*(所述第二空间矩阵*所述基于时间序列的振动信号)，其中，所述第一空间矩阵的形状为1*3，所述第二空间矩阵的形状为3*4，所述基于时间序列的振动信号的形状为4*N，N为视频图像的个数。

根据本发明的一个实施例，在将所述基于时间序列的振动信号输入至预设的空间向量分解模型之前，所述方法还包括：根据所述时间戳对所述基于时间序列的振动信号进行插帧处理。

进一步地，所述根据所述时间戳对所述基于时间序列的振动信号进行插帧处理，包括：计算所述基于时间序列的振动信号中任意两相邻信息值时间戳的差值；如果所述差值大于第一预设时间，则确定需要对所述基于时间序列的振动信号进行插帧处理，并根据所述差值确定需要插帧的数量；根据所述数量、两相邻信息值及其时间戳，得到需插入的信息值及其对应的时间戳；将所述需插入的信息值及其对应的时间戳插入所述基于时间序列的振动信号。

根据本发明的一个实施例，通过如下公式对所述脉搏波信号空间矩阵进行归一化处理：

根据本发明实施例的脉搏波信号的提取方法，采集被测目标的视频数据，其中，所述视频数据包括多帧视频图像和各视频图像对应的时间戳；确定每帧视频图像的信息值，并根据所述信息值和对应的时间戳得到基于时间序列的振动信号；将所述基于时间序列的振动信号输入至预设的空间向量分解模型，输出脉搏波信号空间矩阵；对所述脉搏波信号空间矩阵进行归一化处理，得到所述被测目标的脉搏波信号。由此，该脉搏波信号的提取方法，通过将基于时间序列的振动信号输入至预设的空间向量分解模型，输出脉搏波信号空间矩阵，以及对脉搏波信号空间矩阵进行归一化处理，得到可与接触式脉搏波传感器媲美的、纯净的被测目标的脉搏波信号。

为达到上述目的，本发明第二方面实施例提出了一种脉搏波信号的提取装置，包括：采集模块，用于采集被测目标的视频数据，其中，所述视频数据包括多帧视频图像和各视频图像对应的时间戳；确定模块，用于确定每帧视频图像的信息值，并根据所述信息值和对应的时间戳得到基于时间序列的振动信号；生成模块，用于将所述基于时间序列的振动信号输入至预设的空间向量分解模型，输出脉搏波信号空间矩阵；处理模块，用于对所述脉搏波信号空间矩阵进行归一化处理，得到所述被测目标的脉搏波信号。

根据本发明实施例的脉搏波信号的提取装置，采集被测目标的视频数据，其中，所述视频数据包括多帧视频图像和各视频图像对应的时间戳；确定每帧视频图像的信息值，并根据所述信息值和对应的时间戳得到基于时间序列的振动信号；将所述基于时间序列的振动信号输入至预设的空间向量分解模型，输出脉搏波信号空间矩阵；对所述脉搏波信号空间矩阵进行归一化处理，得到所述被测目标的脉搏波信号。由此，该脉搏波信号的提取装置，通过将基于时间序列的振动信号输入至预设的空间向量分解模型，输出脉搏波信号空间矩阵，以及对脉搏波信号空间矩阵进行归一化处理，得到可与接触式脉搏波传感器媲美的、纯净的被测目标的脉搏波信号。

为达到上述目的，本发明第三方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现所述的脉搏波信号的提取方法。

为达到上述目的，本发明第四方面实施例提出了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述的脉搏波信号的提取方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1是本发明一个实施例的脉搏波信号的提取方法的流程示意图；

图2是本发明一个实施例的摄像机接收成像光路径的示意图；

图3是本发明一个实施例的脉搏波信号的提取装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图1-3描述本发明实施例的脉搏波信号的提取方法、提取装置及存储介质、电子设备。

相关技术中，提取用于表征心率的生理信号，基本上分为以下三个步骤：信号采集，信号处理，心率计算。其中，信号采集主要过程为：摄像头(视频)获取含有人脸的多帧图像，对每帧图像进行roi(region of interest，感兴趣区域)区域提取，对每帧roi区域图像进行rgb分解，对每帧rgb图像求均值。最后将求得的多个均值合并成三个均值矩阵

图1是本发明一个实施例的脉搏波信号的提取方法的流程示意图。如图1所示，脉搏波信号的提取方法，包括以下步骤：

S101、采集被测目标的视频数据，其中，视频数据包括多帧视频图像和各视频图像对应的时间戳。

具体地，本发明实施例的脉搏波信号的提取方法可通过特定的脉搏波信号的提取装置或者电子设备如手机等实现。当采集被测目标的视频数据时，可通过摄像机(如智能手机的相机，工业相机，监控摄像头)采集被测目标的视频数据。其中，被测目标可以是人脸。

S102、确定每帧视频图像的信息值，并根据信息值和对应的时间戳得到基于时间序列的振动信号。

在一个示例中，确定视频图像的信息值，可包括：对视频图像进行预处理，得到视频图像的感兴趣区域；对感兴趣区域进行RGB颜色向量分解，得到RGB颜色矩阵；对RGB颜色矩阵中的每个颜色分量计算平均值，得到相应的信息值。

具体地，以视频图像为人脸图像为例，可通过人脸关键点模型找到感兴趣区域，如面部额头区域、面部下巴区域、面部鼻子区域等，即人脸关键点模型的作用是从整个人脸图像中，截取到包含人脸皮肤区域的部分(即视频图像的感兴趣区域)。将N(N≥300)个感兴趣区域图像做RGB分解得到N个感兴趣颜色矩阵，矩阵的形状3*N，可近似表示为

需要说明的是，在得到视频图像的感兴趣区域的信息值时，可以逐帧处理视频图像，例如在摄像过程中，可先处理第一帧视频图像，得到相应的信息值，再处理第二帧视频图像，得到相应的信息值，依次类推，直至数量达到可输出脉搏波信号的信息值数量。也可以在摄像得到视频数据后，直接根据视频数据得到预设数量的视频图像，再同时分别对各视频图像进行处理。

进一步地，根据信息值和对应的时间戳得到基于时间序列的振动信号，包括：将各视频图像的信息值按照时间序列组合得到振动信号矩阵，并将各视频图像的时间戳按照时间序列组合得到时间戳矩阵；将振动信号矩阵与时间戳矩阵组合，得到基于时间序列的振动信号。

具体地，将所有平均矩阵按照时间序列合成3*N形状的矩阵

S103、将基于时间序列的振动信号输入至预设的空间向量分解模型，输出脉搏波信号空间矩阵。

其中，预设的空间向量分解模型包括第一空间矩阵、第二空间矩阵，第一空间矩阵的形状为1*3，第二空间矩阵的形状为3*4，基于时间序列的振动信号的形状为4*N，N为视频图像的个数。通过下式得到脉搏波信号空间矩阵：脉搏波信号空间矩阵＝第一空间矩阵*(第二空间矩阵*基于时间序列的振动信号)。

具体地，第一空间矩阵可表示为[c

作为一个示例，得到的相邻两视频图像的时间间隔可能存在不相等的情况，为此可在将基于时间序列的振动信号输入至预设的空间向量分解模型之前，还可包括：根据时间戳对基于时间序列的振动信号进行插帧处理。其中，根据时间戳对基于时间序列的振动信号进行插帧处理，可包括：计算基于时间序列的振动信号中任意两相邻信息值时间戳的差值；如果差值大于第一预设时间，则确定需要对基于时间序列的振动信号进行插帧处理，并根据差值确定需要插帧的数量；根据数量、两相邻信息值及其时间戳，得到需插入的信息值及其对应的时间戳；将需插入的信息值及其对应的时间戳插入基于时间序列的振动信号。

具体地，将基于时间序列的振动信号中任意两相邻信息值的时间戳相减得到差值，当差值大于第一预设时间(如：30ms)，则需要对基于时间序列的振动信号进行插帧处理，并根据差值确定需要插帧的数量。例如：两个相邻的基于时间序列的振动信号对应的时间戳相减，差值大于30ms就需要插帧，若相差33ms以上66ms以下，需要插一帧，相差66ms以上，99ms以内需要插两帧，以此类推。再根据需要插帧的数量、基于时间序列的振动信号中任意两相邻信息值及其时间戳，得到需插入的信息值及其对应的时间戳。例如：将插帧处左右两侧基于时间序列的振动信号的信号值，假定为y

S104、对脉搏波信号空间矩阵进行归一化处理，得到被测目标的脉搏波信号。

其中，通过如下公式对脉搏波信号空间矩阵进行归一化处理：

具体地，首先，对脉搏波信号空间矩阵进行归一化处理，就得到被测目标的类脉搏波信号，[Ψ

作为一个示例，在得到脉搏波信号之后，还可将脉搏波信号输入至预设的第二滤波器中，以对脉搏波信号进行滤波处理。

具体地，将得到的脉搏波信号，输入到预设的第二滤波器，以对脉搏波信号进行滤波处理。其中，第二滤波器可为，

综上所述，该脉搏波信号的提取方法，通过将基于时间序列的振动信号输入至预设的空间向量分解模型，输出脉搏波信号空间矩阵，以及对脉搏波信号空间矩阵进行归一化处理，得到可与接触式脉搏波传感器媲美的、纯净的被测目标的脉搏波信号。纯净的脉搏波不仅可用来计算心率，还可以用于更多的生理指标的提取，如：血氧、波速、心率变异、血压等。

上述第一空间矩阵和第二空间矩阵的获取原理可通过图2所示的光路实验说明。

图2是本发明一个实施例的摄像机接收成像光路径的示意图。如图2所示，由反射情况可知，摄像机01在通常情况下，接收到的成像光主要由以下三个部分组成：环境反射02光，光源03光；皮肤表皮04，真皮层05反射的光；皮肤下层的下皮06层及血管07反射的光。在忽略反射02光和光源03光的情况下总光照强度公式可近似为：

C

其中：I(t)表示光照强度等级，这个光照强度等级可以理解为光源强度改变和光源03到皮肤、皮肤到摄像机01的距离改变。us表示光谱的单位颜色向量，s0表示静态反射部分，s(t)表示动态反射部分(运动信息)，ud表示皮肤组织的单位颜色向量，d0表示静态反射强度，up表示在RGB通道的相对脉搏波信号强度，p(t)表示对脉搏波信号，vn(t)表示摄像机01本身的噪声，摄像机01本身的噪声由摄像机01本身的硬件决定，是一个可以从摄像机01内部获得的量，因此在后文中，此参数不会提及。

假设已知摄像机01本身的噪声(噪声可以从硬件部分直接获取)，将在纯白光源03下由三种皮肤原始色(如白，黄，黑)反射的值规定为1，近似的公式如下：

可根据此公式得到生理信号。其中，p(t)为第t帧视频图像的脉搏波信号，I

图3是本发明一个实施例的脉搏波信号的提取装置的结构示意图。如图3所示，脉搏波信号的提取装置100，包括：采集模块10，用于采集被测目标的视频数据，其中，视频数据包括多帧视频图像和各视频图像对应的时间戳；确定模块20，用于确定每帧视频图像的信息值，并根据信息值和对应的时间戳得到基于时间序列的振动信号；生成模块30，用于将基于时间序列的振动信号输入至预设的空间向量分解模型，输出脉搏波信号空间矩阵；处理模块40，用于对脉搏波信号空间矩阵进行归一化处理，得到被测目标的脉搏波信号。

在本发明的一个实施例中，脉搏波信号的提取装置还可包括滤波模块，用于在得到振动信号矩阵之后，将振动信号矩阵输入至预设的第一滤波器中，以对振动信号矩阵进行滤波处理；和/或在得到脉搏波信号之后，将脉搏波信号输入至预设的第二滤波器中，以对脉搏波信号进行滤波处理。

需要说明的是，本发明实施例的脉搏波信号的提取装置的其他具体实施方式，可参见本发明实施例的脉搏波信号的提取方法的具体实施方式。

综上所述，该脉搏波信号的提取装置，通过将基于时间序列的振动信号输入至预设的空间向量分解模型，输出脉搏波信号空间矩阵，以及对脉搏波信号空间矩阵进行归一化处理，得到可与接触式脉搏波传感器媲美的、纯净的被测目标的脉搏波信号。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现所述的脉搏波信号的提取方法。

本实施例还提供一种电子设备，包括存储器和处理器，存储器上存储有计算机程序，计算机程序被处理器执行时，实现所述的脉搏波信号的提取方法。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。