一种多模态多分辨率睡眠呼吸暂停自动检测方法及系统

技术领域

本发明涉及睡眠呼吸暂停检测技术领域，具体指一种多模态多分辨率睡眠呼吸暂停自动检测方法及系统。

背景技术

阻塞性睡眠呼吸暂停(Obstructive Sleep Apnea，OSA)是一种严重的睡眠障碍，由于睡眠期间上呼吸道部分或完全阻塞而引起。这一普遍存在的疾病导致人们多次经历呼吸停顿，时长在10至20秒之间，从而导致血氧水平阶段性下降。在成年人中，未被确诊的OSA相当普遍。患者通常未意识到呼吸困难，但长期心血管应激可能导致一系列并发症，包括高血压、心血管疾病、中风和糖尿病。

目前的诊断程序需要医生通过观察多导睡眠图(Polysomnography，PSG)来识别睡眠呼吸暂停。然而，由于需要处理大量数据，这种视觉检测方法不仅耗时而且容易出错。因此，迫切需要开发一种有效的方法，最大限度地减少对传感器的需求，并优化医生进行诊断所需的时间。这将有助于在诊断过程中最大程度地减少对传感器的使用，提高时间效率。

因此如何更好地利用生理信号进行OSA识别是目前急需解决的问题。

发明内容

本发明针对现有技术的不足，提出一种多模态多分辨率睡眠呼吸暂停自动检测方法及系统，通过对多导睡眠图信号进行滤波、分帧处理，并结合多通道数据特征的深度神经网络训练，实现了多通道网络的构建。此方法利用多通道信号的多维特征，弥补了单通道信号数据缺失的不足。同时，通过分帧后的信号片段实现多分辨率的睡眠呼吸暂停自动检测，避免了检测效率低下和设备限制等问题。

为了解决上述技术问题，本发明的技术方案为：

一种多模态多分辨率睡眠呼吸暂停自动检测方法，包括如下步骤：

S1、提取多导睡眠图信号中的多通道生理信号并进行预处理得到相应的信号片段，所述多通道生理信号包括血氧饱和度信号、鼾声信号、心率信号；

S2、根据预处理后的多通道生理信号构建独立睡眠事件，通过调整输入信号片段中重叠部分可将信号分辨率调整为1秒至10秒，并进行数据增强和随机处理得到样本数据集；

S3、调整样本数据集中三种信号的通道数，然后将调整后SpO2信号片段经过2层卷积、一个多层残差块；鼾声信号片段和心率信号片段经过2层卷积、两个多层残差块进行多维特征提取，得到分帧后的多通道特征；

S4、将用于提取多通道特征的3个卷积神经网络模型的卷积层经过展平后得到对应的线性层，级联拼接后构建融合特征层，将所述多通道特征经过融合特征层得到多通道融合特征；

将用于提取多通道特征的3个卷积神经网络模型的卷积层经过展平后得到对应的线性层，加权平均后并联拼接构建融合决策层，SpO2、鼾声、心率信号的3种模型对应的加权比例为3:4:3，多通道特征按加权比例经过融合决策层得到决策加权特征；

S5、分别将多通道融合特征和决策加权特征接入全连接分类器进行分类，得到睡眠呼吸检测结果。

上述技术方案中，通过变更输入的尺度调整信号片段中重叠部分，通过变更输入信号维度调整检测通道数，对应调整检测分辨率和通道数，得到多通道多分辨率检测结果。

将所述多通道融合特征接入全连接分类器中，得到多通道睡眠呼吸暂停检测结果。通过变更输入信号的尺度(在预处理阶段调整信号片段中的重叠部分)可将检测分辨率调节为1秒至10秒，通过变更输入信号维度调整检测通道数(在模型训练和预测阶段调整输入信号的通道数)可将模型调节为对应不同信号的单或多模态模型，由此得到可自主调节的多通道多分辨率检测结果。

多通道特征融合模块，用于通过融合特征层对多通道特征提取，不同神经网络的卷积层经过展平后得到对应的线性层，级联拼接后构建融合特征层，多通道特征经过融合特征层得到多通道融合特征；

多通道决策融合模块，用于通过融合决策层对多通道特征提取，不同神经网络的卷积层经过展平后得到对应的线性层，加权平均后并联拼接构建融合决策层，SpO2、鼾声、心率信号的3种模型对应的加权比例为3:4:3，多通道特征经过融合决策层得到决策加权特征；

其中多通道特征融合模块和多通道决策融合模块互斥，在预测过程中只能选取其中一个模块。

所述多通道特征融合过程包括，将所得多通道特征基于特征层融合方法得到多通道融合特征，具体采用不同的神经网络的卷积层经过展平后得到对应的线性层，级联拼接后构建融合特征层。

所述多通道决策融合过程包括，将所得多通道特征基于决策层融合方法得到多通道融合特征，具体采用不同的神经网络的卷积层经过展平后得到对应的线性层，加权平均后并联拼接构建融合决策层，经过大量对比实验发现，当SpO2、鼾声、心率信号的3种模型对应的权重比例为3:4:3时，模型分类结果表现最优。

融合分类模块，用于将由多通道融合模型所得多通道融合特征接入全连接分类器中进行分类得到多通道睡眠呼吸暂停检测结果，多通道睡眠呼吸暂停检测结果是根据自行选择的信号通道和检测分辨率所得的检测结果。

所述融合分类过程包括，将所述多通道融合特征接入全连接分类器进行分类，所述全连接分类器的分类节点数目为1320、440和2。

作为优选，所述多通道生理信号的预处理方法为：选用最近赋值法对多通道信号进行滤波处理，采用长度为168、步长为8的窗口函数对多通道信号进行分帧得到信号片段，确保每个信号片段包含前后各10秒的重叠部分。

作为优选，所述调整输入信号检测分辨率的方法为：改变构建信号片段时每个片段的重叠部分，即改变截取信号时的步长，使最后分类结果对应相应的检测分辨率。

作为优选，所述数据增强和随机处理的方法为：随机选择每个睡眠呼吸暂停事件作为平衡训练样本，并添加至训练数据队尾；随后，随机打乱构建好的多通道信号得到样本数据集。

作为优选，所述多层残差块包含两层卷积和残差连接的1×1卷积。

作为优选，在每个独立的卷积层和多层残差块中的卷积层操作之后还经过批量标准化层与激活函数，所述激活函数采用ReLU函数。

本发明还提供了一种实现上述一种多模态多分辨率睡眠呼吸暂停自动检测方法的系统，包括：

信号加窗分帧预处理模块，用于对输入的多通道生理信号进行滤波和加窗分帧，并对分帧后的信号对齐、随机增强；

多通道特征提取模块，用于通过多层卷积神经网络对多通道信号片段进行特征提取；

多通道特征融合模块，(1)用于通过融合特征层对多通道特征提取，得到融合特征；(2)用于通过融合决策层对多通道特征提取，得到决策加权特征。

融合分类模块，用于将多通道多分辨率融合特征接入全连接分类器中进行分类得到睡眠呼吸暂停检测结果。

作为优选，所述全连接分类器的分类节点数目为1320、440和2。

作为优选，所述信号加窗分帧预处理过程包括，使用最近赋值法对信号中无效数据重新赋值并使用长度为168步长为8的窗口函数对信号进行分帧处理，其中每个信号包含前后各10秒的重叠部分；

所述多通道特征提取过程包括，通过第一卷积层进行卷积处理，所述第一层卷积核大小为25，卷积通道数为6；

通过第一残差块进行特征提取，残差块中两层卷积层中卷积核大小为20，卷积通道数为20；

通过第二残差块进行特征提取，残差块中两层卷积层中卷积核大小为11，卷积通道数为60；

通过第二卷积层进行卷积处理，所述第二层卷积核大小为20，卷积通道数为20，得到多通道特征；

所述多通道特征融合过程包括，将所得多通道特征基于特征层融合方法得到多通道融合特征。

本发明具有以下的特点和有益效果：

(1)本发明提出了一种多模态睡眠呼吸检测方法，采用多通道信号加窗分帧模块以显著提高检测分辨率，并利用一种增强的轻量级一维卷积神经网络检测以每秒为频率发生的睡眠呼吸暂停事件。所使用的滑动窗口最大程度地减少信号之间的时序依赖性和特征的丢失，同时该模型具有较小的复杂度，在保证检测准确率的情况下可以进行实时睡眠呼吸暂停检测。

(2)本发明设计了有效提取多通道信号融合特征的多层残差块特征融合结构，通过增加特征提取的随机性来提取较全面的生理信号特征；通过融合多通道特征，产生新的特征图。该结构采用较少的网络层次，有效提取生理信号特征，有利于提高深度学习网络参数训练的效率。

(3)本发明设计了多通道多分辨率睡眠呼吸暂停检测系统，可以自行选择所使用的通道数和分辨率大小，在保证检测准确率的情况下可有效降低检测设备算力限制及资源消耗。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的睡眠呼吸暂停检测方法的流程图；

图2是本发明实施例的框图多通道信号加窗分帧模块框图；

图3是本发明实施例的多层残差块结构图；

图4是本发明实施例的睡眠呼吸暂停检测系统的模块架构图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

本发明实例提供了一种多模态多分辨率睡眠呼吸暂停检测方法，如图1所示，包含以下步骤：

获取原始睡眠呼吸的数据集：通过佩戴带有脉氧饱和度传感器的设备，获取脉氧饱和度数据组成原始睡眠呼吸的数据集，设备包括但不限于是带有脉氧饱和度传感器的指套式光电传感器、智能手环/手表等可穿戴设备。

本发明的一个实施例采用的数据集是由都柏林大学数据库(UCDDB)、邵逸夫医院睡眠中心数据库中的睡眠数据组成，将两个数据库按照8:2划分为训练集和测试集。

S1、对所述数据集进行预处理后得到分帧后的独立睡眠事件实例，包含以下步骤：

S11、对所述数据集采用最近赋值法去伪影，因为信号采集过程中受试者的姿势会不断改变，SpO2(脉氧饱和度)传感器和心率传感器在变换睡姿的过程中可能出现接触不良，所以采集到的信号可能会出现异常值，所以采用最近赋值法去除伪影。其中各个传感器的采样率均为8Hz。

S12、采用长度为168、步长为8的窗口函数对多通道信号进行分帧，确保每个信号片段包含前后各10秒的重叠部分。因为睡眠呼吸暂停的判定标准之一是患者长达前后各10秒未呼吸会被判定为睡眠呼吸暂停，所以窗口长度选取为168。为达到最高检测分辨率为1秒，选取步长为8(即1秒)。

S2、调整输入信号检测分辨率，改变构建信号片段时每个片段的重叠部分，即改变截取信号时的步长，使最后分类结果对应相应的检测分辨率。

S3、采集的数据中呼吸暂停和正常呼吸的数据存在不均衡现象，本实施例中，在UCDDB数据库中存在睡眠呼吸暂停信号的片段仅占总长度的10％左右，这会对神经网络的灵敏度造成很大的冲击。经过处理的数据，既可以解决数据不平衡的问题，也可以增强少数样本的边界性，缓解神经网络在训练时出现的过拟合现象。随后，随机打乱构建好的多通道信号实例作为训练集。

S4、通过多通道残差连接的一维卷积神经网络对所述睡眠事件实例进行多维特征提取，其中：SpO2信号片段经过2层卷积、一个多层残差块，通过第一卷积层进行卷积处理，所述第一层卷积核大小为25，卷积通道数为6，通过第一残差块进行特征提取，残差块中两层卷积层中卷积核大小为20，卷积通道数为20，通过第一最大池化层，将输出特征图的长度调整为原来的1/2，通过第二残差块进行特征提取，残差块中两层卷积层中卷积核大小为11，卷积通道数为60，通过第二最大池化层，将输出特征图的长度调整为原来的1/2；鼾声信号片段和心率信号片段经过2层卷积、两个多层残差块进行多维特征提取，通过第一卷积层进行卷积处理，所述第一层卷积核大小为25，卷积通道数为6，通过第一最大池化层，将输出特征图的长度调整为原来的1/2，通过第一残差块进行特征提取，残差块中两层卷积层中卷积核大小为20，卷积通道数为20，通过第二残差块进行特征提取，残差块中两层卷积层中卷积核大小为11，卷积通道数为60，通过第一最大池化层，将输出特征图的长度调整为原来的1/2。其中多层残差块包含两层卷积和残差连接的1×1卷积。

在每个独立卷积层和多层残差块中的卷积层操作之后还经过批量标准化层与激活函数，激活函数采用ReLU函数。

通过多通道残差连接的一维卷积神经网络多维特征提取，得到分帧后的多通道数据特征。所述网络最大限度地提取了各个信号的特征，可以更好地利用片段的互补信息去改善检测睡眠呼吸暂停的检测性能。

S5、采用两种融合策略得到分类结果：(1)将所述特征输入融合特征层；(2)将所述特征输入融合决策层；

构建可调整通道数及检测分辨率的多通道多分辨率网络。

具体为：(1)将提取的多通道数据特征进行级联拼接得到目标融合特征，所述融合特征具体表现为长度为1320的线性层。将多通道融合特征接入全连接分类器中，得到多通道睡眠呼吸暂停检测结果。(2)将提取的多通道数据特征进行级联拼接得到目标决策加权特征，将所得决策加权特征接入全连接分类器中，得到多通道睡眠呼吸暂停检测结果。

所述全连接分类器的分类节点数目为440和2，使用分类交叉熵作为损失函数并采用学习率为0.0001的ADAM优化器。

通过变更输入的尺度调整信号片段中重叠部分和变更输入信号维度调整检测通道数，对应调整检测分辨率和通道数。得到多通道多分辨率检测结果。

应用例1：

：目标输入信号通道数为3，分别为SpO2、鼾声、心率信号，目标检测分辨率为1秒，融合策略采用特征层融合策略，信号经过预处理后得到重叠部分为前后各10秒的信号片段，将所得信号片段输入至经过训练的卷积神经网络模型得到多通道特征，融合特征层对多通道特征进行提取后输入全连接分类器，分类函数选用Softmax函数，所得分类结果为发生了睡眠呼吸暂停。

应用例2：

目标输入信号通道数为2，分别为SpO2、鼾声信号，目标检测分辨率为10秒，融合策略采用决策层融合策略，信号经过预处理后得到的信号片段末尾有10秒的重叠部分，将所得信号片段输入至经过训练的卷积神经网络模型得到多通道特征，融合决策层对多通道特征进行加权平均后提取决策加权特征，将所得特征全连接分类器，分类函数选用Softmax函数，所得分类结果为没有发生睡眠呼吸暂停.

基于本发明实施例提供的一种多模态多分辨率睡眠呼吸暂停自动检测方法，如图4所示，本发明实施例还提供了一种多模态多分辨率睡眠呼吸暂停自动检测系统，包括：

信号加窗分帧预处理模块，对输入的多通道生理信号进行滤波和加窗分帧，去除信号中的伪影部分，将信号分割为具有重叠部分的独立睡眠呼吸时间实例，并对分帧后的信号对齐、随机增强，解决数据不平衡的问题，缓解神经网络在训练时出现的过拟合现象；

多通道特征提取模块，通过多层卷积神经网络对多通道信号片段进行特征提取，各个信号通过2层一维卷积层，SpO2信号、鼾声和心率信号分别通过1个、2个、2个多层残差卷积块获取分帧后的多通道特征；

多通道特征融合模块，(1)通过融合特征层对多通道特征提取，得到融合特征，将提取的多通道数据特征进行拼接得到目标融合特征，所述融合特征具体表现为长度为1320的线性层，使用全连接分类器对所述特征分类；(2)通过融合决策层对多通道特征提取，不同神经网络的卷积层经过展平后得到对应的线性层，加权平均后并联拼接构建融合决策层，SpO2、鼾声、心率信号的3种模型对应的加权比例为3:4:3，多通道特征经过融合决策层得到决策加权特征；融合分类模块，用于将多通道多分辨率融合特征接入全连接分类器中进行分类得到睡眠呼吸暂停检测结果。综上，本发明基于多通道多分辨率融合结构的有效提取多通道特征和互补特征的睡眠呼吸暂停检测方法及系统。输入的多导睡眠图信号经过滤波及加窗分帧处理后得到分帧后的信号片段，最大限度减少信息冗余并去除信号伪影；通过多通道残差连接块和一维特征卷积层对分帧后的信号片段进行特征提取，得到分帧后的多通道数据特征；将多通道数据特征用于构建融合特征层，得到多通道融合特征；根据多通道网络构建多通道多分辨率网络，通过变更输入的尺度调整信号片段中重叠部分和变更输入信号维度调整检测通道数，对应调整检测分辨率和通道数。本发明充分利用并融合了多通道信号所带来的多维特征，补充了单通道信号的数据缺失问题，同时基于分帧后的信号片段实现了多分辨率睡眠呼吸暂停自动检测，避免数据和网络过于复杂导致的检测效率低下和检测设备限制等问题。

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式包括部件进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。