基于小数据集与卷积神经网络的人机不同步识别方法

技术领域

本发明涉及一种基于二维卷积神经网络的小数据集下机械通气人机不同步识别方法。属于技术领域。

背景技术

机械通气期间，人机不同步是时常发生的。研究数据显示，存在严重人机不同步问题的患者比例估计在12％～43％之间。然而在临床实践中，医生只能根据呼吸机上的压力和流量时间波形，然后凭借自身经验来识别人机不同步类型。现今，用于人机不同步识别的方法主要包含了三大类方法，即人类视觉检测、基于规则算法、基于机器学习。这三大类方法都有着共同特点即要以呼吸波形中的可区分的特征信息为重要判别依据。而且这些方法的通病都在于，稳定性不高，准确率易受干扰，泛化能力较差。近年来，有学者提出基于深度学习的机械通气人机不同步波形识别方法，例如循环神经网络和一维卷积神经网络。该类算法只需对波形做简单的预处理，无需繁琐的特征工程的构造和选取，然后训练出深度神经网络，再进行识别，检测精度高且鲁棒性强，但是局限性在于需要海量的训练数据。然而，数据标注是一项枯燥无味且时间成本花费巨大的任务。

发明内容

本发明的目的在于克服上述不足，提供了一种基于小数据集与二维卷积神经网络的机械通气人机不同步识别方法。

本发明的目的是这样实现的：

一种基于小数据集与卷积神经网络的机械通气人机不同步识别方法，该方法为：将采集的原始呼吸信号转换成二维图像，利用基于迁移学习训练的深度学习模型对转换成二维图像的当前呼吸信号进行的人机不同步识别；所述基于迁移学习训练的深度学习模型的构建和训练包括以下步骤：

S1、预处理；

采集标记的包含人机不同步和非人机不同步的呼吸信号，对每个呼吸信号先进行数据标准化，再通过重采样，将数据集中的所有样本处理成等长的序列，最后将一维数据转化为二维图像作为训练样本；

S2、构建多层以二维卷积神经网络为核心的深度学习模型。

S3、获取一个二维图像多分类的公开数据集，基于公开数据集训练深度学习模型，获得高精度的分类模型，然后冻结训练好的模型中作为分类输出的全连接层以上的层的权重参数。最后以迁移学习的方式，只拼接一层作为分类输出的全连接层，设定输出的维度等于类别数，并将本地呼吸波形图像的训练集输入模型中微调最后一层全连接层的权重参数，验证集和测试集衡量模型的性能；获得基于迁移学习训练的深度学习模型。

其中，每个样本的数据进行重采样到相同长度，使所有样本序列等长，与接下来将一维数据维度转为二维图像大小相对应，目的在于使一个像素点所对应波形的物理单位上相统一。

进一步地，所述步骤S1中，以欠采样的方式，通过随机抽取与人机不同步样本数量大致相当的非人机不同步样本，来对数据集进行样本均衡；所有样本先进行min-max标准化处理：

其中，x

进一步地，一次呼吸信号分别由压力、流速和潮气量三路数据共同组成，分别将一维的压力、流速和潮气量数据转化为二维单通道的灰度图像，然后将三个单通道的图像分别对应RGB三通道图像进行融合得到训练样本。

进一步地，所述步骤S1中，将预处理的本地呼吸波形图像样本分为训练集、验证集和测试集。训练集用于深度学习模型的微调，验证集在反向传播的过程中用以优化模型参数，评估模型分类性能；测试集用以衡量模型的泛化性能。

进一步地，将预处理的本地呼吸波形图像样本按9:1随机划分为训练部分和测试部分的数据，再按7:3将训练部分的数据随机划分为训练集和验证集。

进一步地，所述步骤S2中，构建多层以二维卷积神经网络为核心的深度学习模型，具体为：采用多个二维卷积神经网络组成卷积模块，并在卷积模块后设置全局平均池化层，最后一层采用以softmax为激活函数全连接层进行分类。采用全局平均池化层代替了全连接层，目的在于减少网络模型中巨大的参数量，以降低训练时长以及硬件设备条件。

将原始呼吸信号经过步骤S1的预处理后，输入微调后的深度学习模型里，即可获得当前呼吸信号的人机不同步识别结果。进一步地，还包括对深度学习模型输出的特征图进行参数推导，通过类激活映射的方式，获得模型在分类决策过程中的可视化解释步骤。

进一步地，获得模型在分类决策过程中的可视化解释步骤具体包括如下子步骤：

a、对深度学习模型中最后一层二维卷积神经网络中每个滤波单元k输出的特征图执行全局平均池化操作，即F

b、对于某一特定类别c，首先计算该类别在softmax分类结果输出之前的输入S

其中，

c、将F

其中，

d、将类激活图上采样到原始输入图像的大小，再以热力图的方式映射到原始输入图像上便可得到模型在分类决策过程中的可视化解释。

与现有技术相比，本发明的有益效果是：

本发明是一种基于二维卷积神经网络的小数据集下机械通气人机不同步识别方法，将原始呼吸信号转换为二维图像，并采用基于二维图像多分类的公开数据集的迁移学习的训练方式，从不同的图像分类任务中学到的知识或模式应用到人机不同波形类型识别的问题中，避免了深度学习端到端训练需要提供大量的标注数据的局限性。同时，引入全局平均池化来取代传统的全连接层，不但减少了模型的参数量，又降低了训练模型的硬件要求，而且通过可视化类激活图映射分类决策过程中重要的特征区域，增强了方法的可解释性。

本发明是一种基于小数据集与二维卷积神经网络的机械通气人机不同步识别方法，不限于该类人机不同步的检测，对其他类型人机不同步的识别和分析具有普遍适用性。与现有技术比较，本发明提出的人机不同步识别方法可在小数据集的条件下，即可得到较高检测精度，并且方法具有高度可解释性。若有足够多的训练数据，本发明也可直接基于全量数据集采用端到端的训练方式。

附图说明

图1为本发明一种基于小数据集与二维卷积神经网络的机械通气人机不同步识别方法的流程示意图。

图2为本发明提出的预处理步骤中单通道压力灰度图。

图3为本发明提出的预处理步骤中单通道流速灰度图。

图4为本发明提出的预处理步骤中单通道潮气量灰度图。

图5为本发明提出的预处理步骤中三个单通道灰度图融合后对应的RGB图。

图6为本发明提出的二维卷积神经网络结构与可视化方案示意图。

图7为本发明的不同实施例的分类结果可视化效果图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制发明的保护范围。

为了解决深度学习依赖海量标注数据以及方法可解释性差等问题，本发明提出了一种基于小数据集与二维卷积神经网络的机械通气人机不同步波形识别及结果可视化的方法。

参见图1，本发明的一种基于小数据集与二维卷积神经网络的机械通气人机不同步识别方法，通过将采集的原始呼吸信号转换成二维图像，并利用二维图像多分类的公开数据集，基于迁移学习训练深度学习模型，实现对转换成二维图像的当前呼吸信号进行人机不同步识别；具体包括以下步骤：

S1、预处理；

采集标记的包含人机不同步和非人机不同步的呼吸信号，先进行数据标准化，再通过重采样，将数据集中的所有样本处理成等长的序列，最后将一维数据转化为二维图像的形式；具体如下：

呼吸波形数据由专业医生进行标注。由于标记的数据集中非人机不同步样本数要远多于人机不同步样本数，所以以欠采样的方式，通过随机抽取与人机不同步样本数量大致相当的非人机不同步样本，来对数据集进行样本均衡；所有样本先进行min-max标准化处理。

其中，x

每个样本的数据进行重采样到244长度，使所有样本序列等长，与接下来将一维数据维度转为二维图像大小相对应，目的在于使一个像素点所对应波形的物理单位上相统一。

其中，一次呼吸信号分别由压力、流速和潮气量三路数据共同组成，参见图2-5，分别将一维的压力、流速和潮气量数据转化为二维224*244单通道的灰度图像，然后将三个单通道的图像分别对应RGB三通道图像进行融合，图像大小为224*224，作为本地呼吸波形图像样本；

S2、将步骤S1预处理的本地呼吸波形图像样本分为训练集、验证集和测试集。

此步骤的具体实施例为，先将本地呼吸波形图像数据集按9:1随机划分为训练部分和测试部分的数据，再按7:3将训练部分的数据随机划分为训练集和验证集。训练集用以训练模型参数，验证集在反向传播的过程中用以优化模型参数，测试集用以衡量模型的泛化性能。

S3、构建多层以二维卷积神经网络为核心的深度学习模型；

图5是本实施例中采用的以二维卷积神经网络为核心的深度学习模型结构，与常见的卷积神经网络不同的是，在由多个二维卷积神经网络构成的卷积模块后设置全局平均池化层代替了传统的全连接层，最后一层采用以softmax为激活函数的全连接层进行分类，目的在于减少网络模型中巨大的参数量，以降低训练时长以及所需的硬件设备条件。

S4、获取一个二维图像多分类的公开数据集，基于公开数据集训练出高精度的分类模型，然后冻结训练好的模型中全连接层以上的层的权重参数，以迁移学习的方式，将本地呼吸波形图像的训练集输入模型中微调最后一层全连接层的权重参数；

此步骤的具体实施例为，获取了ImageNet大型计算机视觉数据集，其中包含了超过1400多万图像，总共分为21841个类别。最常使用的是ImageNet中的一个子集ISLVRC2012(ImageNet Large Scale Visual Recognition Challenge)，总共有大约120万张训练图像，每个类别的图像数量从732到1300不等；50000张验证图像，每个类别有50张；以及100000个测试图像，每个类别有100张；1000个类别标记。基于此数据集，本实施例构建了16层的二维卷积神经网络作为特征提取模块，训练得到了不超过10％的top-5错误率的分类模型。然后冻结训练好的模型中全连接层以上的层的权重参数，只拼接一层作为分类输出的全连接层，设定输出的维度等于本地呼吸波形图像的类别数，此实施例中设定为2。最后以迁移学习的方式，冻结层的权重参数不参与后续的训练，随后将本地呼吸波形图像的训练集输入模型中微调最后一层全连接层的权重参数，验证集和测试集衡量模型的性能。实施例中总计本地呼吸波形图像阳性样本10199例，阴性样本10368例。对纳入总数据集中参与模型的训练、验证和测试的本地呼吸波形图像的比例(分别为0.01、0.1、0.2、0.4、0.6、0.8和1)进行了性能比较，表1给出了实施例根据本地不同的呼吸波形图像数据集大小所微调后的网络模型的分类性能。

表1实施例在不同数据量下所训练的网络分类结果

结果表明，本发明提出的人机不同步识别方法可在小数据集的条件下，即可得到较高检测精度。

S5、将实时采集的原始呼吸信号经过步骤S1的预处理后，输入微调后的深度学习模型里，即可获得当前呼吸信号的人机不同步识别结果。

S6、本实施例中还基于参数推导，通过类激活映射的方式，获得了模型在分类决策过程中的可视化解释，具体如下：

在卷积神经网络中，卷积模块输出的特征图经过全局平均池化后，特征图的维度直接被缩减至1，每个滤波单元的特征图所对应的权重就表示了对输入图像判为该类的重要程度。

S6-1、对于一张图像输入，f

S6-2、对最后一层二维卷积神经网络中每个滤波单元k输出的特征图执行全局平均池化操作，即F

S6-3、对于某一特定类别c，首先计算该类别在softmax分类结果输出之前的输入S

其中，

S6-4、最后，对于某一特定类别c，由softmax计算分类结果对应类别的概率P

S6-5、将F

其中，

S6-6、将类激活图上采样到原始输入图像的大小，再以热力图的方式映射到原始输入图像上便可得到模型在分类决策过程中的可视化解释。图7展示了实施例在纳入0.01的总数据量下训练的模型的分类结果可视化效果图。图中，高亮区域就是特征区域，是模型判断的主要依据，通过可视化特征局域，可以说明模型训练是有效的，学到的不是虚假特征，使人信服。

本发明是一种基于小数据集与二维卷积神经网络的机械通气人机不同步识别方法。实施例中对触发类中双触发进行检测、识别并做可视化分析，但本发明不限于该类人机不同步的检测，对其他类型人机不同步的识别和分析具有普遍适用性。

本发明提出的人机不同步识别方法可在小数据集的条件下，即可得到较高检测精度，并且方法具有高度可解释性。发明中采用迁移学习的训练方式，从不同的图像分类任务中学到的知识或模式应用到人机不同波形类型识别的问题中，避免了深度学习端到端训练需要提供大量的标注数据的局限性。若有足够多的训练数据，本发明也可直接基于全量数据集采用端到端的训练方式。同时，在网络结构中引入全局平均池化来取代传统的全连接层，不但减少了模型的参数量，又降低了训练模型的硬件要求，而且通过可视化类激活图分析分类结果，增强了方法的可解释性。

在上述实施例中，仅对本发明进行示范性描述，但是本领域技术人员在阅读本专利申请后可以在不脱离本发明的精神和范围的情况下对本发明进行各种修改。