基于多任务学习和类激活图反馈的人机不同步识别方法

技术领域

本发明涉及一种基于多任务学习和类激活图反馈的机械通气中多人机不同步类型识别方法。属于机械通气人机不同步自动化识别领域。

背景技术

随着深度学习理论的发展和完善，神经网络被广泛应用于医学领域。在机械通气人机不同步自动化识别方面，有学者提出基于循环神经网络、一维卷积神经网络和二维卷积神经网络的人机不同步识别方法。但在该领域，目前大多数基于神经网络的检测方法都是单任务学习的二分类网络，只能完成某种特定人机不同步类型的识别。如果想要将方法模块化嵌入分析平台来识别多种人机不同步类型，只能后期将算法集成，这无疑会增加方法在前向计算阶段消耗的时间成本。虽然在二分类网络的研究上取得了一定的成果，但现有方法做到真正落地临床，在性能上还有很大的提升空间。同时，类激活图或梯度类激活图被引入神经网络来可视化分类决策过程，增强方法在临床的可解释性。然而现有方法都只是通过可视化类激活图作为网络输出分类结果的依据，忽视了其能作为人机不同步波形特征区域的定位功能以此来进一步提升网络识别精度的可能性。

发明内容

本发明的目的是为了端到端的集成多个二分类网络以缩短网络在前向计算阶段耗费的时间以及通过类激活图修正网络分类结果降低分类假阳性率，提供了一种多任务学习和类激活图反馈的机械通气中多人机不同步类型识别方法。其中多任务学习是指一个一维卷积神经网络结构主体以参数硬共享的方式学习多种人机不同步的二分类模式。

本发明的目的是这样实现的：

一种基于多任务学习和类激活图反馈的人机不同步识别方法，该方法包括：

用于人机不同步类型识别的深度学习模型训练和多种人机不同步类型的类激活图特征区域限定规则获取步骤：

采集标记的包含多种人机不同步类型和其他类型的呼吸信号，所述呼吸信号由一路流速和一路压力数据组成。对每个呼吸信号先进行数据标准化，再通过重采样，将数据集中的所有样本处理成等长的序列；

根据采集的数据所属的类别，构建多组训练标签，以呼吸信号为输入、类别为输出，采用多任务学习的方式训练获得用于人机不同步类型识别的深度学习模型；

通过类激活映射的方式，获得训练好的深度学习模型对每个样本输出结果的可视化解释；同时根据所有样本的类激活图激活域和标准特征区域设定特征区域的限定规则。所述特征区域的限定规则为类激活图激活域的阈值。

根据训练好的深度学习模型和特征区域的限定规则进行人机不同步类型识别步骤：

将原始呼吸信号经过预处理后，输入已训练的深度学习模型里，即可获得当前呼吸信号的人机不同步识别结果；同时通过类激活映射的方式，获得识别结果中识别类型的类激活图；若识别类型的类激活图的激活域满足对应人机不同步类型的特征区域的限定规则，则判为相应的人机不同步类型，否则，判为其他类型。

进一步地，以欠采样的方式，通过随机抽取与人机不同步样本数量相当的非人机不同步样本，对数据集进行样本均衡；所有样本先进行z-score标准化处理：

其中，x

进一步地，每个样本的数据重采样到300长度，使所有样本序列等长。

进一步地，所述多任务学习通过参数硬共享的方式，将不同任务的特征提取能力都固化在一个深度学习模型结构中，所述深度学习模型结构包括多层一维卷积神经网络、特征融合层、全局平均池化层和多个分类头；一维卷积神经网络为双通道并行结构，分别用于提取压力和流速波形特征，最后再采用特征融合层Add将两路特征信息相加经全局平均池化层后利用多个分类头进行分类。

进一步地，所述一维卷积神经网络包含一维卷积层、批归一化层和一维最大池化层。

进一步地，所述深度学习模型训练的结束条件为所述深度学习模型的损失函数收敛或所述深度学习模型的迭代次数达到预设迭代次数。

进一步地，所述训练标签采用独热编码进行构建。

进一步地，通过类激活映射的方式，获得训练好的深度学习模型对每个样本输出结果的可视化解释，具体为：

a、将样本在深度学习模型最后一层卷积层输出的特征图经过特征融合层Add后，把两路卷积后提取的特征图以相加的方式合并：

b、经过全局平均池化操作，特征融合层Add输出的特征维度会被缩减至1：

F

其中，F

c、对于某一特定类别c，分类头h首先计算该类别在分类结果输出之前的输入S

其中，

其中，

d、将类激活图上采样到原始输入呼吸信号的维度，再以热力图的方式映射到原始呼吸数据上，得到深度学习模型在分类决策过程中的可视化解释。

进一步地，所述根据所有样本的类激活图激活域和标准特征区域设定特征区域的限定规则，具体为：

将每个样本的类激活图的激活域做最大最小归一化，即

其中，X是类激活图的激活域，X

设定调整阈值N，直至所有样本的类激活图激活域中连续大于N的连通域最接近对应样本类激活图的标准特征区域。所述标准特征区域由专业人员标注获得。

与现有技术相比，本发明的有益效果是：

本发明是一种基于多任务学习和类激活图反馈的机械通气中多人机不同步类型识别方法，通过多任务学习结合模型参数硬共享的方式，使得一个模型主体具备了识别多种人机不同步类型的能力，而且端到端的集成多个二分类网络极大程度缩短了网络在前向计算阶段耗费的时间。同时，多任务学习大大降低了训练过拟合的风险。因为一个网络主体同时学习的识别任务越多，就越难找到一个含有所有任务的表征，所以过拟合原始任务的可能性就越小。另外，通过可视化类激活图映射分类决策过程中重要的特征区域，增强了方法的可解释性。利用类激活图结合相应的人机不同步区域特征的限定规则，降低了模型的假阳性率，进一步提升了模型的准确率。

本发明是一种基于多任务学习和类激活图反馈的机械通气中多人机不同步类型识别方法，不限于某类特定类型的人机不同步的检测，对其他类型人机不同步的识别和分析具有普遍适用性。与现有技术比较，本发明提出的人机不同步识别方法在只训练一个网络模型的条件下，一次前向计算即可同时输出识别的多种人机不同步类型，降低了方法在训练阶段和测试阶段的时间复杂度。并且基于类激活图的自修正分类结果技术，进一步提升了现有方法的准确度。

附图说明

图1为本发明一种基于多任务学习和类激活图反馈的机械通气中多人机不同步类型识别方法的流程示意图。

图2为本发明提出的基于一维卷积神经网络的多任务学习与可视化方案示意图。

图3为本发明的实施例中周期过长分类结果可视化效果图。

图4为本发明的实施例中周期过短分类结果可视化效果图。

图5为本发明的实施例中双触发分类结果可视化效果图。

图6为本发明的实施例中无效吸气努力分类结果可视化效果图。

具体实施方式

本发明基于多任务学习和类激活图反馈的人机不同步识别方法，在保证算法精确度和临床可解释性的前提下，通过在训练过程中增加识别任务以及端到端的集成多个二分类网络，不但达到了一个网络能识别多种人机不同步类型的效果，而且大幅度降低了算法在训练阶段和检测阶段所耗费的时长。此外，基于类激活图的自修正网络分类结果技术，降低了假阳性率，进一步提升所提出方法对人机不同步识别的精度。

下面结合附图和实施例，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制发明的保护范围。

参见图1，本发明的一种基于多任务学习和类激活图反馈的机械通气中多人机不同步类型识别方法，该方法包括：用于人机不同步类型识别的深度学习模型训练和多种人机不同步类型的类激活图特征区域的限定规则获取步骤和根据训练好的深度学习模型和特征区域的限定规则进行人机不同步类型识别步骤。其中用于人机不同步类型识别的深度学习模型训练和多种人机不同步类型的类激活图特征区域的限定规则获取步骤具体包括：

S1、预处理；

采集标记的包含多种人机不同步类型和非人机不同步类型的呼吸信号，对每个呼吸信号先进行数据标准化，再通过重采样，将数据集中的所有样本处理成等长的序列；

具体如下：呼吸波形数据由专业医生进行标注。由于标记的数据集中非人机不同步样本数要远多于人机不同步样本数，所以以欠采样的方式，通过随机抽取与人机不同步样本数量大致相当的非人机不同步样本，来对数据集进行样本均衡；所有样本先进行z-score标准化处理：

其中，x

由于一维卷积神经网络只能以固定的张量作为输入，所以将每个样本的数据重采样到300长度，使所有样本序列等长。

S2、构建一个多层以一维卷积神经网络为核心的深度学习模型，多任务通过参数硬共享的方式，将不同任务的特征提取能力都固化在一个模型结构中；

优选地，此步骤的具体实施例为：一次呼吸信号由一路流速和一路压力数据组成，构建一个双通道并行的五层一维卷积神经网络，在特征提取后通过特征融合层Add将分别提取的流速和压力维度的特征信息相加。与常见的卷积神经网络不同的是，在由多层一维卷积神经网络构成的卷积模块后设置全局平均池化层代替了传统的全连接层，目的在于减轻参数量的同时提取类激活图为输出结果做可视化分析。最后一层采用多个以softmax为激活函数的分类头全连接层进行二分类。表1列出了实施例中使用的详细的网络参数的定义。

表1实施例中使用的详细的网络参数定义

S3、将预处理后的呼吸波形数据样本分为训练集、验证集和测试集；

本实施例中，获得了周期过长、周期过短、双触发、无效吸气努力和其他5类标签的样本。根据由单次呼吸周期组成的其他类标签样本，另外构建与人机不同步类型数量相当的由两次呼吸周期组成的其他类样本，目的是为了训练网络能区分双触发与两次呼吸周期形成的波形特征。在本实施例中，共得到7521例周期过长样本，4407例周期过短样本，4639例双触发样本，7696例无效吸气努力样本和5000例单次呼吸组成的其他类样本，以及创建的4693例由两次呼吸组成的其他类样本。然后将每一类样本按9:1随机划分为训练部分和测试部分的数据，再按7:3将训练部分的数据随机划分为训练集和验证集。将训练集输入深度学习模型进行训练，分别利用验证集和测试集来优化模型参数，评估模型分类性能。

S4、根据数据所属的类别和识别任务要求，构建多组二值训练标签并转换为独热编码，然后以多任务学习的方式训练深度学习模型；

在具体实施例中，设置了四个二分类头。对于一个训练样本，根据多组训练标签，多个二分类头并行训练，训练的总损失函数为多个二分类头的损失函数相加，每个分类头的损失函数都是交叉熵损失函数：

L＝∑

其中，L为总损失函数，i表示对应的任务即分类头，ω表示对应的任务所分配的权重。L

表2给出了实施例在多任务学习方式下训练的网络模型的分类性能。

表2实施例在多任务学习方式下所训练的网络分类结果

S5、本实施例中还基于对深度学习模型输出的特征图进行参数推导，通过类激活映射的方式，获得模型在每个样本分类决策过程中的可视化解释，具体如下：

S5-1、对于一次呼吸信号，

S5-2、经过特征融合层Add后，把两路卷积后提取的特征图以相加的方式合并起来，即

S5-3、经过全局平均池化操作，融合层输出的特征维度会被缩减至1；

F

其中，F

S5-4、对于某一特定类别c，分类头h首先计算该类别在softmax分类结果输出之前的输入S

其中，

S5-5、将F

其中，

S5-6、将类激活图上采样到原始输入呼吸信号的维度，再以热力图的方式映射到原始呼吸数据上，便可得到模型在分类决策过程中的可视化解释。图3、4、5和6分别展示了多任务学习下训练的模型的多个二分类头输出的分类结果可视化效果图。图中，高亮区域就是特征区域，是模型判断的主要依据，通过可视化特征局域，可以说明模型训练是有效的，学到的不是虚假特征，使人信服。

S6、进一步地，所有样本的类激活图激活域和标准特征区域设定特征区域的限定规则，具体如下：

S6-1、获得最后一层的特征图上的类别响应图即类激活图后，对类激活图的激活域即输出值做最大最小归一化，即

其中，X是类激活图的输出值，X

S6-2、设定和调整阈值N，直至所有样本的类激活图激活域中连续大于N的连通域最接近对应样本类激活图的标准特征区域。所述标准特征区域由专业人员标注获得。本实施例中，医生规定周期过长类型的特征区域发生在吸气相开始至结束，周期过短类型的特征区域发生在呼气相开始至400ms之间，双触发类型的特征区域发生在第一个呼吸周期的呼气相开始至第二次呼吸周期的吸气相结束之间，无效吸气努力类型的特征区域发生在呼气相开始的400ms之后至呼气相结束之间。

N通常大于0.5，本实施例中最终调整为0.9，但在应用中，可根据实际情况分析后做适当调整，将实时获取的呼吸信号经步骤S1方法预处理后输入至训练好的深度学习模型，获得识别结果，并根据分类头输出的类激活图，若激活域大于0.9的连通域落在相应的人机不同步类型的特征区域内，则判定为该类人机不同步，否则判为其他类型。

本发明是一种基于多任务学习和类激活图反馈的机械通气中多人机不同步类型识别方法。实施例中对周期过长、周期过短、双触发和无效吸气努力四种人机不同步类型进行检测、识别并做可视化分析，但本发明不限于上述类型人机不同步的检测，对其他类型人机不同步的识别和分析具有普遍适用性。

本发明提出的人机不同步识别方法可在只训练一个网络模型的条件下，基于多任务学习的方式，训练出较高检测精度的模型，一次前向计算即可同时输出识别的多种人机不同步类型，避免了后期需要集成多个二分类网络来完成多任务识别的要求，极大程度缩短了网络在检测阶段耗费的时间。同时，在网络结构中引入全局平均池化，不但减少了模型的参数量，而且通过可视化类激活图分析分类结果，增强了方法的可解释性。当多个分类头同时获得识别类型时，利用类激活图结合相应的人机不同步区域特征的限定规则可对识别结果进行修正，可降低模型的假阳性率，进一步提升了模型识别精度。

在上述实施例中，仅对本发明进行示范性描述，但是本领域技术人员在阅读本专利申请后可以在不脱离本发明的精神和范围的情况下对本发明进行各种修改。