基于改进注意力机制的人机不同步检测方法、装置和介质

技术领域

本发明涉及基于改进注意力机制的人机不同步检测方法、装置和介质，属于呼吸机人机不同步检测技术领域。

背景技术

目前机械通气（mechanical ventilation，MV）是呼吸衰竭患者、危重症患者急救最有效的生命支持手段之一。在机械通气过程中，呼吸机与患者吸气努力供需不匹配即为人机不同步（patient-ventilator asynchronies，PVA）。人机不同步作为最常见的机械通气问题之一，其检测是临床实践的重要课题。当前对于人机不同步，多基于波形特征规则、机器学习或深度学习的方式，采用压力-时间、流速-时间和容积-时间三种呼吸波形曲线完成自动检测。

传统基于波形特征规则的方法，对波形的规范性往往具有较高要求。而且特征规则主要依赖于人工设计的特征提取器，提取器的设计对专业知识的准确性要求极高，且阈值的选择具有一定主观性，泛化能力差。

基于机器学习的方法，需要大量复杂的调参过程，同时机器学习还具有泛化能力及鲁棒性都较差的缺点。特别是针对含有较多高频噪声的波形信号，机器学习的检测效果不理想。

基于波形特征规则和机器学习的方法，往往都需要特征提取的过程。但是对于不规则波形可能不存在可提取的特征。而且模型对特征的依赖性较强，人工选取的特征会由于选取片面使得模型效果欠佳，或由于特征冗余造成模型速度的下降。

目前基于深度学习的人机不同步检测方法，多是仅基于当前呼吸波形进行检测的，往往存在忽略之前周期波形联系或无法准确定位异常区域的问题。而实际检测中呼吸治疗师对呼吸不同步类型的判别均是结合多周期波形得到的。

发明内容

本发明目的是提供了基于改进注意力机制的人机不同步检测方法、装置和介质，对人机不同步的的表达更高效准确，所提取的抽象特征鲁棒性更强，泛化能力更好。

本发明为实现上述目的，通过以下技术方案实现：

一种基于改进注意力机制的人机不同步检测方法，包括：

步骤1：数据采集，通过模拟肺与呼吸机进行气体交互，采集交互期间呼吸机上的压力、流速和容量。

步骤2：将采集的压力、流速和容量进行数据切片，再将数据切片的数据绘制为图像生成模型样本，包括压力-时间波形图、流速-时间波形图和容量-时间波形图。

步骤3：对模型样本通过数据集清洗和图像标注进行预处理。

步骤4：基于yolov5s框架构建改进注意力机制的yolov5s人机不同步识别网络模型，包括主干网络和头部网络和预测网络三部分，所述主干网络的每个卷积层后引入一层C3CBAM复式注意力机制，并在主干的快速空间金字塔池化模块层前添加一层CA层注意力机制。

步骤5：将模型样本划分为训练集和验证集，通过训练集训练改进注意力机制的yolov5s人机不同步识别网络模型，以一次前向计算和反向传播为一次训练周期，计算训练过程的map@0.5和map@0.5：0.95，并分别以0.1和0.9的比例加权计算平均权重，当前加权和的最大值所对应的权重作为模型的最优解，作为yolov5s检测人机不同步模型的权重，获得训练完成的改进注意力机制的yolov5s人机不同步识别网络模型。

步骤6：采集实时检测的患者呼吸机数据，并进行预处理后输入到训练完成的改进注意力机制的yolov5s人机不同步识别网络模型，获取患者是否发生人机不同步的情况。

步骤7：当置信度大于0.3时，判定此标注框为人机不同步，对应坐标将标注框绘制在呼吸波形图上，反之判定当前为同步呼吸，不进行任何处理，所述置信度由目标存在的概率、预测框和真实框的交并比、预测框属于每个类别的概率相乘。

优选的，所述数据采集周期为14.6天。

优选的，所述数据切片采用多周期时间序列，每组切片长度为14秒每个数据切片中含有700个时间点，每个时间点有三个数据，分别为压力、流速和容量在该时间点的数据值。

优选的，所述数据集生成具体方式如下：所述数据集清洗包括删除重复图片、无效触发和延迟触发人机不同步的呼吸波形图。

所述数据标注方式如下：如果标注框未覆盖满周期波形，则只覆盖此周期内不同步波形异于同步呼吸波形的部分。

优选的，所述主干网络依次由第一增强卷积模块、第二增强卷积模块、第一融合CBAM注意力机制的C3模块、第三增强卷积模块、第二融合CBAM注意力机制的C3模块、第四增强卷积模块、第三融合CBAM注意力机制的C3模块、增强卷积模块、第四融合CBAM注意力机制的C3模块、CA注意力机制模块和快速空间金字塔池化模块模块组成，各模块之间依次为输入和输出关系。

所述增强卷积模块由Conv卷积层、BatchNorm正则化层和SiLU激活激活函数层按顺序构成。

优选的，第一增强卷积模块中Conv卷积层的卷积核大小为6×6、步长和填充均为2，第二增强卷积模块、第三增强卷积模块和第四增强卷积模块中Conv卷积层的卷积核大小均为3×3，步长为2。

优选的，所述头部网络中：主干网络的快速空间金字塔池化模块层输出特征图经过第五增强卷积模块和上采样后，与主干网络第三融合CBAM注意力机制的C3模块输出的特征图concat融合。

输出融合特征依次输入第一C3模块、第六增强卷积模块、上采样模块后与主干网络中第二融合CBAM注意力机制的C3模块输出特征图concat融合。

输出特征图依次经过第二C3模块和第七增强卷积模块，与第七增强卷积模块的输出特征concat融合后输出融合特征图。

此特征图再依次经过第三C3模块和第八增强卷积模块，与头部模块中第五增强卷积模块的输出concat融合后再输入第四C3模块。

所述第二C3模块、第三C3模块、第四C3模块输出的特征图输入到预测网络。

优选的，最优权重判断方式如下：计算训练过程的map@0.5和map@0.5：0.95，并分别以0.1和0.9的比例加权计算平均权重，当前加权和的最大值所对应的权重作为模型的最优解。

所述指定阈值为0.3。

本发明的优点在于：本发明主要是呼吸波形图像素点驱动进行特征提取，能够得到更深层的特征表示，因此对人机不同步的的表达更高效准确，所提取的抽象特征鲁棒性更强，泛化能力更好。采用基于改进注意力机制的人机不同步检测模型，适用于图像识别人机不同步需求，模型识别准确率更高。针对改进的注意力机制和未改进的注意力机制在相同的数据集下进行检测对比可体现本发明的优越性。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明网络结构示意图。

图2为增强卷积结构示意图。

图3为 快速空间金字塔池化模块结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于改进注意力机制的人机不同步检测方法，包括：

步骤1：数据采集，通过模拟肺与呼吸机进行气体交互，采集交互期间呼吸机上的压力、流速和容量。具体的，采用模拟肺代替患者的肺部，与呼吸机进行气体交互，交互时间长达14.6天。交互期间为了使数据更具有普遍性，更贴近实际患者肺部情况，多次更改模拟肺各类线性及非线性参数代表真实患者不同的胸肺顺应性、气道阻力和氧合状态等，并根据模拟肺性能设置呼吸机上的五个参数：通气频率、吸气流率、潮气量、呼吸比和气流模式，使其匹配模拟肺。数据生成期间产生了双触发、主动触发、反向触发、延迟触发和无效触发等多种类型的人机不同步波形数据。

步骤2：将采集的压力、流速和容量进行数据切片，再将数据切片的数据绘制为图像生成模型样本，包括压力-时间波形图、流速-时间波形图和容量-时间波形图。

所述数据切片与现有方法的仅采用单周期时间序列不同，本发明采用多周期时间序列。首先在真实患者的人机不同步识别时，呼吸治疗师往往不只是参考前周期的呼吸波形，往往当前周期波形的前两到三个周期，对当前周期波形是否为人机不同步波形的判定也具有意义。

在14.6天的数据生成过程中，模拟肺模拟真实患者呼吸情况，人同步呼吸一次的时间为三至五秒，因此每次设置模拟肺的呼吸频率均在每分钟12次至24次之间，为了保证每张呼吸波形均包含当前波形及当前波形的前两到三个周期，因此将每组切片的长度确定为14秒。呼吸机产生数据频率为50帧/秒，因此每个数据切片中含有700个时间点。每个时间点有三个数据，分别为压力-时间波形、流速-时间波形和容量-时间波形在该时间点的数据值。14.6天的数据共切片为71094个数据段。

所述数据集生成具体如下：本发明使用图像处理的方式进行人机不同步检测，判别患者在某时刻的呼吸波形是否为无效触发或延迟触发。本发明应用python中的plt.figure()方法将数据切片绘制成图像，设置所有画布的宽为8inches，长为16inches。波形绘制时从上到下按照压力-时间波形、流速-时间波形和容量-时间波形的顺序绘制蓝色曲线。为了保证各时间段数据的规范性，三种时序波形的横坐标均按照时间顺序递增，三种时序波形的纵坐标依次规定为[-50,50]、[-80,80]、[-10,1000]。同一画布上的三种时序波形图中均绘制y=0的黄色辅助线。将全部切片按照上述规则绘制成图片，最终生成71094张呼吸机波形图，组成模型基础数据集v0.0。

步骤3：对模型样本通过数据集清洗和图像标注进行预处理。本发明在数据生成过程中，为保障数据样本量充足，在呼吸机上的采集呼吸波形的时间14.6天。虽然通过改变模拟肺及呼吸机的参数设置的方式尽可能泛化了呼吸波形，但由于呼吸波形的周期性，图片重复仍然不可避免。数据集中重复图片过多在后续模型训练的过程中往往会导致模型过拟合，模型泛化能力下降等不良现象的出现。此外，部分人机不同步类型的数据过多，造成样本不平衡。因此本发明使用Duplicate Cleaner软件的图像模式删除数据集的重复图片，剩余4116张无重复图片。剔除不含有无效触发和延迟触发两类人机不同步的呼吸波形图片。经过上述数据集清洗后剩余图片1025张，组成模型数据集v1.0。

本发明使用的labelimg，进行图像标注。标注使用PASCAL VOC格式，标注框及标注类型存储为XML文件。为了使人机不同步识别精准到波形异常位置，标注框未覆盖满周期波形，而只覆盖此周期内不同步波形异于同步呼吸波形的部分。

步骤4：基于yolov5s框架构建改进注意力机制的yolov5s人机不同步识别网络模型，包括主干网络和头部网络和预测网络三部分，所述主干网络的每个卷积层后引入一层C3CBAM复式注意力机制，并在主干的快速空间金字塔池化模块层前添加一层CA层注意力机制。

所述主干网络依次由第一增强卷积模块、第二增强卷积模块、第一融合CBAM注意力机制的C3模块、第三增强卷积模块、第二融合CBAM注意力机制的C3模块、第四增强卷积模块、第三融合CBAM注意力机制的C3模块、增强卷积模块、第四融合CBAM注意力机制的C3模块、CA注意力机制模块和快速空间金字塔池化模块模块组成，各模块之间依次为输入和输出关系。

所述增强卷积模块由Conv卷积层、BatchNorm正则化层和SiLU激活激活函数层按顺序构成。

第一增强卷积模块中Conv卷积层的卷积核大小为6×6、步长和填充均为2，第二增强卷积模块、第三增强卷积模块和第四增强卷积模块中Conv卷积层的卷积核大小均为3×3，步长为2。

第一增强卷积模块中Conv卷积层的卷积核大小为6×6、步长和填充均为2，样本图片经过增强卷积模块下采样后，输出的特征经过第一融合CBAM注意力机制的C3模块，CBAM是一种结合了空间注意力及通道注意力的注意力机制模块。特征首先经过一个通道注意力模块，获得加权结果后又经过空间注意力模块，得到的特征输入下一层增强卷积模块，第二、第三和第四增强卷积模块中Conv卷积层的卷积核大小均为3×3、步长为2。经过第四个融合CBAM注意力机制的C3模块后输入CA注意力模块中，CA模块分别通过两个操作：Coordinate信息嵌入操作和Coordinate Attention生成操作。首先将上一层输入的特征图从宽度和高度双向分别进行AvgPool操作，分别获得两个全局感受野的特征图。拼接后经过卷积核为1*1的卷积模块中降维得到新的特征图，将其归一化后使用sigmoid激活函数进行激活操作。再次按照高度和宽度双向使用卷积核为1*1的卷积计算通道数依旧为3的特征图。特征图经过sigmoid激活函数后分别得到特征图在高度上的注意力权重和宽度上的注意力权重。经过CA注意力机制模块后，网络中任一特征图经过压缩重组后组成尺度不变的特征图，但减少了模型中大量的参数量和计算量。将此张量输入后续的快速空间金字塔池化模块模块，模块结构如图2所示。快速空间金字塔池化模块结构将特征图依次输入增强卷积结构和三个5*5的MaxPool层，分别将四个结构concat后再输入增强卷积中，快速空间金字塔池化模块模块中的增强卷积结构如图1中的增强卷积结构一致。

所述头部网络中：主干网络的快速空间金字塔池化模块层输出特征图经过第五增强卷积模块和上采样后，与主干网络第三融合CBAM注意力机制的C3模块输出的特征图concat融合。

输出融合特征依次输入第一C3模块、第六增强卷积模块、上采样模块后与主干网络中第二融合CBAM注意力机制的C3模块输出特征图concat融合。

输出特征图依次经过第二C3模块和第七增强卷积模块，与第七增强卷积模块的输出特征concat融合后输出融合特征图。

此特征图再依次经过第三C3模块和第八增强卷积模块，与头部模块中第五增强卷积模块的输出concat融合后再输入第四C3模块。

所述第二C3模块、第三C3模块、第四C3模块输出的特征图输入到预测网络。

步骤5：将模型样本划分为训练集和验证集，通过训练集训练改进注意力机制的yolov5s人机不同步识别网络模型，以一次前向计算和反向传播为一次训练周期，计算训练过程的map@0.5和map@0.5：0.95，并分别以0.1和0.9的比例加权计算平均权重，当前加权和的最大值所对应的权重作为模型的最优解，作为yolov5s检测人机不同步模型的权重，获得训练完成的改进注意力机制的yolov5s人机不同步识别网络模型。

步骤6：采集实时检测的患者呼吸机数据，并进行预处理后输入到训练完成的改进注意力机制的yolov5s人机不同步识别网络模型，获取患者是否发生人机不同步的情况。

步骤7：当置信度大于0.3时，判定此标注框为人机不同步，对应坐标将标注框绘制在呼吸波形图上，反之判定当前为同步呼吸，不进行任何处理，所述置信度由目标存在的概率、预测框和真实框的交并比、预测框属于每个类别的概率相乘。

针对改进的注意力机制和未改进的注意力机制在相同的数据集下进行检测对比可体现本发明的优越性，无效触发类型的无注意力机制的模型、CBAM注意力机制的模型、CA注意力机制的模型和改进注意力机制的模型的map@0.5分别为0.977、0.958、0.973和0.98。延迟触发类型的无注意力机制的模型、CBAM注意力机制的模型、CA注意力机制的模型和改进注意力机制的模型的map@0.5分别为0.921、0.703、0.952和0.947。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。